WO2020192290A1 - 一种数据库迁移的方法、装置、设备及计算机可读介质 - Google Patents

一种数据库迁移的方法、装置、设备及计算机可读介质 Download PDF

Info

Publication number
WO2020192290A1
WO2020192290A1 PCT/CN2020/075015 CN2020075015W WO2020192290A1 WO 2020192290 A1 WO2020192290 A1 WO 2020192290A1 CN 2020075015 W CN2020075015 W CN 2020075015W WO 2020192290 A1 WO2020192290 A1 WO 2020192290A1
Authority
WO
WIPO (PCT)
Prior art keywords
database
data
server
incremental data
identification information
Prior art date
Application number
PCT/CN2020/075015
Other languages
English (en)
French (fr)
Inventor
徐虎
赵裕众
杨敏
Original Assignee
阿里巴巴集团控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿里巴巴集团控股有限公司 filed Critical 阿里巴巴集团控股有限公司
Priority to EP20778746.6A priority Critical patent/EP3859549B1/en
Publication of WO2020192290A1 publication Critical patent/WO2020192290A1/zh
Priority to US17/243,391 priority patent/US11308048B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Definitions

  • This specification relates to the field of computer technology, in particular to a method, device, equipment and computer-readable medium for database migration.
  • Database is a warehouse that organizes, stores and manages data according to data structure.
  • databases There are many types of databases, from the simplest tables that store various data to large-scale database systems that can store massive amounts of data. They have been widely used in all aspects. In an information society, fully and effectively managing and utilizing various information resources is a prerequisite for scientific research and decision-making management.
  • the migration method of the existing database is to copy all the data in the original server to the new server, and then send the business instructions issued by the client to the new server. During this period, the process of copying data takes a long time and affects the efficiency of database migration.
  • the embodiments of this specification provide a method, device, equipment, and computer-readable medium for database migration, which solve the problem of long time-consuming database migration.
  • An embodiment of this specification provides a database migration method, the method includes:
  • the corresponding synthetic data is copied from the first server of the database according to the required identification information of the synthetic data.
  • the business instruction also needs to read incremental data, and the metadata further includes identification information of the incremental data;
  • the method further includes:
  • the incremental data is copied from the first server of the database, and after the incremental data in the first server of the database is copied, the receiving client sends The steps of the business instruction.
  • the method further includes:
  • the synthetic data is copied from the first server of the database.
  • the method further includes:
  • the first server of the database is deleted.
  • the method before copying metadata from the first server of the database, the method further includes:
  • a synchronization point is set in the log of the first server of the database, and before the synchronization point, the incremental data and the synthetic data are copied from the first server of the database; at the synchronization point After that, the incremental data and synthetic data are copied from the log.
  • the identification information of the incremental data includes the ID of the table to which the incremental data belongs and the ID of the partition to which the incremental data belongs.
  • the incremental data includes first incremental data and persistently stored second incremental data, which are converted into the second incremental data when the storage amount of the first incremental data reaches an upper limit.
  • the composite data is formed when the second incremental data is combined with previously stored composite data, and each time the composite data is merged, a macro block is generated, and the composite data includes a plurality of macro blocks.
  • the identification information of the composite data includes the ID of the table to which the macro block belongs, the ID of the partition to which the macro block belongs, the number of times the macro block is merged, and the number of the macro block in the same merge.
  • the embodiment of this specification provides a database migration device, and the device includes:
  • the copying unit is configured to copy metadata from the first server of the database, wherein the metadata includes identification information of synthetic data;
  • the receiving unit is configured to receive the business instruction sent by the client after the metadata in the first server of the database is copied;
  • a judging unit configured to judge whether synthetic data needs to be read from the first server of the database according to the business instruction
  • the copying unit is also used to if it is determined that synthetic data needs to be read from the first server of the database, copy the corresponding synthetic data from the first server of the database according to the required identification information of the synthetic data. data.
  • the business instruction also needs to read incremental data, and the metadata further includes identification information of the incremental data;
  • the copy unit is further configured to copy the incremental data from the first server of the database according to the identification information of the incremental data. After the incremental data in the first server of the database is copied, Perform the step of receiving the service instruction sent by the client.
  • the copy unit is further configured to copy the synthetic data from the first server of the database according to the identification information of the synthetic data.
  • the device further includes:
  • the deleting unit is configured to delete the first server of the database when the synthetic data of the first server of the database is copied.
  • the device further includes:
  • a setting unit configured to set a synchronization point in the log of the first server of the database, and copy the incremental data and the synthetic data from the first server of the database before the synchronization point; After the synchronization point, the incremental data and synthetic data are copied from the log.
  • the identification information of the incremental data includes the ID of the table to which the incremental data belongs and the ID of the partition to which the incremental data belongs.
  • the incremental data includes first incremental data and persistently stored second incremental data, which are converted into the second incremental data when the storage amount of the first incremental data reaches an upper limit.
  • the composite data is formed when the second incremental data is combined with previously stored composite data, and each time the composite data is merged, a macro block is generated, and the composite data includes a plurality of macro blocks.
  • the identification information of the composite data includes the ID of the table to which the macro block belongs, the ID of the partition to which the macro block belongs, the number of times the macro block is merged, and the number of the macro block in the same merge.
  • An embodiment of this specification provides a computer-readable medium having computer-readable instructions stored thereon, and the computer-readable instructions can be executed by a processor to implement the following steps:
  • the corresponding synthetic data is copied from the first server of the database according to the required identification information of the synthetic data.
  • the embodiments of this specification provide a database migration device, which includes a memory for storing computer program instructions and a processor for executing the program instructions, wherein when the computer program instructions are executed by the processor, the The following units of equipment:
  • the copying unit is configured to copy metadata from the first server of the database, wherein the metadata includes identification information of synthetic data;
  • the receiving unit is configured to receive the business instruction sent by the client after the metadata in the first server of the database is copied;
  • a judging unit configured to judge whether synthetic data needs to be read from the first server of the database according to the business instruction
  • the copying unit is also used to if it is determined that synthetic data needs to be read from the first server of the database, copy the corresponding synthetic data from the first server of the database according to the required identification information of the synthetic data. data.
  • the present invention receives the business instruction issued by the client in advance, and copies the required synthetic data from the first server of the database according to the identification information of the synthetic data, thereby reducing the time of database migration.
  • FIG. 1 is a schematic flowchart of a method for database migration provided in Embodiment 1 of this specification;
  • FIG. 2 is a schematic flowchart of a method for database migration provided in Embodiment 2 of this specification;
  • Fig. 3 is a schematic structural diagram of a database migration device provided in the third embodiment of this specification.
  • FIG. 1 is a schematic flowchart of a method for database migration provided by an embodiment of the specification, and the schematic flowchart includes:
  • Step S101 Copy metadata from the first server of the database, where the metadata includes identification information of synthetic data.
  • Step S102 After the metadata in the first server of the database is copied, the service instruction sent by the client is received.
  • Step S103 According to the business instruction, it is judged whether it is necessary to read the synthetic data from the first server of the database. If it is, then step S104 is executed. If not, it means that the data to be read by the business instruction already exists and there is no need to read the data from the database Called from a server.
  • Step S104 Copy the corresponding synthetic data from the first server of the database according to the required identification information of the synthetic data.
  • the execution subject that executes the above steps may be the second server of the database with a larger memory than the first server of the database.
  • FIG. 2 is a schematic flowchart of a method for database migration provided by an embodiment of the specification, and the schematic flowchart includes:
  • Step S201 Set a synchronization point in the log of the first server of the database.
  • the second server of the database copies incremental data and synthetic data from the first server of the database; after the synchronization point, the The second server copies incremental data and synthetic data from the log.
  • the following steps are for database migration before the synchronization site.
  • this embodiment is to migrate data from the first server of the database to the second server of the database, where the data includes incremental data and synthetic data.
  • Step S202 The second server of the database sends a first copy request to the first server of the database. After the first server of the database passes the first copy request, the second server of the database copies metadata from the first server of the database.
  • the data includes identification information of synthetic data and identification information of incremental data.
  • the first copy request is an authentication instruction sent by the second server of the database to the first server of the database.
  • the second server of the database receives Copy metadata in a server.
  • metadata is information describing data attributes.
  • Step S203 According to the identification information of the incremental data, the second server of the database sends a second copy request to the first server of the database. After the first server of the database passes the second copy request, the second server of the database receives the second copy request from the first server of the database. Copy incremental data in a server.
  • the second copy request includes identification information of the incremental data, where the identification information of the incremental data includes the ID of the table to which the incremental data belongs and the ID of the partition to which the incremental data belongs.
  • the incremental data includes the first incremental data and the persistently stored second incremental data.
  • the storage amount of the first incremental data reaches the upper limit, it will be converted into the second incremental data .
  • Step S204 When it is determined that the second server of the database has copied the incremental data of the first server of the database, the second server of the database receives the business instruction sent by the client.
  • step S204 of the embodiment of the present specification before this step, the client's business instructions are sent to the first server of the database. After this step, the client's business instructions are directly sent to the second server of the database, indicating that at this time, the database The second server has the ability to process data normally.
  • Step S205 According to the identification information of the synthetic data, the second server of the database sends a third copy request to the first server of the database. After the first server of the database passes the third copy request, the second server of the database receives Copy synthetic data in the server.
  • the third copy request includes identification information of the incremental data.
  • the second server of the database logically copies the synthesized data from the first server of the database.
  • the composite data is formed when the second incremental data is combined with the previously stored composite data.
  • the composite data generates a macro block each time the composite data is merged, and the composite data includes multiple macro blocks.
  • the merging condition of the second incremental data and the previously stored synthetic data is: trigger according to a preset instruction or trigger according to a preset time.
  • the identification information of the synthesized data includes the ID of the table to which the macro block belongs, the ID of the partition to which the macro block belongs, the number of times the macro block is merged, and the number of the macro block in the same merge.
  • the number of times a macro block is merged refers to the number of times a macro block is merged in the composite data.
  • the number of the macro block in the same merge refers to the number of macro blocks that a macro block belongs to in the same merge of the composite data. Piece.
  • Step S206 According to the business instruction received by the second server of the database, the second server of the database determines whether it needs to read the synthetic data from the first server of the database, if yes, execute step S207, if not, it indicates that the business instruction needs to be read The fetched data already exists in the second server of the database and does not need to be called from the first server of the database.
  • step S206 of the embodiment of this specification in this step, what the service command needs to read is the macro block in the composite data.
  • Step S207 According to the identification information of the required synthetic data, the second server of the database copies the corresponding synthetic data from the first server of the database.
  • step S207 of the embodiment of this specification occurs when the second server of the database has not copied the synthetic data from the first server of the database, but the business instruction needs to use the synthetic data of the first server of the database.
  • the identification information of the required synthetic data is copied from the first server of the database.
  • the required synthetic data is a macro block. Since the memory of the macro block is large and difficult to read, the macro is stored The block is subdivided into multiple tiny macro blocks and stored in the cache.
  • Step S208 When it is determined that the second server of the database has copied the synthetic data of the first server of the database, the first server of the database is deleted.
  • the above scheme can be applied to the migration between two servers of the same database, and can also be applied to the migration between two servers of two different databases.
  • FIG. 3 is a schematic structural diagram of a database migration device provided by an embodiment of this specification.
  • the schematic structural diagram includes: a copy unit 1, a receiving unit 2, a judgment unit 3, a deletion unit 4, and a setting unit 5.
  • the copy unit 1 is used to copy metadata from the first server of the database
  • the receiving unit 2 is configured to receive the service instruction sent by the client after the metadata in the first server of the database is copied.
  • the judging unit 3 is used for judging whether it is necessary to read the synthetic data from the first server of the database according to the business instruction.
  • the copying unit 1 is also used to, if it is determined that the synthetic data needs to be read from the first server of the database, copy the corresponding synthetic data from the first server of the database according to the identification information of the required synthetic data.
  • the business instruction also needs to read the incremental data.
  • the metadata also includes the identification information of the incremental data.
  • the copy unit 1 is also used to copy the incremental data from the first server of the database according to the identification information of the incremental data. After the incremental data in the first server of the database, the step of receiving the business instruction sent by the client is executed.
  • the copying unit 1 is also used for copying the synthetic data from the first server of the database according to the identification information of the synthetic data.
  • the deleting unit 4 is used for deleting the first server of the database when the synthetic data of the first server of the database is copied.
  • the setting unit 5 is used to set a synchronization location in the log of the first server of the database, before the synchronization location, copy the incremental data and synthetic data from the first server of the database; after the synchronization location, copy the incremental data from the log Volume data and synthetic data.
  • the identification information of the incremental data includes the ID of the table to which the incremental data belongs and the ID of the partition to which the incremental data belongs.
  • the incremental data includes the first incremental data and the persistently stored second incremental data, which is converted into the second incremental data when the storage amount of the first incremental data reaches the upper limit.
  • the composite data is formed when the second incremental data is combined with the previously stored composite data.
  • the composite data generates a macro block each time the composite data is merged, and the composite data includes multiple macro blocks.
  • the identification information of the synthesized data includes the ID of the table to which the macro block belongs, the ID of the partition to which the macro block belongs, the number of times the macro block is merged, and the number of the macro block in the same merge.
  • the embodiment of this specification provides a computer-readable medium, on which computer-readable instructions are stored, and the computer-readable instructions can be executed by a processor to implement the following steps:
  • the corresponding synthetic data is copied from the first server of the database according to the identification information of the required synthetic data.
  • the embodiments of this specification provide a database migration device, which includes a memory for storing computer program instructions and a processor for executing the program instructions, wherein when the computer program instructions are executed by the processor, the The following units of equipment:
  • the copying unit is used to copy metadata from the first server of the database, where the metadata includes identification information of the synthetic data;
  • the receiving unit is configured to receive the business instruction sent by the client after the metadata in the first server of the database is copied;
  • the judging unit is used for judging whether it is necessary to read synthetic data from the first server of the database according to the business instruction;
  • the copying unit is also used to, if it is determined that the synthetic data needs to be read from the first server of the database, copy the corresponding synthetic data from the first server of the database according to the identification information of the required synthetic data.
  • the embodiments of the present invention may be provided as methods, systems, or computer program products. Therefore, the present invention may adopt the form of a complete hardware embodiment, a complete software embodiment, or an embodiment combining software and hardware. Moreover, the present invention may adopt the form of a computer program product implemented on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) containing computer-usable program codes.
  • a computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions can also be stored in a computer-readable memory that can guide a computer or other programmable data processing equipment to work in a specific manner, so that the instructions stored in the computer-readable memory produce an article of manufacture including the instruction device.
  • the device implements the functions specified in one process or multiple processes in the flowchart and/or one block or multiple blocks in the block diagram.
  • These computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operation steps are executed on the computer or other programmable equipment to produce computer-implemented processing, so as to execute on the computer or other programmable equipment.
  • the instructions provide steps for implementing functions specified in a flow or multiple flows in the flowchart and/or a block or multiple blocks in the block diagram.
  • the computing device includes one or more processors (CPU), input/output interfaces, network interfaces, and memory.
  • processors CPU
  • input/output interfaces network interfaces
  • memory volatile and non-volatile memory
  • the memory may include non-permanent memory in computer readable media, random access memory (RAM) and/or non-volatile memory, such as read-only memory (ROM) or flash memory (flash RAM). Memory is an example of computer readable media.
  • RAM random access memory
  • ROM read-only memory
  • flash RAM flash memory
  • Computer-readable media include permanent and non-permanent, removable and non-removable media, and information storage can be realized by any method or technology.
  • the information can be computer-readable instructions, data structures, program modules, or other data.
  • Examples of computer storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), flash memory or other memory technology, CD-ROM, digital versatile disc (DVD) or other optical storage, Magnetic cassettes, magnetic tape magnetic disk storage or other magnetic storage devices or any other non-transmission media can be used to store information that can be accessed by computing devices. According to the definition in this article, computer-readable media does not include transitory media, such as modulated data signals and carrier waves.

Abstract

一种数据库迁移的方法，方法包括：从数据库的第一服务器中拷贝元数据，其中，元数据包括合成数据的标识信息（S101）；当拷贝完数据库的第一服务器中的元数据后，接收客户端发送的业务指令（S102）；根据业务指令，判断是否需要从数据库的第一服务器中读取合成数据（S103）；若判断出需要从数据库的第一服务器中读取合成数据时，根据所需的合成数据的标识信息从数据库的第一服务器中拷贝对应的合成数据（S104）。上述方法提前接收客户端发出的业务指令，并根据合成数据的标识信息，由数据库的第一服务器拷贝所需的合成数据，从而减少数据库迁移的时间。

Description

一种数据库迁移的方法、装置、设备及计算机可读介质 技术领域
本说明书涉及计算机技术领域，尤其是涉及一种数据库迁移的方法、装置、设备及计算机可读介质。
背景技术
数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。在信息化社会，充分有效地管理和利用各类信息资源，是进行科学研究和决策管理的前提条件。
由于数据库的服务器储存量有限，当原服务器无法再容纳更多的数据时，需要将原服务器的数据迁移至内存更大的服务器。
现有数据库的迁移方法是将原服务器中的所有数据拷贝至新服务器时，再将客户端发出的业务指令发送至新服务器，期间拷贝数据的过程耗时长，从而影响数据库迁移的效率。
发明内容
本说明书实施例提供一种数据库迁移的方法、装置、设备及计算机可读介质，解决了数据库迁移时耗时长的问题。
为解决上述技术问题，本说明书实施例是这样实现的：
本说明书实施例提供的一种数据库迁移的方法，所述方法包括：
从所述数据库的第一服务器中拷贝元数据，其中，所述元数据包括合成数据的标识信息；
当拷贝完所述数据库的第一服务器中的元数据后，接收客户端发送的业务指令；
根据所述业务指令，判断是否需要从所述数据库的第一服务器中读取合成数据；
若判断出需要从所述数据库的第一服务器中读取合成数据时，根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
可选的，所述业务指令还需要读取增量数据，所述元数据还包括所述增量数据的标识信息；
接收客户端发送的业务指令之前，所述方法还包括：
根据所述增量数据的标识信息，从所述数据库的第一服务器中拷贝所述增量数据，当拷贝完所述数据库的第一服务器中的增量数据后，执行所述接收客户端发送的业务指令的步骤。
可选的，接收客户端发送的业务指令之后，所述方法还包括：
根据所述合成数据的标识信息，从所述数据库的第一服务器中拷贝所述合成数据。
可选的，从所述数据库的第一服务器中拷贝所述合成数据之后，所述方法还包括：
当拷贝完所述数据库的第一服务器的合成数据时，删除所述数据库的第一服务器。
可选的，从所述数据库的第一服务器中拷贝元数据之前，所述方法还包括：
在所述数据库的第一服务器的日志中设置同步位点，在所述同步位点之前，从所述数据库的第一服务器拷贝所述增量数据以及所述合成数据；在所述同步位点之后，从日志中拷贝增量数据以及合成数据。
可选的，所述增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。
可选的，所述增量数据包括第一增量数据以及持久化储存的第二增量数据，当所述第一增量数据的储存量达到上限时转化为所述第二增量数据。
可选的，所述合成数据是由所述第二增量数据与以前储存的合成数据合并时所形成，所述合成数据每次合并时生成宏块，所述合成数据包括多个宏块。
可选的，所述合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号。
本说明书实施例提供了一种数据库迁移的装置，所述装置包括：
拷贝单元，用于从所述数据库的第一服务器中拷贝元数据，其中，所述元数据包括合成数据的标识信息；
接收单元，用于当拷贝完所述数据库的第一服务器中的元数据后，接收客户端发送的业务指令；
判断单元，用于根据所述业务指令，判断是否需要从所述数据库的第一服务器中读取合成数据；
所述拷贝单元还用于若判断出需要从所述数据库的第一服务器中读取合成数据时，根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
可选的，所述业务指令还需要读取增量数据，所述元数据还包括所述增量数据的标识信息；
所述拷贝单元还用于根据所述增量数据的标识信息，从所述数据库的第一服务器中拷贝所述增量数据，当拷贝完所述数据库的第一服务器中的增量数据后，执行所述接收客户端发送的业务指令的步骤。
可选的，所述拷贝单元还用于根据所述合成数据的标识信息，从所述数据库的第一服务器中拷贝所述合成数据。
可选的，所述装置还包括：
删除单元，用于当拷贝完所述数据库的第一服务器的合成数据时，删除所述数据库的第一服务器。
可选的，所述装置还包括：
设置单元，用于在所述数据库的第一服务器的日志中设置同步位点，在所述同步位点之前，从所述数据库的第一服务器拷贝所述增量数据以及所述合成数据；在所述同步位点之后，从日志中拷贝增量数据以及合成数据。
可选的，所述增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。
可选的，所述增量数据包括第一增量数据以及持久化储存的第二增量数据，当所述第一增量数据的储存量达到上限时转化为所述第二增量数据。
可选的，所述合成数据是由所述第二增量数据与以前储存的合成数据合并时所形成，所述合成数据每次合并时生成宏块，所述合成数据包括多个宏块。
可选的，所述合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号。
本说明书实施例提供的一种计算机可读介质，其上存储有计算机可读指令，所述 计算机可读指令可被处理器执行以实现以下步骤：
从所述数据库的第一服务器中拷贝元数据，其中，所述元数据包括合成数据的标识信息；
当拷贝完所述数据库的第一服务器中的元数据后，接收客户端发送的业务指令；
根据所述业务指令，判断是否需要从所述数据库的第一服务器中读取合成数据；
若判断出需要从所述数据库的第一服务器中读取合成数据时，根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
本说明书实施例提供了一种数据库迁移的设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备的以下单元：
拷贝单元，用于从所述数据库的第一服务器中拷贝元数据，其中，所述元数据包括合成数据的标识信息；
接收单元，用于当拷贝完所述数据库的第一服务器中的元数据后，接收客户端发送的业务指令；
判断单元，用于根据所述业务指令，判断是否需要从所述数据库的第一服务器中读取合成数据；
所述拷贝单元还用于若判断出需要从所述数据库的第一服务器中读取合成数据时，根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本发明提前接收客户端发出的业务指令，并根据合成数据的标识信息，由数据库的第一服务器拷贝所需的合成数据，从而减少数据库迁移的时间。
附图说明
为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例一提供的数据库迁移的方法的流程示意图；
图2为本说明书实施例二提供的数据库迁移的方法的流程示意图；
图3为本说明书实施例三提供的数据库迁移的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
图1为本说明书实施例提供的一种数据库迁移的方法的流程示意图，该流程示意图包括：
步骤S101，从数据库的第一服务器中拷贝元数据，其中，元数据包括合成数据的标识信息。
步骤S102，当拷贝完数据库的第一服务器中的元数据后，接收客户端发送的业务指令。
步骤S103，根据业务指令，判断是否需要从数据库的第一服务器中读取合成数据，若是，则执行步骤S104，若否，说明业务指令所需读取的数据已存在，不需要从数据库的第一服务器中调用。
步骤S104，根据所需的合成数据的标识信息从数据库的第一服务器中拷贝对应的合成数据。
在本实施例中，执行上述步骤的执行主体可以为内存比数据库的第一服务器大的数据库的第二服务器。
图2为本说明书实施例提供的一种数据库迁移的方法的流程示意图，该流程示意图包括：
步骤S201，在数据库的第一服务器的日志中设置同步位点，在同步位点之前，数据库的第二服务器从数据库的第一服务器拷贝增量数据以及合成数据；在同步位点之后，数据库的第二服务器从日志中拷贝增量数据以及合成数据，下述步骤是针对同步位点之 前的数据库迁移。
在本说明书实施例的步骤S201中，本实施例是为了将数据从数据库的第一服务器迁移至数据库的第二服务器，其中，数据包括增量数据以及合成数据。
步骤S202，数据库的第二服务器向数据库的第一服务器发送第一拷贝请求，在数据库的第一服务器通过第一拷贝请求后，数据库的第二服务器从数据库的第一服务器中拷贝元数据，元数据包括合成数据的标识信息与增量数据的标识信息。
在本说明书实施例的步骤S202中，第一拷贝请求是数据库的第二服务器向数据库的第一服务器发送的认证指令，当第一数据通过此认证指令后，数据库的第二服务器从数据库的第一服务器中拷贝元数据。其中，元数据是描述数据属性的信息。
步骤S203，根据增量数据的标识信息，数据库的第二服务器向数据库的第一服务器发送第二拷贝请求，在数据库的第一服务器通过第二拷贝请求后，数据库的第二服务器从数据库的第一服务器中拷贝增量数据。
在本说明书实施例的步骤S203中，第二拷贝请求中包括增量数据的标识信息，其中，增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。在数据库的第一服务器认证增量数据的标识信息正确后，数据库的第二服务器从数据库的第一服务器逻辑拷贝增量数据。
在本说明书实施例的步骤S203中，增量数据包括第一增量数据以及持久化储存的第二增量数据，当第一增量数据的储存量达到上限时将转化为第二增量数据。
步骤S204，当确定数据库的第二服务器拷贝完数据库的第一服务器的增量数据时，数据库的第二服务器接收客户端发送的业务指令。
在本说明书实施例的步骤S204中，在此步骤之前，客户端的业务指令发送至数据库的第一服务器，在此步骤之后，客户端的业务指令直接发送至数据库的第二服务器，说明此时，数据库的第二服务器具备正常处理的数据的能力。
步骤S205，根据合成数据的标识信息，数据库的第二服务器向数据库的第一服务器发送第三拷贝请求，在数据库的第一服务器通过第三拷贝请求后，数据库的第二服务器从数据库的第一服务器中拷贝合成数据。
在本说明书实施例的步骤S205中，第三拷贝请求中包括增量数据的标识信息。在数据库的第一服务器认证合成数据的标识信息正确后，数据库的第二服务器从数据库的 第一服务器逻辑拷贝合成数据。
在本说明书实施例的步骤S205中，合成数据是由第二增量数据与以前储存的合成数据合并时所形成，合成数据每次合并时生成宏块，合成数据包括多个宏块。第二增量数据与以前储存的合成数据的合并条件为：根据预设指令触发或者按照预设的时间触发。
在本说明书实施例的步骤S205中，合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号，其中，宏块所进行的合并次数是指某个宏块处在合成数据的第几次合并，宏块在同一次合并时的编号是指某个宏块在合成数据同一次合并中属于第几个宏块。
步骤S206，根据数据库的第二服务器接收的业务指令，数据库的第二服务器判断是否需要从数据库的第一服务器中读取合成数据，若是，则执行步骤S207，若否，说明业务指令所需读取的数据在数据库的第二服务器中已存在，不需要从数据库的第一服务器中调用。
在本说明书实施例的步骤S206中，在此步骤中，业务指令需要读取的是合成数据中的宏块。
步骤S207，根据所需合成数据的标识信息，数据库的第二服务器从数据库的第一服务器中拷贝对应的合成数据。
在本说明书实施例的步骤S207中，此步骤发生在数据库的第二服务器从数据库的第一服务器中未拷贝完合成数据，但业务指令需要用到数据库的第一服务器的合成数据，此时根据所需的合成数据的标识信息，从数据库的第一服务器中拷贝对应的合成数据，其中，所需的合成数据为宏块，由于宏块的内存大，不易读取，所以在储存时将宏块细分为多个微小宏块储存在缓存中。
步骤S208，当确定数据库的第二服务器拷贝完数据库的第一服务器的合成数据时，删除数据库的第一服务器。
上述方案即可应用于同一个数据库的两个服务器之间的迁移，也可应用于两个不同数据库的两个服务器之间的迁移。
图3为本说明书实施例提供的一种数据库迁移的装置的结构示意图，该结构示意图包括：拷贝单元1、接收单元2、判断单元3、删除单元4以及设置单元5。
拷贝单元1用于从数据库的第一服务器中拷贝元数据；
接收单元2用于当拷贝完数据库的第一服务器中的元数据后，接收客户端发送的业务指令。
判断单元3用于根据业务指令，判断是否需要从数据库的第一服务器中读取合成数据。
拷贝单元1还用于若判断出需要从数据库的第一服务器中读取合成数据时，根据所需合成数据的标识信息从数据库的第一服务器中拷贝对应的合成数据。
业务指令还需要读取增量数据，元数据还包括增量数据的标识信息，拷贝单元1还用于根据增量数据的标识信息，从数据库的第一服务器中拷贝增量数据，当拷贝完数据库的第一服务器中的增量数据后，执行接收客户端发送的业务指令的步骤。
拷贝单元1还用于根据合成数据的标识信息，从数据库的第一服务器中拷贝合成数据。
删除单元4用于当拷贝完数据库的第一服务器的合成数据时，删除数据库的第一服务器。
设置单元5用于在数据库的第一服务器的日志中设置同步位点，在同步位点之前，从数据库的第一服务器拷贝增量数据以及合成数据；在同步位点之后，从日志中拷贝增量数据以及合成数据。
增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。
增量数据包括第一增量数据以及持久化储存的第二增量数据，当第一增量数据的储存量达到上限时转化为第二增量数据。
合成数据是由第二增量数据与以前储存的合成数据合并时所形成，合成数据每次合并时生成宏块，合成数据包括多个宏块。
合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号。
本说明书实施例提供的一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现以下步骤：
从数据库的第一服务器中拷贝元数据，其中，元数据包括合成数据的标识信息；
当拷贝完数据库的第一服务器中的元数据后，接收客户端发送的业务指令；
根据业务指令，判断是否需要从数据库的第一服务器中读取合成数据；
若判断出需要从数据库的第一服务器中读取合成数据时，根据所需的合成数据的标识信息从数据库的第一服务器中拷贝对应的合成数据。
本说明书实施例提供了一种数据库迁移的设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备的以下单元：
拷贝单元，用于从数据库的第一服务器中拷贝元数据，其中，元数据包括合成数据的标识信息；
接收单元，用于当拷贝完数据库的第一服务器中的元数据后，接收客户端发送的业务指令；
判断单元，用于根据业务指令，判断是否需要从数据库的第一服务器中读取合成数据；
拷贝单元还用于若判断出需要从数据库的第一服务器中读取合成数据时，根据所需的合成数据的标识信息从数据库的第一服务器中拷贝对应的合成数据。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框 或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (20)

  1. 一种数据库迁移的方法，所述方法包括：
    从所述数据库的第一服务器中拷贝元数据，其中，所述元数据包括合成数据的标识信息；
    当拷贝完所述数据库的第一服务器中的元数据后，接收客户端发送的业务指令；
    根据所述业务指令，判断是否需要从所述数据库的第一服务器中读取合成数据；
    若判断出需要从所述数据库的第一服务器中读取合成数据时，根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
  2. 根据权利要求1所述的数据库迁移的方法，所述业务指令还需要读取增量数据，所述元数据还包括所述增量数据的标识信息；
    接收客户端发送的业务指令之前，所述方法还包括：
    根据所述增量数据的标识信息，从所述数据库的第一服务器中拷贝所述增量数据，当拷贝完所述数据库的第一服务器中的增量数据后，执行所述接收客户端发送的业务指令的步骤。
  3. 根据权利要求2所述的数据库迁移的方法，所述接收客户端发送的业务指令之后，所述方法还包括：
    根据所述合成数据的标识信息，从所述数据库的第一服务器中拷贝所述合成数据。
  4. 根据权利要求3所述的数据库迁移的方法，从所述数据库的第一服务器中拷贝所述合成数据之后，所述方法还包括：
    当拷贝完所述数据库的第一服务器的合成数据时，删除所述数据库的第一服务器。
  5. 根据权利要求4所述的数据库迁移的方法，从所述数据库的第一服务器中拷贝元数据之前，所述方法还包括：
    在所述数据库的第一服务器的日志中设置同步位点，在所述同步位点之前，从所述数据库的第一服务器拷贝所述增量数据以及所述合成数据；在所述同步位点之后，从日志中拷贝增量数据以及合成数据。
  6. 根据权利要求2所述的数据库迁移的方法，所述增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。
  7. 根据权利要求2所述的数据库迁移的方法，所述增量数据包括第一增量数据以及持久化储存的第二增量数据，当所述第一增量数据的储存量达到上限时转化为所述第二增量数据。
  8. 根据权利要求7所述的数据库迁移的方法，所述合成数据是由所述第二增量数 据与以前储存的合成数据合并时所形成，所述合成数据每次合并时生成宏块，所述合成数据包括多个宏块。
  9. 根据权利要求8所述的数据库迁移的方法，所述合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号。
  10. 一种数据库迁移的装置，所述装置包括：
    拷贝单元，用于从所述数据库的第一服务器中拷贝元数据，其中，所述元数据包括合成数据的标识信息；
    接收单元，用于当拷贝完所述数据库的第一服务器中的元数据后，接收客户端发送的业务指令；
    判断单元，用于根据所述业务指令，判断是否需要从所述数据库的第一服务器中读取合成数据；
    所述拷贝单元还用于若判断出需要从所述数据库的第一服务器中读取合成数据时，根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
  11. 根据权利要求10所述的数据库迁移的装置，所述业务指令还需要读取增量数据，所述元数据还包括所述增量数据的标识信息；
    所述拷贝单元还用于根据所述增量数据的标识信息，从所述数据库的第一服务器中拷贝所述增量数据，当拷贝完所述数据库的第一服务器中的增量数据后，执行所述接收客户端发送的业务指令的步骤。
  12. 根据权利要求11所述的数据库迁移的装置，所述拷贝单元还用于根据所述合成数据的标识信息，从所述数据库的第一服务器中拷贝所述合成数据。
  13. 根据权利要求12所述的数据库迁移的装置，所述装置还包括：
    删除单元，用于当拷贝完所述数据库的第一服务器的合成数据时，删除所述数据库的第一服务器。
  14. 根据权利要求13所述的数据库迁移的装置，所述装置还包括：
    设置单元，用于在所述数据库的第一服务器的日志中设置同步位点，在所述同步位点之前，从所述数据库的第一服务器拷贝所述增量数据以及所述合成数据；在所述同步位点之后，从日志中拷贝增量数据以及合成数据。
  15. 根据权利要求11所述的数据库迁移的装置，所述增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。
  16. 根据权利要求11所述的数据库迁移的装置，所述增量数据包括第一增量数据以及持久化储存的第二增量数据，当所述第一增量数据的储存量达到上限时转化为所述第二增量数据。
  17. 根据权利要求16所述的数据库迁移的装置，所述合成数据是由所述第二增量数据与以前储存的合成数据合并时所形成，所述合成数据每次合并时生成宏块，所述合成数据包括多个宏块。
  18. 根据权利要求17所述的数据库迁移的装置，所述合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号。
  19. 一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现权利要求1至9中任一项所述的方法。
  20. 一种数据库迁移的设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备执行权利要求10至18中任一项所述的装置。
PCT/CN2020/075015 2019-03-26 2020-02-13 一种数据库迁移的方法、装置、设备及计算机可读介质 WO2020192290A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20778746.6A EP3859549B1 (en) 2019-03-26 2020-02-13 Database migration method, apparatus, and device, and computer readable medium
US17/243,391 US11308048B2 (en) 2019-03-26 2021-04-28 Database migration method, apparatus, device, and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910230137.9 2019-03-26
CN201910230137.9A CN110059075B (zh) 2019-03-26 2019-03-26 一种数据库迁移的方法、装置、设备及计算机可读介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/243,391 Continuation US11308048B2 (en) 2019-03-26 2021-04-28 Database migration method, apparatus, device, and computer-readable medium

Publications (1)

Publication Number Publication Date
WO2020192290A1 true WO2020192290A1 (zh) 2020-10-01

Family

ID=67315944

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/075015 WO2020192290A1 (zh) 2019-03-26 2020-02-13 一种数据库迁移的方法、装置、设备及计算机可读介质

Country Status (5)

Country Link
US (1) US11308048B2 (zh)
EP (1) EP3859549B1 (zh)
CN (1) CN110059075B (zh)
TW (1) TWI754837B (zh)
WO (1) WO2020192290A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059075B (zh) 2019-03-26 2020-07-28 阿里巴巴集团控股有限公司 一种数据库迁移的方法、装置、设备及计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150019487A1 (en) * 2013-07-09 2015-01-15 Oracle International Corporation Online database migration
CN104881443A (zh) * 2015-05-14 2015-09-02 新浪网技术(中国)有限公司 一种在数据库间迁移数据的方法和系统
CN106294387A (zh) * 2015-05-19 2017-01-04 深圳市腾讯计算机系统有限公司 数据迁移方法和装置
CN106649335A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN108932282A (zh) * 2018-05-18 2018-12-04 腾讯科技（深圳）有限公司 一种数据库迁移方法、装置和存储介质
CN110059075A (zh) * 2019-03-26 2019-07-26 阿里巴巴集团控股有限公司 一种数据库迁移的方法、装置、设备及计算机可读介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856193B2 (en) * 2011-12-20 2014-10-07 Sap Se Merge monitor for table delta partitions
US9152659B2 (en) * 2011-12-30 2015-10-06 Bmc Software, Inc. Systems and methods for migrating database data
US9477706B2 (en) * 2012-04-04 2016-10-25 Viavi Solutions Inc. System and method for storing and retrieving data
US20160188710A1 (en) * 2014-12-29 2016-06-30 Wipro Limited METHOD AND SYSTEM FOR MIGRATING DATA TO NOT ONLY STRUCTURED QUERY LANGUAGE (NoSOL) DATABASE
US10324914B2 (en) * 2015-05-20 2019-06-18 Commvalut Systems, Inc. Handling user queries against production and archive storage systems, such as for enterprise customers having large and/or numerous files
CN106339388A (zh) * 2015-07-08 2017-01-18 阿里巴巴集团控股有限公司 数据库弹性调度方法及装置
CN105138603A (zh) * 2015-08-07 2015-12-09 浪潮电子信息产业股份有限公司 一种从HPUX平台向KUX平台迁移的Oracle数据库迁移工具
JP2018060384A (ja) * 2016-10-06 2018-04-12 株式会社日立製作所 データ管理システムおよび方法
US10671642B2 (en) * 2016-11-11 2020-06-02 International Business Machines Corporation Copying data changes to a target database
US10776329B2 (en) * 2017-03-28 2020-09-15 Commvault Systems, Inc. Migration of a database management system to cloud storage
CN109063091B (zh) * 2018-07-26 2021-06-15 成都大学 混合编码的数据迁移方法、数据迁移装置和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150019487A1 (en) * 2013-07-09 2015-01-15 Oracle International Corporation Online database migration
CN104881443A (zh) * 2015-05-14 2015-09-02 新浪网技术(中国)有限公司 一种在数据库间迁移数据的方法和系统
CN106294387A (zh) * 2015-05-19 2017-01-04 深圳市腾讯计算机系统有限公司 数据迁移方法和装置
CN106649335A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN108932282A (zh) * 2018-05-18 2018-12-04 腾讯科技（深圳）有限公司 一种数据库迁移方法、装置和存储介质
CN110059075A (zh) * 2019-03-26 2019-07-26 阿里巴巴集团控股有限公司 一种数据库迁移的方法、装置、设备及计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3859549A4 *

Also Published As

Publication number Publication date
EP3859549A4 (en) 2021-12-29
TW202036326A (zh) 2020-10-01
CN110059075B (zh) 2020-07-28
CN110059075A (zh) 2019-07-26
US11308048B2 (en) 2022-04-19
EP3859549B1 (en) 2023-04-05
TWI754837B (zh) 2022-02-11
EP3859549A1 (en) 2021-08-04
US20210248117A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
CN107122360B (zh) 数据迁移系统和方法
CN105718455B (zh) 一种数据查询方法及装置
TW201530328A (zh) 爲半結構化資料構建ＮｏＳＱＬ資料庫索引的方法及裝置
CN106933823B (zh) 数据同步方法及装置
CN108959510B (zh) 一种分布式数据库的分区级连接方法和装置
WO2020215925A1 (zh) 一种基于区块链的事件订阅的方法及装置
GB2519761A (en) A method and a system for distributed processing of data records
CN109033365B (zh) 一种数据处理方法及相关设备
WO2018006723A1 (zh) 一种针对数据库的数据修改请求处理方法及装置
CN105426373A (zh) 一种数据库同步方法与设备
US10509767B2 (en) Systems and methods for managing snapshots of a file system volume
CN107153680B (zh) 一种分布式内存数据库在线扩展节点的方法及系统
WO2016188280A1 (zh) 数据库分表的写入方法及装置
CN115599764A (zh) 一种表格数据的迁移方法、设备及介质
WO2020192290A1 (zh) 一种数据库迁移的方法、装置、设备及计算机可读介质
Phakade et al. An innovative strategy for improved processing of small files in Hadoop
CN111459913B (zh) 分布式数据库的容量扩展方法、装置及电子设备
CN106470218A (zh) 一种网络平台下资源内容回收的方法和装置
KR101451280B1 (ko) 분산형 데이터베이스 관리 시스템 및 방법
CN115658391A (zh) 基于QianBase MPP数据库的WAL机制的备份恢复方法
US20140189715A1 (en) Conversion of lightweight object to a heavyweight object
Verma et al. Big data analytics: performance evaluation for high availability and fault tolerance using mapreduce framework with hdfs
US20170364454A1 (en) Method, apparatus, and computer program stored in computer readable medium for reading block in database system
CN102004761A (zh) 数据存储方法和系统
CN115718571B (zh) 一种基于多维度特征的数据管理方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20778746

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020778746

Country of ref document: EP

Effective date: 20210427

NENP Non-entry into the national phase

Ref country code: DE