WO2018130066A1 - 数据的迁移方法、计算机设备和存储介质 - Google Patents

数据的迁移方法、计算机设备和存储介质 Download PDF

Info

Publication number
WO2018130066A1
WO2018130066A1 PCT/CN2017/118398 CN2017118398W WO2018130066A1 WO 2018130066 A1 WO2018130066 A1 WO 2018130066A1 CN 2017118398 W CN2017118398 W CN 2017118398W WO 2018130066 A1 WO2018130066 A1 WO 2018130066A1
Authority
WO
WIPO (PCT)
Prior art keywords
source database
database
data
source
migration
Prior art date
Application number
PCT/CN2017/118398
Other languages
English (en)
French (fr)
Inventor
周瑾
叶习利
胡彬
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2018130066A1 publication Critical patent/WO2018130066A1/zh
Priority to US16/412,584 priority Critical patent/US11068449B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present application relates to the field of Internet technologies, and in particular, to a data migration method, a computer device, and a storage medium.
  • a database is a warehouse that organizes, stores, and manages data according to its data structure.
  • the data of the database often needs to be migrated from one electronic device to another.
  • the data of the database needs to stop the business update of the original database, and copy the data of the database to the new environment before starting the service. Because this method needs to interrupt the original database service, it has certain impact on the database business, and the operation convenience is low.
  • a data migration method a computer device, and a storage medium are provided.
  • a method of data migration including:
  • the transit server obtains configuration information, where the configuration information includes a source database address and a target database address;
  • the relay server is connected to the source database according to the source database address, and is connected to the target database according to the target database address to establish a migration channel corresponding to the configuration information;
  • the transit server obtains the full amount of data of the data table sent by the source database in response to the data migration request, and sends the full amount of data to the corresponding target database through the migration channel;
  • the transit server extracts the incremental data of the source database through the migration channel, and imports the incremental data into the corresponding target database according to the time sequence of data generation by the migration channel.
  • a computer device comprising a memory and a processor, the memory storing computer readable instructions, the computer readable instructions being executed by the processor such that the processor performs the following steps:
  • configuration information includes a source database address and a target database address
  • One or more non-volatile storage media storing computer readable instructions, when executed by one or more processors, cause one or more processors to perform the following steps:
  • configuration information includes a source database address and a target database address
  • FIG. 1 is a schematic diagram of an application environment of an embodiment of the present application.
  • FIG. 2 is a schematic diagram showing the internal structure of a computer device of an embodiment
  • FIG. 3 is a flow chart of a method for migrating data of an embodiment
  • FIG. 4 is a schematic diagram showing a data flow direction of a data migration method according to an embodiment
  • FIG. 5 is a flowchart of a method for migrating data according to an embodiment
  • FIG. 6 is a timing explanatory diagram of a method of migrating data according to still another embodiment
  • Figure 7 is a block diagram showing the structure of a computer device of an embodiment.
  • Figure 8 is a block diagram showing the structure of a computer device of still another embodiment.
  • FIG. 1 is a schematic diagram of an application environment of a data migration method provided by an embodiment.
  • the application environment includes a source database 101, a relay server 102, a target database 103, and an application terminal 104.
  • the application terminal executes a client that inputs configuration information for the relay server 102, and the application terminal 104 communicates with the relay server 102. Connection, the user operates on the application terminal to configure data migration.
  • the configuration information is sent to the relay server 102 through the network, and the configuration information includes a source database address and a target database address.
  • the relay server 102 connects to the source database 101 and the target database 103 based on the configuration information, and establishes a data migration channel of the source database 101 and the target database 103.
  • the source database 101 can provide a database for supporting the application 100, and the data written by the application 100 is stored in the source database 101.
  • the data in the source database 101 is migrated to the corresponding target database 103 through the data migration channel.
  • the target database 103 may be a server in the network cloud server cluster 13
  • the client is an operation platform of the network cloud server
  • the user logs in the operation platform configuration information of the network cloud server
  • the transit server 102 The data in the source database 101 is migrated to the network cloud server 103. After the migration is completed, the business data of the application 100 is stored in the network cloud server 103.
  • FIG. 2 is a schematic diagram of the internal structure of a computer device in an embodiment, and the computer device may be a transit server.
  • the computer device includes a processor, memory, and network interface connected by a system bus.
  • the memory includes a nonvolatile storage medium and an internal memory.
  • the non-volatile storage medium of the computer device can store operating system and computer readable instructions.
  • the computer readable instructions when executed, may cause the processor to perform a method of migrating data.
  • the processor is used to provide computing and control capabilities to support the operation of the entire transit server.
  • the internal memory can store computer readable instructions that, when executed by the processor, cause the processor to perform a method of migrating data.
  • the network interface is used for network communication with the application terminal, the source database, and the target database, and receives configuration information of the client for data migration on the application terminal, and connects to the source database and the target database according to the configuration information.
  • FIG. 2 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the terminal to which the solution of the present application is applied.
  • the specific server may include a ratio. More or fewer components are shown in the figures, or some components are combined, or have different component arrangements.
  • a data migration method runs in the relay server 102 as shown in FIG. 1, and includes the following steps:
  • S302 Obtain configuration information, where the configuration information includes a source database address and a target database address.
  • the configuration information refers to a configuration instruction for data migration input by the user through the client of the application terminal 104, including the source database address and the target database address.
  • the source database address is the original storage address of the data that needs to be migrated.
  • the source database address can be a domain name, an IP (Internet Protocol) address of the database, or an IP address + port number of the database.
  • the target database address refers to the target migration address of the data to be migrated.
  • the target database address can be the domain name, the IP address of the database, or the IP address + port number of the database.
  • multiple target database addresses can be configured for this data migration, that is, the data of the source database can be simultaneously migrated to multiple target databases.
  • the user inputs configuration information on the client of the application terminal, and the application terminal sends the configuration information to the relay server.
  • the client in this embodiment is a client of the data migration platform, and the client may be a webpage client of the platform or an application terminal of the platform.
  • the client can receive the source database address and the target database address input by the user, and can also find the source database address and the target database address associated with the user according to the user name of the platform, and display the found source database address and the target database address respectively. Client, for users to choose.
  • S304 Connect to the source database according to the source database address, and connect to the target database according to the target database address to establish a migration channel corresponding to the configuration information.
  • the transit server After obtaining the configuration information, the transit server connects to the source database and the target database according to the source database address and the target database address in the configuration information, and establishes a migration channel corresponding to the configuration information. It should be understood that the relay server establishes a migration path of the source database and the target database according to the source database address and the target database address in each configuration information.
  • the configuration information in this embodiment may be multiple, and the transit server can simultaneously process multiple data migration channels concurrently.
  • the transit server transfers data to the corresponding target database according to the data of the source database of the migration channel.
  • the configuration information also includes a source database user name, a source database password, a target database user name, and a target database password.
  • the source database user name, the source database password, the target database user name, and the target database password in this embodiment are used to verify whether the user has read and write permissions to the corresponding database.
  • the step of connecting the relay server to the source database according to the source database address and connecting to the target database according to the target database address to establish a migration channel corresponding to the configuration information includes the following steps 1 to 2:
  • Step 1 Send a connection request to the source database.
  • the connection request includes the source database address, the source database user name, and the source database password, and is authenticated by the source database to connect to the source database.
  • the client provides an input interface of the source database username and the source database password.
  • the transit server obtains the source database address, the source database username, and the source database password, it sends a connection request to the source database.
  • the source database verifies whether the user has the right to read and write the source database according to the source database address, the source database user name, and the source database password. If the verification passes, the connection is made with the transit server.
  • Step 2 Send a connection request to the target database.
  • the connection request includes the target database address, the target database user name, and the target database password. After the target database is verified, the connection is connected to the target database to establish a migration channel corresponding to the configuration information.
  • the client also provides an input interface of the target database username and the target database password.
  • the transit server obtains the target database address, the target database username, and the target database password, it sends a connection request to the target database.
  • the target database verifies whether the user has the right to access the target database according to the target database address, the target database user name, and the target database password. If the verification passes, the connection is made to the transit server.
  • the migration path between the source database and the target database is established.
  • S306 Send a data migration request to the source database through the migration channel, where the data migration request carries information about the data table to be migrated.
  • the table information of the source database is displayed on the configuration page of the client, including the name of each data table. Users can select all the data tables as needed to migrate all the data tables. Users can also select specific data tables for migration as needed. In this embodiment, the data migration is in units of data tables.
  • a data table is a data structure abstracted from all data software, including fields, indexes, and keys.
  • the transit server sends a data migration request to the source database, where the data migration request includes the data table name that the user needs to migrate through the configuration page of the client.
  • the source database performs a migration data migration request for the full amount of data before the current time point according to the data table, and sends the migration data migration request to the corresponding source database through the migration channel. It should be understood that the same database structure as the data table to be migrated in the source database should be set in the target database.
  • S308 Obtain the full amount of data sent by the source database in response to the data migration request through the migration channel, and send the full amount of data of the data table to the corresponding target database through the migration channel.
  • the source database After receiving the data migration request, the source database sends the full amount of data corresponding to the data table to the transit server in response to the data migration request.
  • the full amount of data in the source database can be sent to the transit server using existing transport protocols, such as hypertext protocols, file transfer protocols, and the like.
  • the transit server After receiving the full amount of data sent by the source database, the transit server sends the data to the corresponding target database through the migration channel.
  • S310 Extract the incremental data of the source database through the migration channel, and import the incremental data into the target database in the chronological order of the data generation through the migration channel.
  • Incremental data refers to new data generated during the migration of full data, that is, data changes, including additions, modifications, and deletions.
  • the transit server extracts the incremental data from the source database in chronological order through the data migration channel, and puts the incremental data into the queue, and then extracts the incremental data from the queue and imports it into the corresponding target database, and completes according to the full amount data and the incremental data. Migration of data.
  • the full amount of data in the source database is first migrated, and then the incremental data is extracted in time series. Even if new data is generated during the full data migration process, it can be migrated by incremental data extraction to maintain data consistency between the source database and the target database. Moreover, since the incremental data can be extracted, online migration of data can be realized without interrupting the service of the source database.
  • the migration channel is generated according to the source database address of the configuration information and the target database address, and multiple corresponding migration channels can be generated according to different configuration information, and the data migration of multiple databases is concurrently processed, and the operation convenience is high.
  • the step of extracting incremental data of the source database through the migration channel comprises the following steps 1 and 2:
  • Step 1 Configure the proxy process for the source database, read and parse the data log of the source database through the proxy process, and obtain the incremental information of the source database.
  • Step 2 Extract the incremental data corresponding to the incremental information from the source database according to the time sequence generated by the data through the migration channel.
  • the proxy process in this embodiment is a processing function for reading and parsing the data log of the database to the incremental information.
  • the incremental data corresponding to the incremental information is extracted, and the transit server is used.
  • the agent process extracts the incremental data in the source database according to the time sequence in which the data is generated, and stores it in the queue.
  • the transit server sequentially transfers the extracted incremental data from the queue to the corresponding target database.
  • the client also provides a configuration page for the user to select the method for extracting the incremental data.
  • the configuration page also prompts the user to input the login name and login password of the server where the source database is located to obtain Processing authority on the database.
  • the configuration information in this embodiment further includes a login name and a login password of the server where the source database is located. Send a permission verification request to the source database according to the login name and login password of the server where the source database is located, and configure the proxy process for the source database after the source database is verified.
  • the proxy process After obtaining the processing permission of the data log of the source database, the proxy process is configured to the source database, the data log is read and parsed by the proxy process to obtain the incremental information, and the incremental data is extracted from the data table according to the incremental information.
  • incremental data may be provided from the source database by creating a trigger in the source database.
  • the step of connecting to the source database according to the source data address comprises: connecting to the source database according to the source database address, and sending a trigger generation instruction to the source database, and the source database generates a trigger according to the trigger generation instruction.
  • the step of extracting the incremental data of the source database through the migration channel includes: scanning the delta table of the trigger, and extracting the delta data from the delta table.
  • Triggers can record the addition, modification, and deletion of data tables. Through the trigger, the change record of the data table in a period of time is recorded, and the record change record is written into the delta table. In one embodiment, the trigger writes the changed data to the delta table and extracts the delta data from the delta table. In an embodiment, the updated source table name, the updated keyword value, and the type of the update operation are stored in the delta table, and the incremental data is searched from the corresponding source table according to the information in the delta table. Extract. The frequency of the scan is set by the system. For example, the trigger table of the trigger is scanned every 3 seconds to obtain the incremental information during this time.
  • the configuration page of the client also provides other methods for extracting incremental data for the user to select, for example, based on the timestamp method, by adding a timestamp field to the source table, and when the system updates and modifies the table data, it is modified at the same time.
  • the value of the timestamp when the data is extracted, the incremental data is judged by comparing the value of the last extraction time with the timestamp field. For example, in the full table comparison manner, a structurally similar temporary table is created for the table that the database needs to migrate, and the temporary table records the primary key of the source table and is calculated according to the data of all the fields.
  • the source table of the current time is A temporary table of scan time is compared to find incremental data.
  • FIG. 5 is a flowchart of a method for migrating data according to an embodiment. As shown in FIG. 5, the method includes the following steps:
  • S502 Acquire configuration information, where the configuration information includes a source database address and a target database address.
  • S504 Connect to the source database according to the source database address, and connect to the target database according to the target database address to establish a migration channel corresponding to the configuration information.
  • S506 Send a table structure synchronization instruction to the source database through the migration channel.
  • S508 Receive a data table structure sent by the source database response table structure synchronization instruction through the migration channel, and synchronize the database table structure to the target database.
  • the data table corresponding to the source database may not be established in the target database, and the user may pre-establish a data table corresponding to the source database in the target database, and the user may also select the option of synchronizing the table structure on the configuration page.
  • the transit server sends a table structure synchronization instruction to the source database through the migration channel, receives the data table structure sent by the source database response table structure synchronization instruction, and synchronizes to the target database, thereby eliminating the need for the user to manually establish the data table in the target database manually.
  • S510 Send a data migration request to the source database through the migration channel, where the data migration request carries information about the data table to be migrated.
  • S512 Obtain the full data of the data table sent by the source database in response to the data migration request through the migration channel, and send the full amount of data to the corresponding target database through the migration channel.
  • S514 Extract the incremental data of the source database through the migration channel, and import the incremental data into the corresponding target database in the chronological order of the data generation through the migration channel.
  • the above data migration method can be applied between two or more databases to migrate data of the source database to one or more target databases.
  • the user can compare the source database with the target database to confirm that the application is switched after the data migration is completed.
  • the incremental data generated during the full data migration process is extracted by the timing scan, and does not affect the data writing of the application, and does not need to interrupt the service of the source database, thereby realizing online migration of data.
  • the data migration method uses the data table as a migration unit, analyzes the data log of the source database by configuring the proxy process, or establishes a trigger in the source database to obtain incremental data, thereby expanding and supporting multiple heterogeneous data storage. Online migration of data between systems (including relational databases, file systems, distributed file systems, message queues, etc.).
  • the data migration method described above is applied to migrate data of a source database to a network cloud server. As shown in Figure 6, the following steps are included:
  • the application terminal acquires configuration information input by the user through the client, and the configuration information includes a source database address, a source database user name, a source database password, a target database address, a target database user name, and a target database password.
  • the configuration information also includes the incremental data acquisition method selected by the user. If the user chooses to obtain through the data log, the configuration information also includes the database login name and login password.
  • the client in this embodiment is a client of the network cloud platform
  • the transit server is a part of the network cloud platform, and provides support for data migration.
  • the transit server acquires configuration information, and sends a connection request to the source database and the target database respectively.
  • a migration channel corresponding to the configuration information is established.
  • the data is obtained from the source database through the migration channel, and the acquired data is migrated to the target database corresponding to the source database.
  • the target database is connected to the transit server after the target database user name and the target database password are verified.
  • the relay server sends a table structure synchronization instruction to the source database.
  • the transit server receives the data table structure sent by the source database response table structure synchronization instruction, and synchronizes to the target database.
  • the transit server configures the proxy process to the source database, or the transit server sends a trigger generation instruction to the source database.
  • This embodiment is described by taking a trigger as an example.
  • the relay server sends a trigger generation instruction to the source database.
  • S608 The source database responds to the trigger generation instruction to establish an increment table.
  • Incremental tables are used to record incremental data generated during a full data migration.
  • the transit server sends a data migration request to the source database, where the data migration request includes data table information to be migrated.
  • the client After the transit server is connected to the source database, the client displays the data table of the source database for the user to select, and the user selects the data table information to be migrated according to the need and sends a data migration request to the source database.
  • the migration request also includes information about the data table to be migrated.
  • S610 The source database transmits the full amount of data to the transit server according to the data migration request.
  • the transit server transmits the full amount of data to the corresponding target server.
  • S612 The transit server periodically scans the delta table, obtains the incremental data from the delta table, and saves the incremental data in the queue.
  • the transit server extracts the incremental data from the queue to the target database.
  • Data migration is done with full data and incremental data.
  • a computer device is further provided, and the internal structure of the computer device is as shown in FIG. 2, the terminal includes a data migration device, and the data migration device includes each module, and each module may be all or Partially implemented by software, hardware or a combination thereof.
  • a data migration apparatus includes: a configuration information acquisition module 601, a migration channel establishment module 602, a transmission module 603, a relay module 604, an extraction module 605, and an import module 606.
  • the configuration information obtaining module 601 is configured to obtain configuration information, where the configuration information includes a source database address and a target database address.
  • the migration channel establishing module 602 is configured to connect to the source database according to the source database address, and connect to the target database according to the target database address to establish a migration channel corresponding to the configuration information.
  • the sending module 603 is configured to send, by using the migration channel, a data migration request to the source database, where the data migration request carries information about the data table to be migrated.
  • the transit module 604 is configured to obtain, by using the migration channel, the full amount of data of the data table sent by the source database in response to the data migration request, and send the full amount of data to the corresponding target database through the migration channel.
  • the extracting module 605 is configured to extract incremental data of the source database through the migration channel.
  • the importing module 606 is configured to import the incremental data into the corresponding target database according to the time sequence of data generation through the migration channel.
  • the above data migration device first migrates the full amount of data in the source database according to the migration request, and then extracts the incremental data in chronological order. Even if new data is generated during the full data migration process, it can be migrated by incremental data extraction to maintain data consistency between the source database and the target database. Moreover, since the incremental data can be extracted, online migration of data can be realized without interrupting the service of the source database.
  • the migration channel is generated according to the source database address and the target database address of the configuration information, and multiple corresponding migration channels can be generated according to different configuration information, and the data migration of multiple databases is concurrently processed, and the operation convenience is high.
  • the extraction module 605 includes an agent configuration module 6051 and an incremental extraction module 6052.
  • the proxy configuration module 6051 is configured to configure an agent process for the source database, and read and parse the data log of the source database through the proxy process to obtain incremental information of the source database.
  • the incremental extraction module 6052 is configured to extract incremental data corresponding to the incremental information from the source database according to the time sequence generated by the data through the migration channel.
  • the sending module 603 is further configured to: after connecting to the source database, send a trigger generation instruction to the source database, and generate, by the source database, the trigger according to the trigger generation instruction.
  • the extraction module 605 is configured to scan the delta table of the trigger and extract the delta data from the delta table.
  • the configuration information includes a source database username, a source database password, a target database username, and a target database password.
  • the migration channel establishing module 602 is configured to send a connection request to the source database, where the connection request includes a source database address, a source database user name, and a source database password, and is connected to the source database after being verified by the source database.
  • the migration channel establishing module 602 is further configured to send a connection request to the target database, where the connection request includes a target database address, a target database user name, and a target database password. After being verified by the target database, the connection is connected to the target database to establish a migration corresponding to the configuration information. aisle.
  • the configuration information further includes a login name and a login password of a server where the source database is located.
  • the sending module 603 is further configured to send a permission verification request to the source database according to the login name and the login password of the server where the source database is located.
  • the proxy configuration module 6051 is configured to configure an agent process for the source database after the source database is verified.
  • the sending module 603 is further configured to send a table structure synchronization instruction to the source database through the migration channel.
  • the transit module 604 is further configured to receive the data table structure sent by the source database response table structure synchronization instruction through the migration channel, and synchronize the database table structure to the target database.
  • the above data migration device can be applied between two or more databases to migrate data of the source database to one or more target databases.
  • the user can compare the source database with the target database to confirm that the application is switched after the data migration is completed.
  • the incremental data generated during the full data migration process is extracted by the timing scan, which does not affect the data writing of the application, and does not need to interrupt the service of the source database, thereby realizing online migration of data.
  • the data migration device uses the data table as a migration unit, analyzes the data log of the source database by configuring the proxy process, or establishes a trigger in the source database to obtain incremental data, thereby expanding and supporting multiple heterogeneous data storage. Online migration of data between systems (including relational databases, file systems, distributed file systems, message queues, etc.).
  • the various steps in the various embodiments of the present application are not necessarily performed in the order indicated by the steps. Except as explicitly stated herein, the execution of these steps is not strictly limited, and the steps may be performed in other orders. Moreover, at least some of the steps in the embodiments may include multiple sub-steps or multiple stages, which are not necessarily performed at the same time, but may be executed at different times, and the execution of these sub-steps or stages The order is also not necessarily sequential, but may be performed alternately or alternately with other steps or at least a portion of the sub-steps or stages of the other steps.
  • Non-volatile memory can include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM is available in a variety of formats, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronization chain.
  • Synchlink DRAM SLDRAM
  • Memory Bus Radbus
  • RDRAM Direct Memory Bus Dynamic RAM
  • RDRAM Memory Bus Dynamic RAM

Abstract

一种数据的迁移方法，包括：中转服务器获取配置信息，配置信息包括源数据库地址和目标数据库地址；中转服务器根据源数据库地址连接到源数据库，并根据目标数据库地址连接到目标数据库以建立与配置信息对应的迁移通道；中转服务器通过迁移通道向所源数据库发送数据迁移请求；中转服务器通过迁移通道获取源数据库响应数据迁移请求发送的全量数据，并将全量数据通过迁移通道发送至对应的目标数据库；中转服务器通过迁移通道抽取源数据库的增量数据，并将增量数据通过迁移通道按照数据产生的时间顺序导入对应的目标数据库。

Description

数据的迁移方法、计算机设备和存储介质
本申请要求于2017年01月11日提交中国专利局，申请号为2017100214502，申请名称为“数据的迁移方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及互联网技术领域，特别是涉及一种数据的迁移方法、计算机设备和存储介质。
背景技术
数据库是按照数据结构来组织、存储和管理数据的仓库。随着互联网技术的发展，在对数据库服务器硬件升级等场景中，数据库的数据往往需要由一个电子设备迁移到另一个电子设备。
数据库的数据在迁移过程中，需要将原数据库停止业务更新，将数据库的数据复制到新的环境后再启动服务。由于这种方式需要中断原数据库服务，对数据库业务造成一定影响，操作便利性低。
发明内容
根据本申请提供的各种实施例，提供一种数据的迁移方法、计算机设备和存储介质。
为达到上述目的，本申请实施例采用以下技术方案：
一种数据的迁移方法，包括：
中转服务器获取配置信息，所述配置信息包括源数据库地址和目标数据库地址；
所述中转服务器根据所述源数据库地址连接到源数据库，并根据所述目 标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道；
所述中转服务器通过所述迁移通道向所源数据库发送数据迁移请求，所述数据迁移请求携带有待迁移的数据表的信息；
所述中转服务器通过所述迁移通道获取所述源数据库响应所述数据迁移请求发送的所述数据表的全量数据，并将所述全量数据通过所述迁移通道发送至对应的目标数据库；
所述中转服务器通过所述迁移通道抽取所述源数据库的增量数据，并将所述增量数据通过所述迁移通道按照数据产生的时间顺序导入对应的所述目标数据库。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如下步骤：
获取配置信息，所述配置信息包括源数据库地址和目标数据库地址；
根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道；
通过所述迁移通道向所源数据库发送数据迁移请求，所述数据迁移请求携带有待迁移的数据表的信息；
通过所述迁移通道获取所述源数据库响应所述数据迁移请求发送的所述数据表的全量数据，并将所述全量数据通过所述迁移通道发送至对应的目标数据库；
通过所述迁移通道抽取所述源数据库的增量数据，并将所述增量数据通过所述迁移通道按照数据产生的时间顺序导入对应的所述目标数据库。
一个或多个存储有计算机可读指令的非易失性存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如下步骤：
获取配置信息，所述配置信息包括源数据库地址和目标数据库地址；
根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道；
通过所述迁移通道向所源数据库发送数据迁移请求，所述数据迁移请求携带有待迁移的数据表的信息；
通过所述迁移通道获取所述源数据库响应所述数据迁移请求发送的所述数据表的全量数据，并将所述全量数据通过所述迁移通道发送至对应的目标数据库；
通过所述迁移通道抽取所述源数据库的增量数据，并将所述增量数据通过所述迁移通道按照数据产生的时间顺序导入对应的所述目标数据库。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个实施例方案的应用环境示意图；
图2为一个实施例的计算机设备的内部结构示意图；
图3为一个实施例的数据的迁移方法的流程图；
图4为一个实施例的数据的迁移方法的数据流向示意图；
图5为一个实施例的数据的迁移方法的流程图；
图6为又一个实施例的数据的迁移方法的时序说明图；
图7为一个实施例的计算机设备的结构框图；及
图8为又一个实施例的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本申请，并不限定本申请的保护范围。
图1为一个实施例提供的数据迁移方法的应用环境示意图。如图1所示，该应用环境包括源数据库101、中转服务器102、目标数据库103和应用终端104，应用终端上执行有为中转服务器102输入配置信息的客户端，应用终端104与中转服务器102通信连接，用户在应用终端上操作，对数据迁移进行配置。配置信息通过网络发送至中转服务器102，配置信息包括源数据库地址和目标数据库地址。中转服务器102根据配置信息连接到源数据库101和目标数据库103，建立源数据库101和目标数据库103的数据迁移通道。其中源数据库101可以为应用程序100提供支持的数据库，通过应用程序100写入的数据都存储在源数据库101中。源数据库101中的数据通过数据迁移通道迁移至对应的目标数据库103中。在其它的实施方式中，目标数据库103可以为网络云服务器集群13中的一台服务器，客户端为网络云服务器的操作平台，用户通过登录网络云服务器的操作平台配置信息，通过中转服务器102将源数据库101中的数据迁移至网络云服务器103。在完成迁移后，应用程序100的业务数据存储在网络云服务器103。
图2为一个实施例中的计算机设备的内部结构示意图，该计算机设备可以为中转服务器。如图2所示，计算机设备包括通过系统总线连接的处理器、存储器和网络接口。存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机可读指令。该计算机可读指令被执行时，可使得处理器执行一种数据的迁移方法。该处理器用于提供计算和控制能力，支撑整个中转服务器的运行。该内存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种数据的迁移方法。网络接口用于与应用终端、源数据库和目标数据库进行网络通信，接收应用终端上的客户端对数据迁移的配置信息，根据配置信息连接到源数据库和目标数据库。
本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关 的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
请参照图3，在一个实施例中，提供一种数据的迁移方法，该方法运行在如图1所示的中转服务器102中，包括以下步骤：
S302：获取配置信息，配置信息包括源数据库地址和目标数据库地址。
配置信息是指用户通过应用终端104的客户端输入的对数据迁移的配置指令，包括源数据库地址和目标数据库地址。源数据库地址即需要进行迁移的数据的原始存放地址。源数据库地址可以为域名，也可以为数据库的IP(Internet Protocol，互联网协议)地址，还可以为数据库的IP地址+端口号。
目标数据库地址是指需要迁移的数据的目标迁移地址，目标数据库地址可以为域名，也可以为数据库的IP地址，还可以为数据库的IP地址+端口号。在配置信息中，可为此次数据迁移配置多个目标数据库地址，即可以将源数据库的数据同时迁移至多个目标数据库。
用户在应用终端的客户端输入配置信息，应用终端将配置信息发送至中转服务器。本实施例中的客户端为数据迁移平台的客户端，客户端可以为平台的网页客户端，也可以为平台的应用程序终端。客户端可以接收用户输入的源数据库地址和目标数据库地址，也可以根据用户在平台的用户名查找与其关联的源数据库地址和目标数据库地址，分别将查找到的源数据库地址和目标数据库地址展示在客户端，供用户选择。
S304：根据源数据库地址连接到源数据库，并根据目标数据库地址连接到目标数据库以建立与配置信息对应的迁移通道。
中转服务器在获取到配置信息后，根据配置信息中的源数据库地址和目标数据库地址分别连接到源数据库和目标数据库，建立与配置信息对应的迁移通道。应当可以理解的是，中转服务器根据每一个配置信息中的源数据库地址和目标数据库地址建立源数据库和目标数据库的迁移通道。本实施例中的配置信息可以为多个，中转服务器能够并发同时对多个数据迁移通道进行 处理。中转服务器根据迁移通道的源数据库的数据传输到对应的目标数据库。
具体的，配置信息还包括源数据库用户名、源数据库密码、目标数据库用户名和目标数据库密码。本实施例中的源数据库用户名、源数据库密码、目标数据库用户名和目标数据库密码用于验证用户是否具有对对应数据库的读写权限。
在一个实施例中，中转服务器根据源数据库地址连接到源数据库，并根据目标数据库地址连接到目标数据库以建立与配置信息对应的迁移通道的步骤包括以下步骤1至步骤2：
步骤1：向源数据库发送连接请求，连接请求包括源数据库地址、源数据库用户名和源数据库密码，由源数据库验证通过后连接到源数据库。
本实施例中，客户端提供源数据库用户名和源数据库密码的输入界面。当中转服务器获取到源数据库地址、源数据库用户名和源数据库密码后，向源数据库发送连接请求。源数据库根据源数据库地址、源数据库用户名和源数据库密码验证用户是否具有读写源数据库的权限，若验证通过，则与中转服务器连接。步骤2：向目标数据库发送连接请求，连接请求包括目标数据库地址、目标数据库用户名和目标数据库密码，由目标数据库验证通过后，连接到目标数据库以建立与配置信息对应的迁移通道。
本实施例中，客户端还提供目标数据库用户名和目标数据库密码的输入界面。当中转服务器获取到目标数据库地址、目标数据库用户名和目标数据库密码后，向目标数据库发送连接请求。目标数据库根据目标数据库地址、目标数据库用户名和目标数据库密码验证用户是否具有访问目标数据库的权限，若验证通过，则与中转服务器连接。
中转服务器通过与源数据库和目标数据库连接后，建立了源数据库与目标数据库的迁移通道。
S306：通过迁移通道向所源数据库发送数据迁移请求，数据迁移请求中携带待迁移的数据表的信息。
中转服务器在与源数据库连接后，在客户端的配置页面显示源数据库的 表信息，包括各数据表的名称。用户可根据需要选择全部的数据表，以对全部的数据表进行迁移。用户还可根据需要选择特定的数据表以进行迁移。本实施例中，数据迁移以数据表为单位。数据表是对所有的数据软件抽象出来的数据结构，包括字段、索引和键等信息。
中转服务器向源数据库发送数据迁移请求，数据迁移请求包括用户通过客户端的配置页面选择的需要迁移的数据表名称。源数据库根据数据表将在当前时间点之前的全量数据进行迁移数据迁移请求通过迁移通道发送至对应的源数据库。应当可以理解的是，目标数据库中应当设置有与源数据库中待迁移的数据表相同的表结构。
S308：通过迁移通道获取源数据库响应数据迁移请求发送的全量数据，并将数据表的全量数据通过迁移通道发送至对应的目标数据库。
源数据库接收到数据迁移请求后，响应数据迁移请求，向中转服务器发送对应数据表的全量数据。源数据库中的全量数据可采用现有的传输协议向中转服务器发送，例如超文本协议、文件传输协议等等。
中转服务器接收到源数据库发送的全量数据后，通过迁移通道发送至对应的目标数据库。
S310：通过迁移通道抽取源数据库的增量数据，并将增量数据通过迁移通道按照数据产生的时间顺序导入目标数据库。
增量数据是指在全量数据的迁移过程中产生的新的数据，即指数据变更，包括新增、修改和删除。中转服务器通过数据迁移通道按时间顺序从源数据库中抽取增量数据，并将增量数据放入队列，再从队列中取出增量数据导入到对应的目标数据库，根据全量数据和增量数据完成数据的迁移。
本实施例中，根据迁移请求，先对源数据库中的全量数据进行迁移，再对增量数据按时间顺序进行抽取。即使在全量数据迁移过程中产生了新的数据，也可以通过增量数据抽取的方式进行迁移，从而保持源数据库与目标数据库的数据一致性。并且，由于能够对增量数据进行抽取，从而无需中断源数据库的业务，实现数据的在线迁移。同时，迁移通道根据配置信息的源数 据库地址和目标数据库地址对应生成，可同时根据不同的配置信息生成多个对应的迁移通道，并发处理多个数据库的数据迁移，操作便利性高。
在另一个实施例中，通过迁移通道抽取源数据库的增量数据的步骤包括以下步骤1和步骤2：
步骤1：为源数据库配置代理进程，通过代理进程读取并解析源数据库的数据日志，得到源数据库的增量信息。
步骤2：通过迁移通道从源数据库中根据数据产生的时间顺序抽取与增量信息对应的增量数据。
本实施例中，通过在源数据库配置代理进程，通过代理进程读取数据日志，解析数据日志的变化获取数据库的增量信息。本实施例中的代理进程为对数据库的数据日志进行读取、解析到增量信息的处理函数，通过代理进程获取到增量信息后，抽取与增量信息对应的增量数据，由中转服务器配置到需要迁移的源数据库中。代理进程对源数据库中的增量数据根据数据产生的时间顺序进行抽取，并存放在队列中。中转服务器依次从队列中将抽取的增量数据传输至对应的目标数据库。
如图4所示，本实施例中提供两种增量数据抽取的方式。具体地，客户端还提供配置页面供用户选择增量数据的抽取方式，当用户选择通过数据日志分析的方式抽取时，配置页面还提示用户需要输入源数据库所在服务器的登录名和登录密码，以获取对数据库的处理权限。本实施例中的配置信息还包括源数据库所在服务器的登陆名和登录密码。根据源数据库所在服务器的登录名和登录密码向源数据库发送权限验证请求，并在源数据库验证通过后，为源数据库配置代理进程。
在获取到对源数据库的数据日志的处理权限后，向源数据库配置代理进程，通过代理进程读取、解析数据日志得到增量信息，并根据增量信息从数据表中抽取增量数据。
应当理解的是，在客户端的配置页面还可以提供其它增量的获取方式供用户选择，例如本实施例中还可以提供通过在源数据库创建触发器的方式从 源数据库中提供增量数据。具体的，根据源数据地址连接到源数据库的步骤包括：根据源数据库地址连接到源数据库，并向源数据库发送触发器生成指令，由源数据库根据触发器生成指令生成触发器。
此时，通过迁移通道抽取源数据库的增量数据的步骤包括：扫描触发器的增量表，并从增量表中抽取增量数据。
触发器可以记录对数据表的添加、修改、删除操作。通过触发器，记录一段时间内的数据表的变动记录，并将记录变动记录写入增量表中。在一种实施方式中，触发器将变化的数据写入增量表中，从增量表中抽取增量数据。在一种实施方式中，增量表中存储了更新的源表名称、更新的关键字值和更新操作的类型，根据增量表中的信息，从对应的源表中查找到增量数据进行抽取。扫描的频率由系统进行设定，例如，每3秒扫描一次触发器的增量表，获取这段时间内增量信息。
应当理解的是，在客户端的配置页面还提供其它的增量数据的抽取方式供用户选择，例如基于时间戳方式，通过在源表上增加一个时间戳字段，系统更新修改表格数据时，同时修改时间戳的值，当进行数据抽取时，通过比较上次抽取时间与时间戳字段的值判断增量数据。又例如全表对比方式，对于数据库需要迁移的表格建立一个结构类似的临时表，该临时表记录源表主键以及根据所有字段的数据计算出来，当到达扫描时间，将当前时刻的源表与上一扫描时间的临时表进行比对找到增量数据。
图5为一个实施例的数据的迁移方法的流程图，如图5所示，该方法包括以下步骤：
S502：获取配置信息，配置信息包括源数据库地址和目标数据库地址。
S504：根据源数据库地址连接到源数据库，并根据目标数据库地址连接到目标数据库以建立与配置信息对应的迁移通道。
S506：通过迁移通道向源数据库发送表结构同步指令。
S508：通过迁移通道接收源数据库响应表结构同步指令发送的数据表结构，并将数据库表结构同步到目标数据库中。
目标数据库中可能没有建立与源数据库对应的数据表，用户可在目标数据库中预先建立与源数据库对应的数据表，用户也可以在配置页面选择表结构同步的选项。中转服务器通过迁移通道向源数据库发送表结构同步指令，接收源数据库响应表结构同步指令发送的数据表结构，并同步到目标数据库中，从而无需用户手动地在目标数据库中预先建立数据表。
S510：通过迁移通道向所源数据库发送数据迁移请求，数据迁移请求携带有待迁移的数据表的信息。
S512：通过迁移通道获取源数据库响应数据迁移请求发送的数据表的全量数据，并将全量数据通过迁移通道发送至对应的目标数据库。
S514：通过迁移通道抽取源数据库的增量数据，并将增量数据通过迁移通道按照数据产生的时间顺序导入对应的目标数据库。
上述的数据的迁移方法，可应用在两个或多个数据库之间，将源数据库的数据迁移至一个或多个目标数据库。用户可对源数据库和目标数据库进行比对，确认数据迁移完成后，切换应用程序。对于全量数据迁移过程中产生的增量数据通过定时扫描抽取，不影响应用程序的数据写入，无需中断源数据库的业务，实现数据的在线迁移。并且，该数据的迁移方法，以数据表为迁移单位，通过配置代理进程对源数据库的数据日志进行分析或在源数据库建立触发器，获取增量数据，从而可扩展支持多种异构数据存储系统(包括关系型数据库、文件系统、分布式文件系统、消息队列等等)之间的数据在线迁移。
作为一个应用场景的示例，将上述的数据迁移方法应用在将源数据库的数据迁移至网络云服务器。如图6所示，包括以下步骤：
S601：应用终端获取用户通过客户端输入配置信息，配置信息包括源数据库地址、源数据库用户名、源数据库密码、目标数据库地址、目标数据库用户名和目标数据库密码。配置信息还包括用户所选择的增量数据获取方式。若用户选择通过数据日志获取，配置信息还包括数据库登陆名和登录密码。
本实施例中的客户端为网络云平台的客户端，中转服务器为网络云平台 的一部分，为数据的迁移提供支持。
S602：中转服务器获取配置信息，并分别向源数据库和目标数据库发送连接请求。
S603：源数据库根据源数据库用户名和源数据库密码验证通过后，与中转服务器进行连接。
中转服务器分别与源数据库和中转服务器连接后，建立与配置信息对应的迁移通道。通过迁移通道从源数据库获取数据，并将获取的数据迁移至与源数据库对应的目标数据库。
S604：目标数据库根据目标数据库用户名和目标数据库密码验证通过后，与中转服务器连接。
S605：中转服务器向源数据库发送表结构同步指令。
S606：中转服务器接收源数据库响应表结构同步指令发送的数据表结构，并同步到目标数据库中。
应当理解的是，在源数据库与中转服务器进行连接后，根据用户所选择的增量数据获取方式，中转服务器向源数据库配置代理进程，或中转服务器向源数据库发送触发器生成指令。本实施例以方式为触发器为例进行说明。
S607：中转服务器向源数据库发送触发器生成指令。
S608：源数据库响应触发器生成指令，建立增量表。
增量表用于记录在全量数据迁移过程中产生的增量数据。
S609：中转服务器向源数据库发送数据迁移请求，数据迁移请求包括待迁移的数据表信息。
中转服务器在连接到源数据库后，客户端显示源数据库的数据表供用户选择，用户根据需要选择待迁移的数据表信息并向源数据库发送数据迁移请求。迁移请求还包括待迁移的数据表的信息。
S610：源数据库根据数据迁移请求将全量数据传输至中转服务器。
S611：中转服务器将全量数据传输至对应的目标服务器。
S612：中转服务器定时扫描增量表，从增量表中获取增量数据，并将增 量数据保存在队列中，
S613：中转服务器从队列中抽取增量数据传输至目标数据库。
通过全量数据和增量数据完成数据的迁移。
在一个实施例中，还提供了一种计算机设备，该计算机设备的内部结构可如图2所示，该终端包括数据的迁移装置，数据的迁移装置中包括各个模块，每个模块可全部或部分通过软件、硬件或其组合来实现。
在一个实施例中，提供一种数据的迁移装置，如图7所示，包括：配置信息获取模块601、迁移通道建立模块602、发送模块603、中转模块604、抽取模块605和导入模块606。
其中，配置信息获取模块601，用于获取配置信息，配置信息包括源数据库地址和目标数据库地址。
迁移通道建立模块602，用于根据源数据库地址连接到源数据库，并根据目标数据库地址连接到目标数据库以建立与配置信息对应的迁移通道。
发送模块603，用于通过迁移通道向所源数据库发送数据迁移请求，数据迁移请求携带有待迁移的数据表的信息。
中转模块604，用于通过迁移通道获取源数据库响应数据迁移请求发送的数据表的全量数据，并将全量数据通过迁移通道发送至对应的目标数据库。
抽取模块605，用于通过迁移通道抽取源数据库的增量数据。导入模块606，用于将增量数据通过迁移通道按照数据产生的时间顺序导入对应的目标数据库。
上述的数据的迁移装置，根据迁移请求，先对源数据库中的全量数据进行迁移，再对增量数据按时间顺序进行抽取。即使在全量数据迁移过程中产生了新的数据，也可以通过增量数据抽取的方式进行迁移，从而保持源数据库与目标数据库的数据一致性。并且，由于能够对增量数据进行抽取，从而无需中断源数据库的业务，实现数据的在线迁移。同时，迁移通道根据配置信息的源数据库地址和目标数据库地址对应生成，可同时根据不同的配置信息生成多个对应的迁移通道，并发处理多个数据库的数据迁移，操作便利性 高。
在另一个实施例中，如图8所示，抽取模块605包括：代理配置模块6051和增量抽取模块6052。
代理配置模块6051，用于为源数据库配置代理进程，通过代理进程读取并解析源数据库的数据日志，得到源数据库的增量信息。
增量抽取模块6052，用于通过迁移通道从源数据库中根据数据产生的时间顺序抽取与增量信息对应的增量数据。
在又一个实施例中，发送模块603，还用于连接到源数据库后，向源数据库发送触发器生成指令，由源数据库根据触发器生成指令生成触发器。抽取模块605，用于扫描触发器的增量表，并从增量表中抽取增量数据。
在再一个实施例中，配置信息包括源数据库用户名、源数据库密码、目标数据库用户名和目标数据库密码。迁移通道建立模块602，用于向源数据库发送连接请求，连接请求包括源数据库地址、源数据库用户名和源数据库密码，由源数据库验证通过后连接到源数据库。迁移通道建立模块602，还用于向目标数据库发送连接请求，连接请求包括目标数据库地址、目标数据库用户名和目标数据库密码，由目标数据库验证通过后，连接到目标数据库以建立与配置信息对应的迁移通道。
在另一个实施例中，配置信息还包括源数据库所在服务器的登录名和登录密码。发送模块603，还用于根据源数据库所在服务器的登录名和登录密码向源数据库发送权限验证请求。代理配置模块6051，用于在源数据库验证通过后，为源数据库配置代理进程。
在又一个实施例中，发送模块603，还用于通过迁移通道向源数据库发送表结构同步指令。中转模块604，还用于通过迁移通道接收源数据库响应表结构同步指令发送的数据表结构，并将数据库表结构同步到目标数据库中。
上述的数据的迁移装置，可应用在两个或多个数据库之间，将源数据库的数据迁移至一个或多个目标数据库。用户可对源数据库和目标数据库进行比对，确认数据迁移完成后，切换应用程序。对于全量数据迁移过程中产生 的增量数据通过定时扫描抽取，不影响应用程序的数据写入，无需中断源数据库的业务，实现数据的在线迁移。并且，该数据的迁移装置，以数据表为迁移单位，通过配置代理进程对源数据库的数据日志进行分析或在源数据库建立触发器，获取增量数据，从而可扩展支持多种异构数据存储系统(包括关系型数据库、文件系统、分布式文件系统、消息队列等等)之间的数据在线迁移。
应该理解的是，虽然本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有 可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (18)

  1. 一种数据的迁移方法，其特征在于，包括：
    中转服务器获取配置信息，所述配置信息包括源数据库地址和目标数据库地址；
    所述中转服务器根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道；
    所述中转服务器通过所述迁移通道向所源数据库发送数据迁移请求，所述数据迁移请求携带有待迁移的数据表的信息；
    所述中转服务器通过所述迁移通道获取所述源数据库响应所述数据迁移请求发送的所述数据表的全量数据，并将所述全量数据通过所述迁移通道发送至对应的目标数据库；
    所述中转服务器通过所述迁移通道抽取所述源数据库的增量数据，并将所述增量数据通过所述迁移通道按照数据产生的时间顺序导入对应的所述目标数据库。
  2. 根据权利要求1所述的方法，其特征在于，所述中转服务器通过所述迁移通道抽取所述源数据库的增量数据的步骤包括：
    所述中转服务器为所述源数据库配置代理进程，通过所述代理进程读取并解析所述源数据库的数据日志，得到所述源数据库的增量信息；
    所述中转服务器通过所述迁移通道从所述源数据库中根据数据产生的时间顺序抽取与所述增量信息对应的增量数据。
  3. 根据权利要求1所述的方法，其特征在于：
    所述中转服务器根据所述源数据库地址连接到源数据库的步骤包括：所述中转服务器根据所述源数据库地址连接到源数据库，并向所述源数据库发送触发器生成指令，由所述源数据库根据所述触发器生成指令生成触发器；
    所述中转服务器通过所述迁移通道抽取所述源数据库的增量数据的步骤包括：所述中转服务器扫描所述触发器的增量表，并从所述增量表中抽取增量数据。
  4. 根据权利要求1所述的方法，其特征在于，所述配置信息包括源数据库用户名、源数据库密码、目标数据库用户名和目标数据库密码；
    所述中转服务器根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道的步骤包括：
    所述中转服务器向所述源数据库发送连接请求，所述连接请求包括源数据库地址、源数据库用户名和源数据库密码，由所述源数据库验证通过后连接到源数据库；
    所述中转服务器向所述目标数据库发送连接请求，所述连接请求包括目标数据库地址、目标数据库用户名和目标数据库密码，由所述目标数据库验证通过后，连接到目标数据库以建立与所述配置信息对应的迁移通道。
  5. 根据权利要求2所述的方法，其特征在于：
    所述配置信息还包括所述源数据库所在服务器的登录名和登录密码；
    所述方法还包括：所述中转服务器根据所述源数据库所在服务器的登录名和登录密码向所述源数据库发送权限验证请求，并在所述源数据库验证通过后，为所述源数据库配置代理进程。
  6. 根据权利要求1所述的方法，其特征在于，在所述中转服务器根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道的步骤之后，还包括：
    所述中转服务器通过所述迁移通道向源数据库发送表结构同步指令；
    所述中转服务器通过迁移通道接收所述源数据库响应所述表结构同步指令发送的数据表结构，并将所述数据库表结构同步到目标数据库中。
  7. 一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如下步骤：
    获取配置信息，所述配置信息包括源数据库地址和目标数据库地址；
    根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道；
    通过所述迁移通道向所源数据库发送数据迁移请求，所述数据迁移请求携带有待迁移的数据表的信息；
    通过所述迁移通道获取所述源数据库响应所述数据迁移请求发送的所述数据表的全量数据，并将所述全量数据通过所述迁移通道发送至对应的目标数据库；
    通过所述迁移通道抽取所述源数据库的增量数据，并将所述增量数据通过所述迁移通道按照数据产生的时间顺序导入对应的所述目标数据库。
  8. 根据权利要求7所述的计算机设备，其特征在于，所述通过所述迁移通道抽取所述源数据库的增量数据的步骤包括：
    为所述源数据库配置代理进程，通过所述代理进程读取并解析所述源数据库的数据日志，得到所述源数据库的增量信息；
    通过所述迁移通道从所述源数据库中根据数据产生的时间顺序抽取与所述增量信息对应的增量数据。
  9. 根据权利要求7所述的计算机设备，其特征在于，
    所述根据所述源数据库地址连接到源数据库的步骤包括：根据所述源数据库地址连接到源数据库，并向所述源数据库发送触发器生成指令，由所述源数据库根据所述触发器生成指令生成触发器；
    所述通过所述迁移通道抽取所述源数据库的增量数据的步骤包括：扫描所述触发器的增量表，并从所述增量表中抽取增量数据。
  10. 根据权利要求7所述的计算机设备，其特征在于，所述配置信息包括源数据库用户名、源数据库密码、目标数据库用户名和目标数据库密码；
    所述根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道的步骤包括：
    向所述源数据库发送连接请求，所述连接请求包括源数据库地址、源数据库用户名和源数据库密码，由所述源数据库验证通过后连接到源数据库；
    向所述目标数据库发送连接请求，所述连接请求包括目标数据库地址、目标数据库用户名和目标数据库密码，由所述目标数据库验证通过后，连接到目标数据库以建立与所述配置信息对应的迁移通道。
  11. 根据权利要求8所述的计算机设备，其特征在于，
    所述配置信息还包括所述源数据库所在服务器的登录名和登录密码；
    所述处理器还执行步骤：根据所述源数据库所在服务器的登录名和登录密码向所述源数据库发送权限验证请求，并在所述源数据库验证通过后，为所述源数据库配置代理进程。
  12. 根据权利要求7所述的计算机设备，其特征在于，在所述根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道的步骤之后，还包括：
    通过所述迁移通道向源数据库发送表结构同步指令；
    通过迁移通道接收所述源数据库响应所述表结构同步指令发送的数据表结构，并将所述数据库表结构同步到目标数据库中。
  13. 一个或多个存储有计算机可读指令的非易失性存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如下步骤：
    获取配置信息，所述配置信息包括源数据库地址和目标数据库地址；
    根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道；
    通过所述迁移通道向所源数据库发送数据迁移请求，所述数据迁移请求携带有待迁移的数据表的信息；
    通过所述迁移通道获取所述源数据库响应所述数据迁移请求发送的所述数据表的全量数据，并将所述全量数据通过所述迁移通道发送至对应的目标数据库；
    通过所述迁移通道抽取所述源数据库的增量数据，并将所述增量数据通 过所述迁移通道按照数据产生的时间顺序导入对应的所述目标数据库。
  14. 根据权利要求13所述的存储介质，其特征在于，所述通过所述迁移通道抽取所述源数据库的增量数据的步骤包括：
    为所述源数据库配置代理进程，通过所述代理进程读取并解析所述源数据库的数据日志，得到所述源数据库的增量信息；
    通过所述迁移通道从所述源数据库中根据数据产生的时间顺序抽取与所述增量信息对应的增量数据。
  15. 根据权利要求13所述的存储介质，其特征在于，
    所述根据所述源数据库地址连接到源数据库的步骤包括：根据所述源数据库地址连接到源数据库，并向所述源数据库发送触发器生成指令，由所述源数据库根据所述触发器生成指令生成触发器；
    所述通过所述迁移通道抽取所述源数据库的增量数据的步骤包括：扫描所述触发器的增量表，并从所述增量表中抽取增量数据。
  16. 根据权利要求13所述的存储介质，其特征在于，所述配置信息包括源数据库用户名、源数据库密码、目标数据库用户名和目标数据库密码；
    所述根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道的步骤包括：
    向所述源数据库发送连接请求，所述连接请求包括源数据库地址、源数据库用户名和源数据库密码，由所述源数据库验证通过后连接到源数据库；
    向所述目标数据库发送连接请求，所述连接请求包括目标数据库地址、目标数据库用户名和目标数据库密码，由所述目标数据库验证通过后，连接到目标数据库以建立与所述配置信息对应的迁移通道。
  17. 根据权利要求14所述的存储介质，其特征在于，
    所述配置信息还包括所述源数据库所在服务器的登录名和登录密码；
    所述处理器还执行步骤：根据所述源数据库所在服务器的登录名和登录密码向所述源数据库发送权限验证请求，并在所述源数据库验证通过后，为所述源数据库配置代理进程。
  18. 根据权利要求13所述的存储介质，其特征在于，在所述根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道的步骤之后，还包括：通过所述迁移通道向源数据库发送表结构同步指令；通过迁移通道接收所述源数据库响应所述表结构同步指令发送的数据表结构，并将所述数据库表结构同步到目标数据库中。
PCT/CN2017/118398 2017-01-11 2017-12-25 数据的迁移方法、计算机设备和存储介质 WO2018130066A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/412,584 US11068449B2 (en) 2017-01-11 2019-05-15 Data migration method, apparatus, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710021450.2A CN106874389B (zh) 2017-01-11 2017-01-11 数据的迁移方法和装置
CN201710021450.2 2017-01-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/412,584 Continuation US11068449B2 (en) 2017-01-11 2019-05-15 Data migration method, apparatus, and storage medium

Publications (1)

Publication Number Publication Date
WO2018130066A1 true WO2018130066A1 (zh) 2018-07-19

Family

ID=59158225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/118398 WO2018130066A1 (zh) 2017-01-11 2017-12-25 数据的迁移方法、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US11068449B2 (zh)
CN (1) CN106874389B (zh)
WO (1) WO2018130066A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339186A (zh) * 2020-02-19 2020-06-26 平安科技（深圳）有限公司 工作流引擎数据同步方法、装置、介质及电子设备
CN112307037A (zh) * 2019-07-26 2021-02-02 北京京东振世信息技术有限公司 一种数据同步方法和装置
CN117407362A (zh) * 2023-12-15 2024-01-16 中电云计算技术有限公司 一种异构文件系统间文件迁移的方法与装置

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874389B (zh) 2017-01-11 2023-04-07 腾讯科技（深圳）有限公司 数据的迁移方法和装置
CN107343049B (zh) * 2017-07-06 2020-03-24 上海观谷科技有限公司 数据同步方法及装置
CN107678856B (zh) * 2017-09-20 2022-04-05 苏宁易购集团股份有限公司 一种处理业务实体中增量信息的方法及装置
CN107992559B (zh) * 2017-11-28 2019-03-26 江苏中威科技软件系统有限公司 多数据源的数据迁移方法
CN108388599B (zh) * 2018-02-01 2022-08-02 平安科技（深圳）有限公司 电子装置、数据迁移及调用方法及存储介质
CN108388615B (zh) * 2018-02-09 2019-07-23 杭州数梦工场科技有限公司 一种数据交换方法、系统以及电子设备
CN108920344B (zh) * 2018-05-11 2021-11-12 南京南瑞继保电气有限公司 一种存储方法及设备、计算机可读存储介质
CN110659255A (zh) * 2018-06-28 2020-01-07 武汉斗鱼网络科技有限公司 一种数据迁移方法、装置、系统以及存储介质
CN110795496B (zh) * 2018-08-02 2023-05-30 阿里巴巴集团控股有限公司 数据同步方法、装置及系统
CN110888924A (zh) * 2018-09-10 2020-03-17 深圳市从晶科技有限公司 一种数据采集系统
CN110909071A (zh) * 2018-09-17 2020-03-24 北京国双科技有限公司 数据同步方法、装置以及系统
CN109299177A (zh) * 2018-09-30 2019-02-01 江苏满运软件科技有限公司 数据抽取方法、装置、存储介质及电子设备
CN109100951A (zh) * 2018-11-01 2018-12-28 广东粤迪厚创科技发展有限公司 一种基于大数据的智能家居系统
CN109726264B (zh) * 2019-01-16 2022-02-25 北京百度网讯科技有限公司 用于索引信息更新的方法、装置、设备和介质
CN111597200A (zh) * 2019-02-21 2020-08-28 阿里巴巴集团控股有限公司 数据处理方法、装置及存储介质
CN109977102A (zh) * 2019-03-27 2019-07-05 网易（杭州）网络有限公司 数据处理方法、装置、介质及电子设备
CN110175211B (zh) * 2019-05-05 2021-10-19 中国银行股份有限公司 一种数据同步方法及装置
CN111949680A (zh) * 2019-05-17 2020-11-17 杭州海康威视数字技术股份有限公司 数据处理方法、装置、计算机设备及存储介质
CN110297813B (zh) * 2019-05-22 2022-09-02 平安银行股份有限公司 数据迁移方法、装置、计算机设备及存储介质
CN110413595B (zh) * 2019-06-28 2022-07-12 万翼科技有限公司 一种应用于分布式数据库的数据迁移方法和相关装置
CN110659259A (zh) * 2019-09-03 2020-01-07 平安科技（深圳）有限公司 数据库迁移方法、服务器以及计算机存储介质
CN112559444A (zh) * 2019-09-25 2021-03-26 北京国双科技有限公司 Sql文件迁移方法、装置、存储介质及设备
CN110909270A (zh) * 2019-10-12 2020-03-24 平安普惠企业管理有限公司 文章迁移方法、装置、计算机可读存储介质及终端设备
CN111125063B (zh) * 2019-12-20 2023-09-26 无线生活（杭州）信息科技有限公司 一种快速校验集群间的数据迁移的方法及装置
CN111400276A (zh) * 2020-03-03 2020-07-10 杭州天谷信息科技有限公司 实时同步数据库迁移装置及方法
CN111402022A (zh) * 2020-03-10 2020-07-10 北京意锐新创科技有限公司 一种商户对账方法和装置
CN111367987A (zh) * 2020-03-31 2020-07-03 西安震有信通科技有限公司 适应多种数据库类型的数据导入方法、系统及装置
CN113849476A (zh) * 2020-06-28 2021-12-28 中兴通讯股份有限公司 数据迁移方法、装置、网络设备和存储介质
CN111831755B (zh) * 2020-07-23 2024-01-16 北京思特奇信息技术股份有限公司 一种跨数据库数据同步方法、系统、介质及设备
CN112286905A (zh) * 2020-10-15 2021-01-29 北京沃东天骏信息技术有限公司 数据迁移方法及装置、存储介质、电子设备
CN112860666A (zh) * 2021-02-08 2021-05-28 土巴兔集团股份有限公司 数据迁移方法、装置、计算机设备及存储介质
CN113051247A (zh) * 2021-03-18 2021-06-29 福建星瑞格软件有限公司 一种基于日志同步的数据库迁移方法及系统
CN113282571A (zh) * 2021-05-26 2021-08-20 北京金山云网络技术有限公司 数据转移方法、装置、电子设备和存储介质
CN113672596A (zh) * 2021-08-30 2021-11-19 中国平安人寿保险股份有限公司 项目配置表处理方法、装置、设备及存储介质
CN115037729A (zh) * 2022-04-21 2022-09-09 中国建设银行股份有限公司 数据汇聚方法、装置、电子设备及计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999537A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 一种数据迁移系统和方法
CN104021123A (zh) * 2013-02-28 2014-09-03 国际商业机器公司 用于数据迁移的方法和系统
CN104731888A (zh) * 2015-03-12 2015-06-24 北京奇虎科技有限公司 一种数据迁移的方法、装置和系统
CN105472045A (zh) * 2016-01-26 2016-04-06 北京百度网讯科技有限公司 数据库迁移的方法和装置
CN105718570A (zh) * 2016-01-20 2016-06-29 北京京东尚科信息技术有限公司 用于数据库的数据迁移方法和装置
CN106874389A (zh) * 2017-01-11 2017-06-20 腾讯科技（深圳）有限公司 数据的迁移方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6981177B2 (en) * 2002-04-19 2005-12-27 Computer Associates Think, Inc. Method and system for disaster recovery
US7627595B2 (en) * 2006-12-06 2009-12-01 Verizon Data Services Inc. Apparatus, method, and computer program product for synchronizing data sources
CN102202073B (zh) * 2010-03-24 2014-05-07 杭州华三通信技术有限公司 一种分布式系统及其数据同步方法
CN101944114B (zh) * 2010-09-16 2012-07-25 深圳天源迪科信息技术股份有限公司 内存数据库和物理数据库间的数据同步方法
CN102521225B (zh) * 2011-09-29 2013-09-11 用友软件股份有限公司 增量数据抽取装置和增量数据抽取方法
CN102915336B (zh) * 2012-09-18 2015-07-15 北京金和软件股份有限公司 一种基于时间戳和日志的增量数据捕获和抽取方法
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
US9996562B2 (en) * 2013-07-09 2018-06-12 Oracle International Corporation Automated database migration architecture
CN105243067B (zh) * 2014-07-07 2019-06-28 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置
US10027738B2 (en) * 2014-10-01 2018-07-17 SkyKick, Inc. Optimizing data migration processes
CN104809202B (zh) * 2015-04-24 2019-01-18 联动优势科技有限公司 一种数据库同步的方法和装置
CN104809201B (zh) * 2015-04-24 2018-11-16 联动优势科技有限公司 一种数据库同步的方法和装置
CN104899295B (zh) * 2015-06-09 2018-08-03 苏州国云数据科技有限公司 一种异构数据源数据关联分析方法
CN105868343B (zh) * 2016-03-28 2019-05-21 上海携程商务有限公司 数据库迁移方法及系统
CN105847378B (zh) * 2016-04-13 2019-06-28 北京思特奇信息技术股份有限公司 一种实现大数据同步的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999537A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 一种数据迁移系统和方法
CN104021123A (zh) * 2013-02-28 2014-09-03 国际商业机器公司 用于数据迁移的方法和系统
CN104731888A (zh) * 2015-03-12 2015-06-24 北京奇虎科技有限公司 一种数据迁移的方法、装置和系统
CN105718570A (zh) * 2016-01-20 2016-06-29 北京京东尚科信息技术有限公司 用于数据库的数据迁移方法和装置
CN105472045A (zh) * 2016-01-26 2016-04-06 北京百度网讯科技有限公司 数据库迁移的方法和装置
CN106874389A (zh) * 2017-01-11 2017-06-20 腾讯科技（深圳）有限公司 数据的迁移方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307037A (zh) * 2019-07-26 2021-02-02 北京京东振世信息技术有限公司 一种数据同步方法和装置
CN112307037B (zh) * 2019-07-26 2023-09-22 北京京东振世信息技术有限公司 一种数据同步方法和装置
CN111339186A (zh) * 2020-02-19 2020-06-26 平安科技（深圳）有限公司 工作流引擎数据同步方法、装置、介质及电子设备
CN111339186B (zh) * 2020-02-19 2022-09-30 平安科技（深圳）有限公司 工作流引擎数据同步方法、装置、介质及电子设备
CN117407362A (zh) * 2023-12-15 2024-01-16 中电云计算技术有限公司 一种异构文件系统间文件迁移的方法与装置
CN117407362B (zh) * 2023-12-15 2024-04-16 中电云计算技术有限公司 一种异构文件系统间文件迁移的方法与装置

Also Published As

Publication number Publication date
US11068449B2 (en) 2021-07-20
CN106874389B (zh) 2023-04-07
CN106874389A (zh) 2017-06-20
US20190266134A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
WO2018130066A1 (zh) 数据的迁移方法、计算机设备和存储介质
AU2014346473B2 (en) Document management and collaboration system
WO2021169277A1 (zh) 数据同步方法、装置、设备及计算机可读存储介质
US10901981B2 (en) Merging data edits with intervening edits for data concurrency
EP3491808B1 (en) Interchangeable retrieval of content
US20140304384A1 (en) Uploading large content items
CN109190353B (zh) 用于自动生成证书文档的方法和计算设备
WO2019019670A1 (zh) 应用访问方法、装置、计算机设备和存储介质
WO2021027115A1 (zh) 数据同步方法、装置、计算机设备和存储介质
US20240106902A1 (en) Communication protocols for an online content management system
CN112243017A (zh) 一种文件上传的方法和装置
WO2023077748A1 (zh) 一种账户管理方法、装置、计算机设备和存储介质
CN114928620B (zh) 用户信息同步方法、装置、设备、存储介质和程序产品
CN115221139A (zh) 文件读取方法、装置及节点设备
CN109302446B (zh) 跨平台访问方法、装置、电子设备及存储介质
US10255260B2 (en) System and framework for transforming domain data
Kelly Aggregating Private and Public Web Archives Using the Mementity Framework
US20230124659A1 (en) Systems and methods for collaborative editing of electronic objects
EP3142320A1 (en) Remote modification of a document database by a mobile telephone device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17891067

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17891067

Country of ref document: EP

Kind code of ref document: A1