WO2010037348A1

WO2010037348A1 - 数据迁移方法、系统、数据迁移服务器及数据接口服务器

Info

Publication number: WO2010037348A1
Application number: PCT/CN2009/074230
Authority: WO
Inventors: 康林
Original assignee: 腾讯科技（深圳）有限公司
Priority date: 2008-09-27
Filing date: 2009-09-25
Publication date: 2010-04-08
Also published as: CN101364186A; CN101364186B

Description

数据迁移方法、系统、数据迁移服务器及数据接口服务器技术领域

本发明涉及数据迁移技术领域，特别涉及数据迁移方法、系统、数据迁移服务器及数据接口服务器。发明背景

数据迁移是指数据从一种媒质转换为另外一种媒质或者从一种格式转换为另外一种格式的过程，例如将一块硬盘的数据转移到另一块硬盘中，或者将 WORD格式文件转换为 PDF格式文件等。对于单个数据来说，迁移的过程中，被迁移的数据是无法被使用的，只有当数据迁移完成后，该数据才可以被访问或修改。

受当前的技术限制，目前一般数据迁移的速度还不够理想，尤其是海量数据的迁移，例如将数据库中的大量数据迁移到另一数据库中，由于数据的数量巨大，完成全部数据的迁移很可能需要数天甚至数周的时间，在这期间，如果用户对原数据库的某个数据进行了写入或修改的操作，而该数据已经迁移到新数据库中，那么待全部数据迁移至新数据库中后，在新数据库中的该数据将仍保持用户操作前的状态，不会反映用户的操作，造成用户操作失效。因此，现有的数据迁移方法中，一般都要求在数据迁移过程，禁止用户对原数据进行操作。

图 1 为现有数据迁移系统的结构图，该系统包括原始数据服务器 101、目的数据服务器 102、迁移服务器 103和数据接口服务器 104。

在数据迁移过程中，迁移服务器 103重复执行从原始数据服务器 101 中读取数据并迁移至目的数据服务器 102的操作，直到所有数据迁移完毕，在此期间，数据接口服务器 104会停止对用户发送的数据操作指令的响应，停止数据服务，在所有数据迁移完毕后，数据接口服务器 104 将数据操作接口从原来指向原始数据服务器 101修改为指向目的数据服务器 102, 并开启数据服务。

对于上述现有的数据迁移系统及迁移方法来说，数据迁移过程将导致数据服务暂停，用户将不能对数据进行任何操作，这将极大地影响正常的数据服务，给数据服务的用户带来极大不便。发明内容

本发明实施例提供一种数据迁移方法，使用户在数据迁移过程中仍然可以使用数据服务，对数据进行操作。

本发明实施例提供一种数据迁移系统，使用户在数据迁移过程中仍然可以使用数据服务，对数据进行操作。

本发明实施例提供一种数据迁移服务器，使用户在数据迁移过程中仍然可以使用数据服务，对数据进行操作。

本发明实施例提供一种数据接口服务器，使用户在数据迁移过程中仍然可以使用数据服务，对数据进行操作。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种数据迁移方法，该方法包括：

对原始数据进行迁移，在数据迁移过程中，根据原始数据的迁移状态，为原始数据设置状态标记；

当接收到用户对原始数据的操作指令时，根据原始数据的状态标记执行操作指令。

一种数据迁移系统，该系统包括：

原始数据服务器，用于保存原始数据；

目标数据服务器，用于保存迁移后的原始数据；数据迁移服务器，与所述原始数据服务器、目标数据服务器及状态标记服务器分别相连，用于对原始数据服务器中的所有原始数据进行迁移，将迁移后的原始数据保存在所述目标数据服务器，并根据原始数据的迁移状态，设置原始数据的状态标记，并将与原始数据对应的状态标记保存于状态标记服务器；

状态标记服务器，与所述数据迁移服务器相连，用于保存所述数据迁移服务器设置的，与原始数据对应的状态标记；

数据接口服务器，与所述原始数据服务器、目标数据服务器及状态标记服务器分别相连，用于在数据迁移过程中，当接收到用户对原始数据的操作指令时，根据从所述状态标记服务器读取的原始数据的状态标记，对所述原始数据服务器中保存的原始数据，或目标数据服务器中保存的迁移后的原始数据执行操作指令。

一种数据迁移服务器，该服务器包括：

数据迁移模块，用于对原始数据进行迁移；

标记设置模块，与所述数据迁移模块相连，用于在所述数据迁移模块对原始数据进行迁移的过程中，根据原始数据的迁移状态，为原始数据设置状态标记，并将所述并将与原始数据对应的状态标记进行保存。

一种数据接口服务器，该服务器包括：

指令接收模块，用于接收用户对原始数据的操作指令；

指令执行模块，与所述指令接收模块相连，用于根据原始数据的状态标记执行所述指令接收模块接收到的操作指令。

由上述的技术方案可见，本发明的这种通过对原始数据进行迁移，在数据迁移过程中，根据原始数据的迁移状态，为原始数据设置状态标记；当接收到用户对原始数据的操作指令时，根据原始数据的状态标记执行操作指令的数据迁移方法、系统、数据迁移服务器及数据接口服务器，可以通过状态标记确定原始数据的迁移状态，从而确定对原始数据或迁移后的原始数据进行操作，从而避免在数据迁移过程中，对数据进行操作可能出现的操作失效等问题，使用户在数据迁移过程中仍然可以使用数据服务，对数据进行操作，无需在迁移过程中停止数据服务。附图简要说明

图 1为现有数据迁移系统的结构图；

图 2为本发明实施例的数据迁移方法的总体流程图；

图 3 为本发明实施例的数据迁移方法的数据迁移部分的具体流程图；

图 4 为本发明实施例的数据迁移方法的数据服务部分的具体流程图；

图 5为本发明实施例的数据迁移系统的结构图；

图 6为本发明实施例的数据迁移服务器的结构图；

图 7为本发明实施例的数据接口服务器的结构图。实施本发明的方式

为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例，并参照附图，对本发明进一步详细说明。

本发明主要是在对原始数据进行迁移时，根据原始数据的迁移状态，为原始数据设置状态标记；在数据迁移过程中，若接收到用户对原始数据的操作指令，则根据原始数据的状态标记执行操作指令。

图 2为本发明实施例的数据迁移方法的总体流程图，如图 2所示，该流程包括两大部分，其中步骤 201和 202为数据迁移部分，步骤 203 为数据服务部分。步骤 201 , 对原始数据进行迁移。

对原始数据进行迁移的具体过程^艮多，例如可以每次读取一个原始数据并进行迁移，迁移完成后再读取下一个原始数据进行迁移，直到所有原始数据迁移完毕；也可以一次读取多个原始数据同时进行迁移，一次读取的多个原始数据都迁移完毕后，再读取多个原始数据进行迁移，直到所有原始数据迁移完毕；本发明并不限定具体的迁移过程，可以采用任何现有迁移方式，因此这里不再赘述。

步骤 202, 根据原始数据的迁移状态，为原始数据设置状态标记。在对原始数据进行迁移的过程中，将根据原始数据的迁移状态，为原始数据设置状态标记，例如将未进行迁移和迁移失败的原始数据设置状态标记为未迁移；将正在进行迁移的原始数据设置状态标记为正在迁移；将迁移成功的原始数据设置状态标记为已迁移等等。其中，将未进行迁移的原始数据设置状态标记为未迁移的步骤即在所有的原始数据都未进行迁移前，将所有的原始数据的状态标记设置为未迁移。另外，根据迁移状态划分的不同，还可以进一步细化迁移状态，例如对于数据量较大的单个数据，如视频文件，数据迁移前后对数据的读取和写入可能也要耗费较长时间，对于这样的原始数据，可以适当增加数据读取中、数据写入中等状态，当然，状态标记也需要相应地增加，具体迁移状态如何划分，以及状态标记的种类，可以根据具体需要而定。

具体状态标记可以用 0、 1、 2等数字来表示，例如 0表示未迁移， 1表示正在迁移， 2表示已经迁移，也可以使用 A、 B、 C等字母来表示，具体表示方法根据实际需要而定，这里不再赘述。

步骤 201、 202在实际操作中是没有先后顺序的，设置标记的操作和迁移过程可以是同步进行的，即一边迁移一边实时地设置标记，也可以以一定的周期或达到一定的迁移数量后统一设置标记，此处为清楚表达才分为先后两个步骤来描述，实际可以按照具体的需要而定。

步骤 203 , 当接收到用户对原始数据的操作指令时，根据原始数据的状态标记执行操作指令。

其中用户的操作指令可以是读取、写入、修改等等，本发明并不限定具体操作指令。

另外，根据原始数据的状态标记执行的操作指令具体可以包括：若原始数据的状态标记为未迁移，则对未迁移的原始数据执行操作指令；若状态标记为已迁移，则对迁移后的原始数据执行操作指令；若状态标记为正在迁移，则可以根据原始数据的数据量大小，采取不同的措施；例如，若原始数据的数据量比较小，一般几秒钟就可以迁移完毕，这时，可以暂停执行操作指令，等待原始数据的状态标记变为未迁移或已迁移后，再执行相应状态下的操作指令；若原始数据的数据量比较大，可能等待的时间会比较长，可能会造成用户的不愉快，这时，就可以直接停止执行操作指令，并向用户发出提示，提示用户该原始数据正在迁移，让用户稍候再进行操作；当然也可以提示用户预计迁移完成的时间，让用户选择等待或者取消本次操作，具体如何提示用户、是否提示用户，可以根据实际需要而定，这里不再赘述。

其中本发明中具体所执行的操作指令与接收到的用户对原始数据的操作指令没有本质区别，只是在执行用户的操作指令时，所调用的数据接口，即操作指令的目标数据，将根据原始数据的迁移状态而定，而不是固定按照原始的目标数据进行，当然，如果原始数据的迁移状态是未迁移，则无须改变操作操作指令所调用的数据接口，直接执行用户的操作指令即可。

图 3 为本发明实施例的数据迁移方法的数据迁移部分的具体流程图，如图 3所示，该流程包括：步骤 301 , 读取原始数据。

读取原始数据进行迁移前，设置所有原始数据的状态为未迁移。步骤 302, 设置该原始数据的状态标记为正在迁移。

成功读取一个未迁移的原始数据并开始迁移时，设置该原始数据的迁移状态为正在迁移。

步骤 303 , 对该原始数据进行迁移，若成功，则执行步骤 304, 若失败，则执行步骤 305。

步骤 304, 设置该原始数据的状态标记为已迁移。

原始数据迁移成功时，设置该原始数据的迁移状态为已迁移；步骤 305 , 设置该原始数据的状态标记为未迁移。

原始数据迁移失败时，设置该原始数据的迁移状态为未迁移。步骤 306, 判断该原始数据是否为最后一个需要迁移的原始数据，若是，则结束流程，否则返回步骤 301。

反复执行步骤 301~306 直到最后一个需要迁移的原始数据迁移成功，即可完成全部原始数据的迁移。对于迁移失败的原始数据，应作为需要迁移的原始数据，在下一次迁移过程中进行迁移，直至迁移成功；或者也可以等其它原始数据全部迁移成功后，再进行迁移，直至迁移成功。当然，为了能够尽快完成迁移，对于迁移失败的原始数据，也可以设置尝试次数限制，如果到达尝试次数仍然无法成功迁移的原始数据，也可以忽略掉。

图 4 为本发明实施例的数据迁移方法的数据服务部分的具体流程图，如图 4所示，该流程包括：

步骤 401 , 接收用户对原始数据的操作指令。

步骤 402, 读取原始数据的状态标记，若状态标记为未迁移，则执行步骤 403 , 若状态标记为已迁移，则执行步骤 404, 若状态标记为正在迁移，则执行步骤 405。

步骤 403 , 对原始数据执行操作指令。

根据用户的操作指令，对未迁移的原始数据进行操作，例如用户的操作指令是写入，则对原始数据进行写入操作，操作执行完成后结束流程。

步骤 404, 对迁移后的原始数据执行操作指令。

根据用户的操作指令，对迁移后的原始数据进行操作，例如用户的操作指令是写入，则对迁移后的原始数据进行写入操作，操作执行完成后结束流程。

步骤 405 , 不执行操作指令。

如果原始数据正在迁移，可以不执行用户的操作指令，也可以进一步发出提示，提示用户稍候再试，或者暂停执行操作指令，待原始数据的状态标记变为未迁移或者已迁移时，执行步骤 403或 404, 操作执行完成后结束流程。

图 5为本发明实施例的数据迁移系统结构图，如图 5所示，该系统包括：原始数据服务器 501、目标数据服务器 502、数据迁移服务器 503 状态标记服务器 504和数据接口服务器 505

原始数据服务器 501 , 用于保存原始数据；可以是一个服务器，也可以是由多个服务器组成的服务器群，当然也可以是任何数据存储设备。

目标数据服务器 502, 用于保存迁移后的原始数据；可以是一个服务器，也可以是由多个服务器组成的服务器群，当然也可以是任何数据存储设备。

数据迁移服务器 503 , 与原始数据服务器 501、目标数据服务器 502 和状态标记服务器 504分别相连，用于对原始数据服务器 501中的原始数据进行迁移，将迁移后的原始数据保存在所述目标数据服务器 502, 并根据原始数据的迁移状态，为原始数据设置状态标记；并将与原始数据对应的状态标记保存于所述状态标记服务器 504。

状态标记服务器 504, 与数据迁移服务器 503相连，用于保存数据迁移服务器 503设置的，与原始数据对应的状态标记。

数据接口服务器 505 , 与原始数据服务器 501、目标数据服务器 502 和状态标记服务器 504分别相连，用于在数据迁移过程中，当接收到用户对原始数据的操作指令时，根据从所述状态标记服务器 504中读取的与原始数据对应的状态标记，对所述原始数据服务器 501中保存的原始数据，或目标数据服务器 502中保存的迁移后的原始数据执行相应的操作指令。

其中，数据迁移服务器 503为原始数据设置状态标记的具体操作可以为：将未进行迁移和迁移失败的原始数据设置状态标记为未迁移；将正在进行迁移的原始数据设置状态标记为正在迁移；将迁移成功的原始数据设置状态标记为已迁移。其中，将未进行迁移的原始数据设置状态标记为未迁移的操作中包括在所有的原始数据都未进行迁移前，所有的原始数据的状态标记预先设置为未迁移。

状态标记服务器 504除了用于保存原始数据的状态标记外，还可以提供设置状态标记和得到状态标记的原子操作的接口，当然，如果业务要求不高也可以是非原子操作。所述原子操作是一种不可分割的基本操作。而数据迁移服务器 503和数据接口服务器 505 , 可以通过上述接口直接调用状态标记服务器 504提供的功能，通过筒单的原子操作，对状态标记进行设置或者读取。这将减轻数据迁移服务器 503和数据接口服务器 505的处理负担。

数据接口服务器 505根据原始数据的状态标记执行操作指令的具体操作可以为：若状态标记为未迁移，则对原始数据执行操作指令；若状态标记为已迁移，则对迁移后的原始数据执行操作指令；若状态标记为正在迁移，则暂停执行操作指令，等待原始数据的状态标记变为未迁移或已迁移后，执行未迁移或已迁移状态的相应操作指令；或者不执行操作指令，并向用户发出提示；或者提示用户选择等待或取消本次操作，若用户选择等待，则暂停执行操作指令，等待原始数据的状态标记变为未迁移或已迁移后，执行操作指令；若选择取消，则不执行操作指令。

当然，状态标记服务器 504的功能还可以集成在数据迁移服务器 503 中，此时，该系统包括：

原始数据服务器 501 , 用于保存原始数据；

目标数据服务器 502, 用于保存迁移后的原始数据；

数据迁移服务器 503 , 用于对原始数据服务器 501 中的所有原始数据进行迁移，将迁移后的原始数据保存在所述目标数据服务器 502, 并根据原始数据的迁移状态，设置并保存与原始数据对应的状态标记；数据接口服务器 505 , 用于在数据迁移过程中，当接收到用户对原始数据的操作指令时，根据数据迁移服务器 503中保存的状态标记执行操作指令。

另外，原始数据服务器 501和目标数据服务器 502也可以是同一个服务器，原始数据和迁移后的原始数据可以保存在同一个服务器中。

图 6为本发明实施例的数据迁移服务器的结构图，如图 6所示，该服务器包括：

数据迁移模块 601 , 用于对原始数据进行迁移。

标记设置模块 602, 与数据迁移模块 601相连，用于在所述数据迁移模块 601对原始数据进行迁移的过程中，根据原始数据的迁移状态，为原始数据设置状态标记，并将所述与原始数据对应的状态标记进行保存。

若系统中存在独立的状态标记服务器，则所述标记设置模块 602将所述与原始数据对应的状态标记保存于状态标记服务器；如果状态标记服务器集成于数据迁移服务器中，此时，数据迁移服务器可以进一步包括：

标记保存模块 603 , 与标记设置模块 602相连，用于保存与原始数据对应的^ 态标 ¾。

所述标记设置模块 602, 将所述与原始数据对应的状态标记保存于所述标记保存模块 603中。

其中，标记设置模块 602具体包括：

第一设置单元 604, 将未进行迁移和迁移失败的原始数据设置状态标记为未迁移。

第二设置单元 605 , 将正在进行迁移的原始数据设置状态标记为正在迁移。

第三设置单元 606,将迁移成功的原始数据设置状态标记为已迁移。设置单元的数量可以根据状态标记的数量进行调整，也可以合并为一个设置单元，视实际需要而定。

图 7为本发明实施例的数据接口服务器的结构图，如图 7所示，该服务器包括：

指令接收模块 701 , 用于接收用户对原始数据的操作指令。

指令执行模块 702, 与指令接收模块 701相连，用于根据获取的原始数据的状态标记执行指令接收模块 701接收到的操作指令。

状态标记保存的位置不同，指令执行模块 702获取原始数据对应的状态标记的具体方法也将不同，例如从状态标记服务器中读取，或从数据迁移服务器中读取等等，这里不再赘述。其中，指令执行模块 702具体包括：

第一执行单元 703 , 在原始数据的状态标记为未迁移时，对原始数据执行操作指令；

第二执行单元 704, 在原始数据的状态标记为已迁移时，对迁移后的原始数据执行操作指令；

第三执行单元 705 , 在原始数据的状态标记为正在迁移时，暂停执行操作指令，等待原始数据的状态标记变为未迁移或已迁移后，执行相应状态下的操作指令；或者不执行操作指令，并向用户发出提示；或者提示用户选择等待或取消本次操作，若用户选择等待，则暂停执行操作指令，等待原始数据的状态标记变为未迁移或已迁移后，执行操作指令；若选择取消，则不执行操作指令。

执行单元的数量可以根据状态标记的数量进行调整，也可以合并为一个执行单元，视实际需要而定。

上述装置实施例中的各服务器、模块和单元所执行的操作还可参考方法实施例中的描述进行，这里不再——举例。

由上述的实施例可见，本发明的数据迁移方法、系统、数据迁移服务器及数据接口服务器通过状态标记可以确定原始数据的迁移状态，从而确定对原始数据或迁移后的原始数据进行操作，从而避免在数据迁移过程中，对数据进行操作可能出现的操作失效等问题，使用户在数据迁移过程中仍然可以使用数据服务，对数据进行操作，无需停止数据服务。

所应理解的是，以上所述仅为本发明的较佳实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

1、一种数据迁移方法，其特征在于，该方法包括：

2、如权利要求 1所述的数据迁移方法，其特征在于，所述对原始数据进行迁移包括：

读取一个或多个未迁移的原始数据，对该一个或多个原始数据进行迁移，若迁移成功则继续读取下一个或多个未迁移的原始数据进行迁移，否则再次读取迁移不成功的原始数据进行迁移，直至所有原始数据迁移成功。

3、如权利要求 1或 2所述的数据迁移方法，其特征在于，所述根据原始数据的迁移状态，为原始数据设置状态标记包括：

将未进行迁移和迁移失败的原始数据设置状态标记为未迁移；将正在进行迁移的原始数据设置状态标记为正在迁移；

将迁移成功的原始数据设置状态标记为已迁移。

4、如权利要求 3所述的数据迁移方法，其特征在于，所述根据原始数据的状态标记执行操作指令，包括：

若原始数据的状态标记为未迁移，则对原始数据执行操作指令；若原始数据的状态标记为已迁移，则对迁移后的原始数据执行操作指令；

若原始数据的状态标记为正在迁移，则暂停执行操作指令，等待原始数据的状态标记变为未迁移或已迁移后，执行操作指令；或者不执行操作指令，并向用户发出提示。

5、一种数据迁移系统，其特征在于，该系统包括：

原始数据服务器，用于保存原始数据；

目标数据服务器，用于保存迁移后的原始数据；

数据迁移服务器，与所述原始数据服务器、目标数据服务器及状态标记服务器分别相连，用于对原始数据服务器中的所有原始数据进行迁移，将迁移后的原始数据保存在所述目标数据服务器，并根据原始数据的迁移状态，设置原始数据的状态标记，并将与原始数据对应的状态标记保存于状态标记服务器；

状态标记服务器，与所述数据迁移服务器相连，用于保存与原始数据对应的^ 态标 ¾ ;

6、如权利要求 5所述的数据迁移系统，其特征在于，所述状态标记服务器集成于数据迁移服务器中。

7、如权利要求 5或 6所述的数据迁移系统，其特征在于，所述数据迁移服务器根据原始数据的迁移状态，设置原始数据的状态标记，具体包括：

将迁移成功的原始数据设置状态标记为已迁移。

8、如权利要求 7所述的数据迁移系统，其特征在于，所述数据接口服务器根据原始数据的状态标记执行操作指令，具体包括：

9、一种数据迁移服务器，其特征在于，该服务器包括：

数据迁移模块，用于对原始数据进行迁移；

标记设置模块，与所述数据迁移模块相连，用于在所述数据迁移模块对原始数据进行迁移的过程中，根据原始数据的迁移状态，为原始数据设置状态标记，并将所述与原始数据对应的状态标记进行保存。

10、如权利要求 9所述的数据迁移服务器，其特征在于，所述标记设置模块将所述与原始数据对应的状态标记保存于状态标记服务器；或者，该数据迁移服务器进一步包括：

标记保存模块，与所述标记设置模块相连，用于保存与原始数据对应的^ 态标" ^己；

所述标记设置模块将所述与原始数据对应的状态标记保存于所述标记保存模块。

11、如权利要求 9或 10所述的数据迁移服务器，其特征在于，所述标记设置模块包括：

第一状态设置单元，将未进行迁移和迁移失败的原始数据设置状态标记为未迁移；

第二状态设置单元，将正在进行迁移的原始数据设置状态标记为正在迁移；第三状态设置单元，将迁移成功的原始数据设置状态标记为已迁移。

12、一种数据接口服务器，其特征在于，该服务器包括：

指令接收模块，用于接收用户对原始数据的操作指令；

13、如权利要求 12所述的数据接口服务器，其特征在于，所述指令执行模块包括：

第一指令执行单元，在原始数据的状态标记为未迁移时，对原始数据执行操作指令；

第二指令执行单元，在原始数据的状态标记为已迁移时，对迁移后的原始数据执行操作指令；

第三指令执行单元，在原始数据的状态标记为正在迁移时，暂停执行操作指令，等待原始数据的状态标记变为未迁移或已迁移后，执行操作指令；或者不执行操作指令，并向用户发出提示。

14、如权利要求 12或 13所述的数据接口服务器，其特征在于，所述指令执行模块从状态标记服务器中读取原始数据的状态标记，或从数据迁移服务器中读取原始数据的状态标记。