WO2022171000A1 - 一种数据迁移方法、系统、设备以及介质 - Google Patents
一种数据迁移方法、系统、设备以及介质 Download PDFInfo
- Publication number
- WO2022171000A1 WO2022171000A1 PCT/CN2022/074431 CN2022074431W WO2022171000A1 WO 2022171000 A1 WO2022171000 A1 WO 2022171000A1 CN 2022074431 W CN2022074431 W CN 2022074431W WO 2022171000 A1 WO2022171000 A1 WO 2022171000A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- access heat
- heat table
- migration
- ids
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 31
- 230000005012 migration Effects 0.000 claims description 93
- 238000013508 migration Methods 0.000 claims description 93
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 235000019633 pungent taste Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Definitions
- the present application relates to the field of data migration, and in particular, to a data migration method, system, device and storage medium.
- the data volume migration process will affect the normal reading and writing of the data volume, resulting in a decrease in the read and write IOPS and bandwidth of the data volume. If the data volume of the data volume is large, the data migration time will also be prolonged, which will seriously affect the read and write of the data volume.
- the existing research mainly focuses on the implementation of the migration algorithm of the data volume, and does not consider the impact on the reading and writing of other data volumes during the data migration process. Although the migration of the data volume can be achieved, the impact on the reading and writing of other data volumes is relatively big.
- an embodiment of the present application proposes a data migration method, including the following steps:
- migrating the corresponding data object to the target volume according to the ID of the data object in the access heat table further comprising:
- the migration is performed according to the IDs of the data objects in the access heat table
- it also includes:
- the number of IDs of the data objects in the access heat table is greater than the preset value again, and the data corresponding to the ID of the current data object is again based on the ID of the current data object in the access heat table.
- Objects are migrated to the target volume.
- the acquisition module is configured to acquire the ID of the data object in the access heat table in response to receiving the instruction of data migration;
- the migration is performed according to the ID of the data object in the access heat table.
- an embodiment of the present application further provides a computer device, including:
- a memory where the memory stores a computer program that can be executed on the processor, and is characterized in that, when the processor executes the program, the processor executes the steps of any of the data migration methods described above.
- the present application has one of the following beneficial technical effects: the solution proposed by the present application preferentially selects frequently accessed data for migration, so that hierarchical data migration can be realized, data migration time can be shortened, and data migration to other data volumes in distributed storage can be alleviated.
- the impact of writing ensures the efficient and normal operation of data access services in the data center.
- migrating the corresponding data object to the target volume according to the ID of the data object in the access heat table further comprising:
- the timer can be started. If the number of IDs of the data objects in the access heat table continues for a time not greater than the preset value When the time threshold is reached, data migration is performed directly to avoid data migration being unavailable for a long time.
- migration parameters can be preset, such as the number of migrations or the time period. As long as the current number of migrations is less than the set number of migrations, or the duration of the migration is less than the set time period, after a data object migration is performed, when accessing the heat table After the number of IDs of the data objects is greater than the preset value again, the data objects corresponding to the IDs of the current data objects in the access heat table are again migrated to the target volume. In this way, frequently accessed data objects in the source volume can be guaranteed to be migrated to the target volume in time.
- a creation module 401 the creation module 401 is configured to create an access heat table in the source volume
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据迁移方法，包括以下步骤：在源卷中创建访问热度表；将所述源卷中被访问频率大于阈值的数据对象对应的ID记录到所述访问热度表中；响应于接收到数据迁移的指令，获取所述访问热度表中数据对象的ID；根据所述访问热度表中数据对象的ID将对应的数据对象迁移到目标卷中。本申请还公开了一种系统、计算机设备以及可读存储介质。本申请提出的方案优先选择频繁访问的数据进行迁移，这样可以实现数据的分级迁移，缩短数据迁移的时间，减轻数据迁移对分布式存储中其他数据卷读写的影响，保证数据中心数据访问业务的高效正常运行。
Description
本申请要求在2021年02月09日提交中国专利局、申请号为202110176463.3、发明名称为“一种数据迁移方法、系统、设备以及介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请涉及数据迁移领域，具体涉及一种数据迁移方法、系统、设备以及存储介质。
数据卷的迁移过程中会影响数据卷的正常读写，导致数据卷的读写IOPS和带宽下降。如果数据卷的数据量大，也会导致数据迁移的时间加长，从而导致数据卷的读写受到严重影响。目前，现有的研究主要集中在数据卷的迁移算法的实现，没有考虑数据迁移过程中对其它数据卷读写的影响，虽然可以实现数据卷的迁移，但对其他数据卷的读写影响较大。
发明内容
有鉴于此，为了克服上述问题的至少一个方面，本申请实施例提出一种数据迁移方法，包括以下步骤：
在源卷中创建访问热度表；
将所述源卷中被访问频率大于阈值的数据对象对应的ID记录到所述访问热度表中；
响应于接收到数据迁移的指令，获取所述访问热度表中数据对象的ID；
根据所述访问热度表中数据对象的ID将对应的数据对象迁移到目标卷中。
在一些实施例中，根据所述访问热度表中数据对象的ID将对应的数据对象迁移到目标卷中，进一步包括：
判断所述访问热度表中数据对象的ID的数量是否大于预设值；
响应于所述访问热度表中数据对象的ID的数量大于所述预设值，根据所述访问热度表中数据对象的ID进行迁移；
响应于所述访问热度表中数据对象的ID的数量不大于所述预设值，等待预设时间段，若访问热度表中数据对象的ID的数量在所述预设时间段期间大于预设值或者所述预设时间段结束，根据所述访问热度表中数据对象的ID进行迁移。
在一些实施例中，还包括：
删除所述源卷中已经迁移到所述目标卷中的数据对象以及访问热度表中对应的ID；
响应于进行数据对象迁移后，所述访问热度表中数据对象的ID的数量再次大于预设值，再次根据所述访问热度表中当前的数据对象的ID将当前的数据对象的ID对应的数据对象迁移到目标卷中。
在一些实施例中，还包括：
响应于当前系统的资源利用率小于预设利用率，将所述源卷中剩余的数据对象迁移到所述目标卷中。
基于同一发明构思，根据本申请的另一个方面，本申请的实施例还提供了一种数据迁移系统，包括：
创建模块，所述创建模块配置为在源卷中创建访问热度表；
记录模块，所述记录模块配置为将所述源卷中被访问频率大于阈值的数据对象对应的ID记录到所述访问热度表中；
获取模块，所述获取模块配置为响应于接收到数据迁移的指令，获取 所述访问热度表中数据对象的ID；
迁移模块，所述迁移模块配置为根据所述访问热度表中数据对象的ID将对应的数据对象迁移到目标卷中。
在一些实施例中，所述迁移模块还配置为：
判断所述访问热度表中数据对象的ID的数量是否大于预设值；
响应于所述访问热度表中数据对象的ID的数量大于所述预设值，根据所述访问热度表中数据对象的ID进行迁移；
响应于所述访问热度表中数据对象的ID的数量不大于所述预设值，等待预设时间段，若访问热度表中数据对象的ID的数量在所述预设时间段期间大于预设值或者所述预设时间段结束，根据所述访问热度表中数据对象的ID进行迁移。
在一些实施例中，所述迁移模块还配置为：
删除所述源卷中已经迁移到所述目标卷中的数据对象以及访问热度表中对应的ID；
响应于进行数据对象迁移后，所述访问热度表中数据对象的ID的数量再次大于预设值，再次根据所述访问热度表中当前的数据对象的ID将当前的数据对象的ID对应的数据对象迁移到目标卷中。
在一些实施例中，还包括第二迁移模块，所述第二迁移模块配置为：
响应于当前系统的资源利用率小于预设利用率，将所述源卷中剩余的数据对象迁移到所述目标卷中。
基于同一发明构思，根据本申请的另一个方面，本申请的实施例还提供了一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种数据迁移方法的步骤。
基于同一发明构思，根据本申请的另一个方面，本申请的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种数据迁移方法的步骤。
本申请具有以下有益技术效果之一：本申请提出的方案优先选择频繁访问的数据进行迁移，这样可以实现数据的分级迁移，缩短数据迁移的时间，减轻数据迁移对分布式存储中其他数据卷读写的影响，保证数据中心数据访问业务的高效正常运行。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请的实施例提供的数据迁移方法的流程示意图；
图2为本申请的实施例提供的数据迁移系统的结构示意图；
图3为本申请的实施例提供的计算机设备的结构示意图；
图4为本申请的实施例提供的计算机可读存储介质的结构示意图。
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请实施例进一步详细说明。
需要说明的是，本申请实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本申请实施例的限定，后续实施例对此不再一一说明。
根据本申请的一个方面，本申请的实施例提出一种数据迁移方法，如图1所示，其可以包括步骤：
S1，在源卷中创建访问热度表；
S2，将所述源卷中被访问频率大于阈值的数据对象对应的ID记录到所述访问热度表中；
S3，响应于接收到数据迁移的指令，获取所述访问热度表中数据对象的ID；
S4，根据所述访问热度表中数据对象的ID将对应的数据对象迁移到目标卷中。
本申请提出的方案优先选择频繁访问的数据进行迁移，这样可以实现数据的分级迁移，缩短数据迁移的时间，减轻数据迁移对分布式存储中其他数据卷读写的影响，保证数据中心数据访问业务的高效正常运行。
在一些实施例中，在步骤S1，在源卷中创建访问热度表中，具体的，访问热度表可以在创建卷初始化的时候创建，例如，可以在数据卷的元数据中添加新的数据结构——数据对象访问热度表，然后根据数据对象被访问的频率进行记录。
在一些实施例中，可以通过LRU算法对访问热度访问表进行添加和删除，以记录数据卷中频繁访问的数据对象。例如，当源卷中数据对象被访问时，记录数据对象ID，然后遍历数据对象访问热度表，判断数据对象ID是否存在，若数据对象ID在数据对象访问热度表中存在，则将该数据对象ID置换至表尾，若数据对象ID在数据对象访问热度表中不存在，则添加该数据对象ID。如果数据对象访问热度表未满，直接添加该数据对象ID；如果数据对象访问热度表已满，添加该数据对象ID的同时移除表中表头保存的数据对象ID。
在一些实施例中，可以设置数据优先迁移占比，表示优先迁移数据量占卷大小的比例，也即访问热度表的长度等于源卷中的数据对象个数乘以预先设置的优先迁移占比。这样，在后续进行迁移时，优先迁移设定占比 的数据，使得在系统比较繁忙时(即利用率大于阈值时)，缩短数据迁移的时间，减轻数据迁移对分布式存储中其他数据卷读写的影响，保证数据中心数据访问业务的高效正常运行。
在一些实施例中，根据所述访问热度表中数据对象的ID将对应的数据对象迁移到目标卷中，进一步包括：
判断所述访问热度表中数据对象的ID的数量是否大于预设值；
响应于所述访问热度表中数据对象的ID的数量大于所述预设值，根据所述访问热度表中数据对象的ID进行迁移；
响应于所述访问热度表中数据对象的ID的数量不大于所述预设值，等待预设时间段，若访问热度表中数据对象的ID的数量在所述预设时间段期间大于预设值或者所述预设时间段结束，根据所述访问热度表中数据对象的ID进行迁移。
具体的，为了进一步减少数据迁移过程中对其他数据卷的影响，在迁移前可以判断访问热度表中数据对象的ID的数量是否大于预设值，如果访问热度表中数据对象的ID的数量大于预设值则再进行迁移，如果访问热度表中数据对象的ID的数量不大于预设值，则可以启动计时器，若访问热度表中数据对象的ID的数量持续不大于预设值的时间达到时间阈值，则直接进行数据迁移，以避免长时间无法进行数据迁移。
在一些实施例中，还包括：
删除所述源卷中已经迁移到所述目标卷中的数据对象以及访问热度表中对应的ID；
响应于进行数据对象迁移后，所述访问热度表中数据对象的ID的数量再次大于预设值，再次根据所述访问热度表中当前的数据对象的ID将对应的数据对象迁移到目标卷中。
具体的，可以预先设置迁移参数，例如迁移次数或者时间段，只要当前迁移次数小于设置的迁移次数，或者迁移持续时间小于设置的时间段，则在进行一次数据对象迁移后，当访问热度表中的数据对象ID的数量再次 大于预设值后，再次根据所述访问热度表中当前的数据对象的ID对应的数据对象迁移到目标卷中。这样，可以保证源卷中被频繁访问的数据对象及时迁移到目标卷中。
在一些实施例中，当接收到迁移指令后，可以将源卷和目标卷的状态更新为MIGRATION_STATE_EXECUTING，当达到预设的迁移次数或达到设置的时间段后，利用CopyUP机制将源卷的数据迁移至目标卷。在迁移过程中，当对目标卷的数据对象进行读时，如果目标卷的数据对象不存在，读取源卷的数据对象，反之，即如果目标卷的数据对象存在，读取目标卷的数据对象；当对目标卷的数据对象进行写时，如果目标卷的数据对象不存在，读取源卷数据对象保存至目标卷，然后对目标卷的数据对象进行写操作，反之，即如果目标卷的数据对象存在，直接对目标卷的数据对象进行写操作。
在一些实施例中，还包括：
响应于当前系统的资源利用率小于预设利用率，将所述源卷中剩余的数据对象迁移到所述目标卷中。
具体的，当系统处于非繁忙时段，可以再次下发迁移指令，将源卷中剩余的数据对象迁移到目标卷中。
本申请提出的方案优先选择频繁访问的数据进行迁移，这样可以实现数据的分级迁移，缩短数据迁移的时间，减轻数据迁移对分布式存储中其他数据卷读写的影响，保证数据中心数据访问业务的高效正常运行。最后在系统处于空闲状态下时，对非频繁访问的数据进行后续迁移。
基于同一发明构思，根据本申请的另一个方面，本申请的实施例还提供了一种数据迁移系统400，如图2所示，包括：
创建模块401，所述创建模块401配置为在源卷中创建访问热度表；
记录模块402，所述记录模块402配置为将所述源卷中被访问频率大于阈值的数据对象对应的ID记录到所述访问热度表中；
获取模块403，所述获取模块403配置为响应于接收到数据迁移的指令， 获取所述访问热度表中数据对象的ID；
迁移模块404，所述迁移模块404配置为根据所述访问热度表中数据对象的ID将对应的数据对象迁移到目标卷中。
在一些实施例中，所述迁移模块404还配置为：
判断所述访问热度表中数据对象的ID的数量是否大于预设值；
响应于所述访问热度表中数据对象的ID的数量大于所述预设值，根据所述访问热度表中数据对象的ID进行迁移；
响应于所述访问热度表中数据对象的ID的数量不大于所述预设值，等待预设时间段，若访问热度表中数据对象的ID的数量在所述预设时间段期间大于预设值或者所述预设时间段结束，根据所述访问热度表中数据对象的ID进行迁移。
在一些实施例中，所述迁移模块还配置为：
删除所述源卷中已经迁移到所述目标卷中的数据对象以及访问热度表中对应的ID；
响应于进行数据对象迁移后，所述访问热度表中数据对象的ID的数量再次大于预设值，再次根据所述访问热度表中当前的数据对象的ID将对应的数据对象迁移到目标卷中。
在一些实施例中，还包括第二迁移模块，所述第二迁移模块配置为：
响应于当前系统的资源利用率小于预设利用率，将所述源卷中剩余的数据对象迁移到所述目标卷中。
基于同一发明构思，根据本申请的另一个方面，如图3所示，本申请的实施例还提供了一种计算机设备501，包括：
至少一个处理器520；以及
存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种数据迁移方法的步骤。
基于同一发明构思，根据本申请的另一个方面，如图4所示，本申请 的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序指令610，计算机程序指令610被处理器执行时执行如上的任一种数据迁移方法的步骤。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
此外，应该明白的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本申请实施例公开的范围。
以上是本申请公开的示例性实施例，但是应当注意，在不背离权利要求限定的本申请实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本申请实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本申请实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请实施例公开的范围(包括权利要求)被限于这些例子；在本申请实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。
Claims (10)
- 一种数据迁移方法，其特征在于，包括以下步骤：在源卷中创建访问热度表；将所述源卷中被访问频率大于阈值的数据对象对应的ID记录到所述访问热度表中；响应于接收到数据迁移的指令，获取所述访问热度表中数据对象的ID；根据所述访问热度表中数据对象的ID将对应的数据对象迁移到目标卷中。
- 如权利要求1所述的方法，其特征在于，根据所述访问热度表中数据对象的ID将对应的数据对象迁移到目标卷中，进一步包括：判断所述访问热度表中数据对象的ID的数量是否大于预设值；响应于所述访问热度表中数据对象的ID的数量大于所述预设值，根据所述访问热度表中数据对象的ID进行迁移；响应于所述访问热度表中数据对象的ID的数量不大于所述预设值，等待预设时间段，若访问热度表中数据对象的ID的数量在所述预设时间段期间大于预设值或者所述预设时间段结束，根据所述访问热度表中数据对象的ID进行迁移。
- 如权利要求2所述的方法，其特征在于，还包括：删除所述源卷中已经迁移到所述目标卷中的数据对象以及访问热度表中对应的ID；响应于进行数据对象迁移后，所述访问热度表中数据对象的ID的数量再次大于预设值，再次根据所述访问热度表中当前的数据对象的ID将当前的数据对象的ID对应的数据对象迁移到目标卷中。
- 如权利要求3所述的方法，其特征在于，还包括：响应于当前系统的资源利用率小于预设利用率，将所述源卷中剩余的数据对象迁移到所述目标卷中。
- 一种数据迁移系统，其特征在于，包括：创建模块，所述创建模块配置为在源卷中创建访问热度表；记录模块，所述记录模块配置为将所述源卷中被访问频率大于阈值的数据对象对应的ID记录到所述访问热度表中；获取模块，所述获取模块配置为响应于接收到数据迁移的指令，获取所述访问热度表中数据对象的ID；迁移模块，所述迁移模块配置为根据所述访问热度表中数据对象的ID将对应的数据对象迁移到目标卷中。
- 如权利要求5所述的系统，其特征在于，所述迁移模块还配置为：判断所述访问热度表中数据对象的ID的数量是否大于预设值；响应于所述访问热度表中数据对象的ID的数量大于所述预设值，根据所述访问热度表中数据对象的ID进行迁移；响应于所述访问热度表中数据对象的ID的数量不大于所述预设值，等待预设时间段，若访问热度表中数据对象的ID的数量在所述预设时间段期间大于预设值或者所述预设时间段结束，根据所述访问热度表中数据对象的ID进行迁移。
- 如权利要求6所述的系统，其特征在于，所述迁移模块还配置为：删除所述源卷中已经迁移到所述目标卷中的数据对象以及访问热度表中对应的ID；响应于进行数据对象迁移后，所述访问热度表中数据对象的ID的数量再次大于预设值，再次根据所述访问热度表中当前的数据对象的ID将当前的数据对象的ID对应的数据对象迁移到目标卷中。
- 如权利要求7所述的系统，其特征在于，还包括第二迁移模块，所述第二迁移模块配置为：响应于当前系统的资源利用率小于预设利用率，将所述源卷中剩余的数据对象迁移到所述目标卷中。
- 一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1至4任意一项所述的方法的步骤。
- 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1至4任意一项所述的方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110176463.3 | 2021-02-09 | ||
| CN202110176463.3A CN112860188A (zh) | 2021-02-09 | 2021-02-09 | 一种数据迁移方法、系统、设备以及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022171000A1 true WO2022171000A1 (zh) | 2022-08-18 |
Family
ID=75989449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/074431 WO2022171000A1 (zh) | 2021-02-09 | 2022-01-27 | 一种数据迁移方法、系统、设备以及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112860188A (zh) |
| WO (1) | WO2022171000A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112860188A (zh) * | 2021-02-09 | 2021-05-28 | 山东英信计算机技术有限公司 | 一种数据迁移方法、系统、设备以及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100274826A1 (en) * | 2009-04-23 | 2010-10-28 | Hitachi, Ltd. | Method for clipping migration candidate file in hierarchical storage management system |
| CN102882928A (zh) * | 2012-08-31 | 2013-01-16 | 浪潮电子信息产业股份有限公司 | 一种云存储系统的分级存储管理方法 |
| JP2014010540A (ja) * | 2012-06-28 | 2014-01-20 | Nec Corp | 仮想サーバ環境のデータ移行制御装置、方法、システム |
| CN104462240A (zh) * | 2014-11-18 | 2015-03-25 | 浪潮(北京)电子信息产业有限公司 | 云存储中实现分级存储管理的方法和系统 |
| CN105892952A (zh) * | 2016-04-22 | 2016-08-24 | 深圳市深信服电子科技有限公司 | 超融合系统及其纵向扩展方法 |
| US20180129443A1 (en) * | 2016-11-08 | 2018-05-10 | International Business Machines Corporation | Extent migration in multi-tier storage systems |
| CN109471836A (zh) * | 2018-11-01 | 2019-03-15 | 浪潮电子信息产业股份有限公司 | 一种数据迁移方法、装置和系统 |
| CN112860188A (zh) * | 2021-02-09 | 2021-05-28 | 山东英信计算机技术有限公司 | 一种数据迁移方法、系统、设备以及介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100571281C (zh) * | 2007-06-29 | 2009-12-16 | 清华大学 | 海量数据分级存储方法 |
| CN102510390B (zh) * | 2011-09-28 | 2014-01-01 | 北京飞杰信息技术有限公司 | 利用硬盘温度自检测指导数据迁移的方法和装置 |
| CN103078933B (zh) * | 2012-12-29 | 2015-12-02 | 深圳先进技术研究院 | 一种确定数据迁移时机的方法和装置 |
| CN103106047A (zh) * | 2013-01-29 | 2013-05-15 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象的存储系统及其存储方法 |
| CN105653591B (zh) * | 2015-12-22 | 2019-02-05 | 浙江中控研究院有限公司 | 一种工业实时数据分级存储及迁移方法 |
| CN110175163A (zh) * | 2019-05-24 | 2019-08-27 | 江西尚通科技发展股份有限公司 | 基于业务功能智能解析的多库分离方法、系统及介质 |
| CN110399100A (zh) * | 2019-07-05 | 2019-11-01 | 苏州浪潮智能科技有限公司 | 一种迁移处理的方法、装置、计算机存储介质及终端 |
| CN111124304B (zh) * | 2019-12-19 | 2022-04-22 | 北京浪潮数据技术有限公司 | 一种数据迁移方法、装置及电子设备和存储介质 |
| CN112015347A (zh) * | 2020-08-28 | 2020-12-01 | 北京浪潮数据技术有限公司 | 一种数据迁移方法、装置及相关设备 |
-
2021
- 2021-02-09 CN CN202110176463.3A patent/CN112860188A/zh active Pending
-
2022
- 2022-01-27 WO PCT/CN2022/074431 patent/WO2022171000A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100274826A1 (en) * | 2009-04-23 | 2010-10-28 | Hitachi, Ltd. | Method for clipping migration candidate file in hierarchical storage management system |
| JP2014010540A (ja) * | 2012-06-28 | 2014-01-20 | Nec Corp | 仮想サーバ環境のデータ移行制御装置、方法、システム |
| CN102882928A (zh) * | 2012-08-31 | 2013-01-16 | 浪潮电子信息产业股份有限公司 | 一种云存储系统的分级存储管理方法 |
| CN104462240A (zh) * | 2014-11-18 | 2015-03-25 | 浪潮(北京)电子信息产业有限公司 | 云存储中实现分级存储管理的方法和系统 |
| CN105892952A (zh) * | 2016-04-22 | 2016-08-24 | 深圳市深信服电子科技有限公司 | 超融合系统及其纵向扩展方法 |
| US20180129443A1 (en) * | 2016-11-08 | 2018-05-10 | International Business Machines Corporation | Extent migration in multi-tier storage systems |
| CN109471836A (zh) * | 2018-11-01 | 2019-03-15 | 浪潮电子信息产业股份有限公司 | 一种数据迁移方法、装置和系统 |
| CN112860188A (zh) * | 2021-02-09 | 2021-05-28 | 山东英信计算机技术有限公司 | 一种数据迁移方法、系统、设备以及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112860188A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6651444B2 (ja) | ハイブリッドストレージ | |
| US20200218662A1 (en) | Data caching device and control method therefor, data processing chip, and data processing system | |
| WO2014101108A1 (zh) | 分布式存储系统的缓存方法、节点和计算机可读介质 | |
| CN107704203B (zh) | 聚合大文件的删除方法、装置、设备及计算机存储介质 | |
| CN108089825B (zh) | 一种基于分布式集群的存储系统 | |
| US11550486B2 (en) | Data storage method and apparatus | |
| WO2021027541A1 (zh) | 一种重复数据的删除方法及装置 | |
| EP4030273A1 (en) | Data storage method and device | |
| WO2022171000A1 (zh) | 一种数据迁移方法、系统、设备以及介质 | |
| CN112463054A (zh) | 一种提升读写性能的方法和设备 | |
| CN116755625A (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| JP6069962B2 (ja) | 情報処理装置、領域解放制御プログラム、および領域解放制御方法 | |
| JP4498867B2 (ja) | データ保存管理方法およびデータライフサイクルマネージメントシステム | |
| US20140331007A1 (en) | Virtual library controller and control method | |
| JP5729479B2 (ja) | 仮想テープ装置及び仮想テープ装置の制御方法 | |
| US9395930B2 (en) | Information processing system, control method of information processing system, and recording medium | |
| CN109254958A (zh) | 分布式数据读写方法、设备及系统 | |
| WO2023207132A1 (zh) | 一种数据存储方法、装置、设备及介质 | |
| WO2022257337A1 (zh) | 一种实时恢复主元数据的方法、系统、设备及介质 | |
| CN109558073A (zh) | 一种基于教育系统的磁盘延长寿命的方法及电子设备 | |
| WO2021082877A1 (zh) | 访问固态硬盘的方法及装置 | |
| US9513826B2 (en) | Storage apparatus and storage apparatus control method | |
| JP3882461B2 (ja) | 記憶装置システム及びそのバックアップ取得方法 | |
| US20210216532A1 (en) | Method, device and computer program product for processing metadata | |
| CN116069263B (zh) | 文件系统的优化方法、装置、服务器、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22752161 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 22752161 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 22752161 Country of ref document: EP Kind code of ref document: A1 |