WO2014146543A1 - 面向云计算环境的分层存储系统中的数据迁移方法 - Google Patents

面向云计算环境的分层存储系统中的数据迁移方法 Download PDF

Info

Publication number
WO2014146543A1
WO2014146543A1 PCT/CN2014/072956 CN2014072956W WO2014146543A1 WO 2014146543 A1 WO2014146543 A1 WO 2014146543A1 CN 2014072956 W CN2014072956 W CN 2014072956W WO 2014146543 A1 WO2014146543 A1 WO 2014146543A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
migration
platform
data migration
ftp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2014/072956
Other languages
English (en)
French (fr)
Inventor
刘磊
何东杰
何朔
鲁志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Publication of WO2014146543A1 publication Critical patent/WO2014146543A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Definitions

  • the present invention relates to a tiered storage technology, and more particularly to a data migration method in a tiered storage system for a cloud computing environment. Background technique
  • an application system includes its own set of business systems and devices.
  • the present invention provides a hierarchical storage system for cloud computing.
  • the system has high throughput, high security, high reliability and scalability, and meets the high-performance and transparent data migration requirements for multiple business data.
  • a data migration method in a tiered storage system for a cloud computing environment including an online service platform and a big data platform, the data including structured data and non- Structured data and migrated between the online service platform and the big data platform, the method comprising: determining a type of data to be migrated; and based on the data And migrating between the online service platform and the big data platform, wherein, when determining that the data to be migrated is structured data, the MapReduce architecture is used to implement parallel migration, and the data to be migrated is determined to be When unstructured data, FTP is used to implement parallel migration.
  • the online service platform is configured to store recent data
  • the big data platform is configured to store long-term business data
  • implementing the parallel migration by using the MapReduce architecture includes: acquiring a data source and a constraint parameter to be transferred; collecting configuration information, and setting configuration information of the task in the MapReduce architecture according to the configuration information; And calling the task for data migration.
  • the constraint parameter includes a number of mapping requirements.
  • the configuration information of the task includes an input address, an output address, a class used by the mapper, a format of the input data, and a format of the output data.
  • implementing the parallel migration by using the FTP method includes: obtaining a configuration file, where the configuration file includes a data migration source data folder address, a number of threads used in the concurrent process, a migration destination data folder address, and data.
  • the naming mode of the file after migration parsing the configuration file; establishing an FTP connection according to the parsed configuration file.
  • implementing the parallel migration by using the FTP method further includes: after parsing the configuration file, determining whether the file list to be migrated is empty; wherein, if it is empty, the migration ends, otherwise, the migration is started.
  • the number of threads specified in the configuration file is used for data migration.
  • the parallel migration using the FTP method further includes: determining whether the migration is successful after establishing an FTP connection; if successful, ending the data migration, and vice versa, printing the migration error information to the log file.
  • the technical solution of the invention completes the data backup of multiple business systems by adopting a big data platform, simplifies the system management complexity, improves the system space utilization rate, and can realize automatic data migration between the online service platform and the big data platform.
  • the migrated data consists of structured data and unstructured data, and a concurrent data migration model is adopted to meet the performance requirements of the system for migration.
  • FIG. 1 is a schematic structural diagram of a cloud-oriented storage system according to an embodiment of the present invention
  • FIG. 2 is a flowchart of a structured data migration for a cloud computing storage system according to an embodiment of the present invention
  • FIG. 3 is a flow diagram of an unstructured data migration for a cloud computing storage system in accordance with one embodiment of the present invention. detailed description
  • the diagram provides an example of a hierarchical storage system structure for cloud computing and an implementation mechanism for dynamic migration data.
  • the tiered storage system includes an online business platform and a big data platform.
  • the two data platforms store data of different life cycles.
  • the recent data is stored on the online business platform, and the long-term data is stored on the big data platform.
  • the migration of data between the two platforms involves structured data and structured data.
  • the MapReduce architecture is used for structured data migration and the FTP method is used for unstructured data migration.
  • Data migration takes full account of concurrency and ensures migration performance.
  • the present invention discloses a layered storage system based on hadoop.
  • Hadoop is a distributed system infrastructure developed by the Apache Foundation. Users can develop distributed programs without taking into account the underlying details of the distribution, making full use of the power of the cluster. Speed calculation and storage. Hadoop implements a distributed file system (Hadoop Distributed File System), referred to as HDFS.
  • HDFS is highly fault tolerant and designed to be deployed on low-cost hardware. And it provides high transfer rates to access the application's data, suitable for those with large numbers
  • MapReduce itself is a software framework for parallel processing of large data sets.
  • the root of MapReduce is the map and reduce functions in functional programming. It consists of two operations that may contain many instances.
  • the Map function accepts a set of data and converts it into a list of key/value pairs, one for each key/value pair in the input field.
  • the Reduce function accepts the list generated by the Map function, and then according to it I J ⁇ J ⁇ , Knife , from an ' I , from / tIL J ) S M, ⁇ JL ? 'J .
  • the tiered storage system includes an online service platform storage system composed of 103 and 104 and a big data platform storage system composed of 106.
  • the online service platform system provides services as shown in 101, including mobile payment services, cardholder services, merchant services/acquisition services, joint marketing, electronic bills, internet payment, and the like.
  • 102 is the virtual machine layer above the online business platform.
  • 105 is a service provided on the big data storage platform, including historical data query, data mining functions, and as a data archive backup system.
  • the process of 107 described is a process of data migration from an online service platform to a big data platform, including structured data migration and unstructured data migration.
  • the structured data is mainly data stored in a relational database; the unstructured data is mainly an electronic ticket, a system log, and the like.
  • the lifetime of the data refers to the time window from which the data is generated to the time it is migrated to the big data platform archive backup, that is, the validity period of the online business platform data.
  • the hierarchical storage system of the present invention can greatly simplify the management cost of the system.
  • the backup system and the archiving system of multiple business platform systems are unified into one, which effectively improves the use of storage space, and does not need to allocate reasonable data storage space for each system.
  • the existing multi-service platform data sharing storage space on the big data platform reduces space waste and effectively improves space utilization.
  • the functionality of data migration is automated and requires no administrator management. Maximize parallel data migration, improve data migration performance, and reduce the impact on online business platform business.
  • the online service platform relational data can be migrated to the big data platform.
  • the MapReduce architecture is implemented in parallel. As shown in FIG. 2, the process may include the following: Q1, preparing to migrate data;
  • Q2 input the data source to be transferred and other constraint parameters; wherein the data source includes various structured databases, including MySQL, DB2, Oracle, etc., indicating the specific table name to be migrated; the other constraint parameters, Contains the number of maps required;
  • Q7-Q11 set the input address of the MapReduce task (job), the output address, the class used by the mapper, the format of the input data, and the format of the output data;
  • the structured data is migrated in parallel using the MapReduce architecture.
  • the migrated data can be saved in HBase, Hive, and HDFS, and you can specify how the data is stored and where it is stored.
  • the data migration process copies a large amount of data to Hadoop, and the replication work is done by a map task running in parallel by the cluster.
  • the MapReduce architecture allows data to be replicated in parallel, speeding up data migration.
  • the resource scheduling algorithm can be used for load balancing, and the load usage of the existing disk is checked. If the disk 10 has exceeded a certain threshold, then the 10 load of the tasktracker is considered heavy, and the map is no longer mapped.
  • structured data migration effectively leverages the MapReduce architecture to accomplish concurrent data migration.
  • migrating online business platform non-relational data (unstructured data) to big data platforms can use FTP architecture to implement incremental data migration in parallel.
  • the process can include the following: R1, starting to migrate data;
  • the configuration file includes a data migration source data folder address, a number of threads used in the concurrent process, a migration destination data folder address, and a data migration post-text
  • the configuration file includes a data migration source data folder address, a number of threads used in the concurrent process, a migration destination data folder address, and a data migration post-text
  • R3 parses the configuration file
  • the R4 configuration file is in the correct format. You can obtain a list of the files to be migrated. If the file format is incorrect, the data migration process ends.
  • R5 determining whether the list of files to be migrated is empty. If it is empty, no data migration is required, and the migration is ended. Otherwise, the specified number of threads in the configuration file is started for data migration;
  • R6 according to the configuration file information, establish an FTP connection; determine whether the migration is successful, if successful, end the data migration process, and vice versa, print the migration error information to the log file;
  • unstructured data migration effectively utilizes an FTP server to perform concurrent data migration.
  • the migrated data is stored under a directory specified in the HDFS.
  • the unstructured data migration process can adopt the incremental data migration method, synchronize the time of the online business platform and the big data platform, and migrate the data on the online business platform that has exceeded the lifetime to the big data platform, thereby reducing online The cost of the business platform.
  • the present invention accomplishes data backup of multiple service systems by adopting a big data platform, simplifies system management complexity, improves system space utilization rate, and can automatically synchronize between online service platform and big data platform.
  • data migration The migrated data consists of structured data and unstructured data, and a concurrent data migration model is adopted to meet the performance requirements of the system for migration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向云计算环境的分层存储系统中的数据迁移方法，所述分层存储系统包括在线业务平台和大数据平台，所述数据包括结构化数据和非结构化数据并且在所述在线业务平台与所述大数据平台之间进行迁移，所述方法包括：确定待迁移的数据的类型；以及根据所述数据的类型而在所述在线业务平台与所述大数据平台之间进行迁移，其中，在确定待迁移的数据为结构化数据时，采用MapReduce架构来实现并行迁移，而在确定待迁移的数据为非结构化数据时，采用FTP方式来实现并行迁移。

Description

面向云计算环境的分层存储系统中的数据迁移方法
技术领域
本发明涉及分层存储技术， 更具体来说， 涉及一种面向云计算环境的分层 存储系统中的数据迁移方法。 背景技术
在现有的大多数应用场景中， 一个应用系统包含自身的一套业务系统、备
/'V -ί, /, ·£一 Λ-,』,1, -Δ -tf -t, /, .1±- >0 -r- -L, 3^ Λ » ❖ 2C ί£· "ΠΟ 九 一
Ί'刀—； f、 ？兀。 夕 ' 5¾'|—3〃1>> 「 , T ti 又夕 , W ' g PU^f ^ T†T , m 且很容易造成容量空间的浪费， 对每个系统的存储能力做出了限制。
在当前方案下， 如果一个企业的系统较多， 则管理员要同时负责多个系统 的维护工作， 并且为每个系统设计备份系统和归档系统， 并且随着业务数据的 增多，要定期的做数据备份归档，数据备份和归档系统要求具有一定的可扩展 性， 般业务之间的存储空间不能共用， 造成有的系统空间使用较多， 有些系 统的空间利用率反而很低。如果需要查询很久以前的数据， 需要将归档系统中 的数据进行数据恢复，数据量较大的时候成本较高，而且不容易找到所需数据。
由上可见，现有系统不能艮好地满足多应用系统统一管理， 不能合理地使 用空间。 发明内容
为解决上述问题， 本发明提供了一种面向云计算的分层存储系统。 所述系 统具有高吞吐量、 高安全性、 高可靠性和可扩展性， 满足了对多项业务数据的 高性能、 透明的数据迁移要求。
根据本发明的一个方面，提供了一种面向云计算环境的分层存储系统中的 数据迁移方法， 所述分层存储系统包括在线业务平台和大数据平台， 所述数据 包括结构化数据和非结构化数据并且在所述在线业务平台与所述大数据平台 之间进行迁移， 所述方法包括： 确定待迁移的数据的类型； 以及根据所述数据 的类型而在所述在线业务平台与所述大数据平台之间进行迁移， 其中， 在确定 待迁移的数据为结构化数据时， 采用 MapReduce架构来实现并行迁移， 而在 确定待迁移的数据为非结构化数据时， 采用 FTP方式来实现并行迁移。
在上述数据迁移方法中， 所述在线业务平台配置成存储近期的数据， 而所 述大数据平台配置成存储长时期的业务数据。
在上述数据迁移方法中， 采用 MapReduce架构来实现并行迁移包括： 获 取待转移的数据源和约束参数；收集配置信息并且根据所述配置信息来相应地 设置所述 MapReduce架构中的任务的配置信息； 以及调用所述任务来进行数 据迁移。
在上述数据迁移方法中， 所述约束参数包含映射的个数要求。
在上述数据迁移方法中， 所述任务的配置信息包括输入地址、 输出地址、 映射器所使用类、 输入数据的格式以及输出数据的格式。
在上述数据迁移方法中， 采用 FTP方式来实现并行迁移包括： 获取配置 文件， 其中所述配置文件包含数据迁移源数据文件夹地址、 并发过程所采用的 线程数量、 迁移目的数据文件夹地址以及数据迁移后文件的命名方式； 对所述 配置文件进行解析； 根据解析后的配置文件， 建立 FTP连接。
在上述数据迁移方法中， 采用 FTP方式来实现并行迁移还包括： 在对所 述配置文件进行解析后，判断所要迁移的文件列表是否为空；其中，如果为空， 则结束迁移， 反之则启动配置文件中指定个数的线程数进行数据迁移。
在上述数据迁移方法中， 釆用 FTP方式来实现并行迁移还包括： 在建立 FTP连接后， 判断迁移是否成功； 其中如果成功， 则结束数据迁移， 反之则将 迁移错误信息打印到日志文件中。
本发明的技术方案通过采用一个大数据平台完成了多个业务系统的数据 备份， 简化了系统管理复杂性， 提高了系统空间使用率， 能够实现在线业务平 台和大数据平台之间的自动数据迁移。迁移的数据包含结构化数据和非结构化 数据， 采用了并发式的数据迁移模式以满足系统对迁移的性能要求。 附图说明
在参照附图阅读了本发明的具体实施方式以后，本领域技术人员将会更清 楚地了解本发明的各个方面。本领域技术人员应当理解的是： 这些附图仅仅用 于配合具体实施方式说明本发明的技术方案，而并非意在对本发明的保护范围 构成限制。
图 1是根据本发明的一个实施例的面向云计算存储系统结构示意图； 图 2是根据本发明的一个实施例的面向云计算存储系统结构化数据迁移 流程图；
图 3 是根据本发明的一个实施例的面向云计算存储系统非结构化数据迁 移流程图。 具体实施方式
下面介绍的是本发明的多个可能实施例中的一些， 旨在提供对本发明的基 本了解， 并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。 容易理解， 根据本发明的技术方案， 在不变更本发明的实质精神下， 本领域的 一般技术人员可以提出可相互替换的其它实现方式。 因此， 以下具体实施方式 以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部 或者视为对本发明技术方案的限定或限制。
图示提供的实例提供了面向云计算的分层存储系统结构图和动态迁移数 据的实现机制。 分层存储系统包含了在线业务平台和大数据平台， 两个数据平 台保存了不同生命周期的数据， 近期的数据保存在在线业务平台上， 长期的数 据保存在大数据平台上。两个平台间数据的迁移包含了结构化数据和 结构化 数据。
如将进一步描述， 结构化数据和非结构化数据迁移采取的方法是不同的。 对于结构化数据迁移采用 MapReduce 架构， 对于非结构化数据迁移则采用 FTP方式。 数据迁移充分考虑并发性， 确保迁移性能。
下面结合实施例和附图对本发明进行详细说明。
才艮据本发明的一个实施例， 本发明公开了一种基于 hadoop的分层存储系 统。
Hadoop是一种分布式系统基础架构，其由 Apache基金会开发。 用户可以 在不了解分布式底层细节的情况下， 开发分布式程序， 充分利用集群的威力高 速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System ), 简称 HDFS。 HDFS有着高容错性的特点， 并且设计用来部署在低廉 的硬件上。 而且它提供高传输率来访问应用程序的数据，适合那些有着超大数
+S_佳 AA 1^7 ΙΪ1 >iS
-J/ΰ 7l^ H v /^- /ig叮 /—j―
Hadoop有许多元素构成。 其最底部是分布式文件系统 HDFS， 它存储了 Hadoop集群中所有存储节点上的文件。 HDFS的上一层是 MapReduce引擎。 MapReduce本身就是用于并行处理大数据集的软件框架。 MapReduce 的根源 是函数性编程中的 map和 reduce函数。 它由两个可能包含有许多实例的操作 組成。 Map 函数接受一组数据并将其转换为一个键 /值对列表， 输入域中的每 个元素对应一个键 /值对。 Reduce函数接受 Map函数生成的列表， 然后根据它 I J ^J^ 、 刀 、從 一' I、從 /tIL J ) S M、^ JL ?'J 。
如图 1所示，所述的分层存储系统包含了由 103和 104组成的在线业务平 台存储系统和 106组成的大数据平台存储系统。所述的在线业务平台系统提供 了如 101所示的业务， 包含了移动支付服务、 持卡人服务、 商户服务 /收单服 务， 联合营销、 电子票据、 互联网支付等业务。 102是在线业务平台之上的虛 拟机层。 105是大数据存储平台之上所提供的服务， 包含了历史数据查询、 数 据挖掘功能， 并且作为数据归档备份系统。
所述的 107的过程即在线业务平台向大数据平台的数据迁移的过程，包含 了结构化数据迁移和非结构化数据迁移。所述的结构化数据主要是关系型数据 库所存储的数据； 所述的非结构化数据主要是电子票据、 系统日志等。 数据的 生命期指数据从产生到要求迁移到大数据平台归档备份的时间窗口，即在线业 务平台数据的有效性时间段。
本发明所述的分层次存储系统，可以极大简化系统的管理成本。 多个业务 平台系统的备份系统和归档系统统一为一个， 有效的提高了存储空间的使用， 不需为每个系统分配合理的数据存储空间。现有大数据平台上多业务平台数据 共用存储空间， 减少空间的浪费， 有效提升空间利用率。 数据迁移的功能自动 化实现， 无需管理员管理。 最大化的并行化数据迁移， 提升数据迁移性能， 减 少对在线业务平台业务的影响。
参考图 2， 将在线业务平台关系型数据迁移到大数据平台上可采用 MapReduce架构并行实行。 如图 2所示， 该过程可包括如下： Q1 , 准备迁移数据；
Q2, 输入所要转移数据源和其他的约束参数； 其中， 所述数据源包含了 各类结构化数据库， 包括 MySQL, DB2, Oracle等， 指明具体所要迁移的表 名称； 所述其他的约束参数， 包含映射（map ) 的个数要求；
Q3 , Q4, 开始数据迁移功能；
Q5, 收集所有的配置信息并且复制；
Q6, 根据配置信息， 配置 MapReduce的任务（job ) 的配置信息；
Q7-Q11 , 设置 MapReduce的任务（job )的输入地址， 输出地址， 映射器 ( Mapper )所使用类， 输入数据的格式， 输出数据的格式；
Qi2~Qi3 , 调用映射（map )任务开始进行数据迁移， 将源地址的数据复 制到目的地址；
Q14, 结构化数据迁移过程结束。
如上所述， 对结构化数据采用 MapReduce架构并行地进行迁移。 迁移后 的数据可以保存在 HBase、 Hive和 HDFS 中， 可以指定数据的存储方式和存 储位置。 数据迁移过程即将大量的数据复制到 Hadoop, 复制工作由集群并行 运行的映射（map )任务完成。 采用 MapReduce的架构可以将数据并行复制， 加快数据的迁移速度。
进一步优化，结构化数据迁移的过程中可以采用资源调度算法进行负载均 衡， 检查现有磁盘的负载使用情况。 如果磁盘 10已经超过了一定阈值， 则认 为此 tasktracker 的 10 负载很重， 则不再将映射 （ map ) 己 tasktracker
由此， 结构化数据迁移有效地利用 MapReduce架构从而完成并发数据迁 移。
参考图 3， 将在线业务平台非关系型数据（非结构化数据） 迁移到大数据 平台上可采用 FTP架构来并行实行增量式数据迁移。 该过程可包括如下： R1 , 开始迁移数据；
R2, 获取配置文件； 其中， 所述配置文件包含了数据迁移源数据文件夹 地址， 并发过程所采用的线程数量， 迁移目的数据文件夹地址， 数据迁移后文 N2014/072956 件的命名方式；
R3对配置文件进行解析；
R4配置文件格式正确， 进一步获取所要迁移的文件的列表， 文件格式不 正确， 则结束数据迁移过程；
R5, 判断所要迁移的文件列表是否为空， 如果为空， 则不需要进行数据 迁移， 结束迁移， 反之， 启动配置文件中指定个数的线程数进行数据迁移；
R6, 根据配置文件信息， 建立 FTP连接； 判断迁移是否成功， 如果成功， 则结束数据迁移过程， 反之， 将迁移错误信息打印到日志文件中；
R7， 结束迁移。
可见， 非结构化数据迁移有效地利用 FTP服务器来完成并发数据迁移。 在一个实施方式中， 迁移后的数据存放在 HDFS中指定的目录之下。
进一步优化， 非结构化数据迁移过程中可采用增量数据迁移方法， 同步在 线业务平台和大数据平台的时间，将已经超过生命期的在线业务平台上的数据 迁移到大数据平台， 从而减少在线业务平台的成本。
综上所述，本发明通过采用一个大数据平台完成了多个业务系统的数据备 份， 简化了系统管理复杂性， 提高了系统空间使用率， 能够实现在线业务平台 和大数据平台之间的自动数据迁移。迁移的数据包含结构化数据和非结构化数 据， 采用了并发式的数据迁移模式以满足系统对迁移的性能要求。
上文中， 参照附图描述了本发明的具体实施方式。 但是， 本领域中的普通 技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明 的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书 所限定的范围内。

Claims

权利要求
1. 一种面向云计算环境的分层存储系统中的数据迁移方法， 其特征在于， A巨左 玄 ^； ¾女^ fe、11/ ^ π + ¾τ 厶 ΰ^ τΜ^] ¾ fcfe W ¾rffi- 和非结构化数据并且在所述在线业务平台与所述大数据平台之间进行迁移，所 述方法包括：
确定待迁移的数据的类型； 以及
根据所述数据的类型而在所述在线业务平台与所述大数据平台之间进行 迁移， 其中， 在确定待迁移的数据为结构化数据时， 采用 MapReduce架构来 实现并行迁移， 而在确定待迁移的数据为非结构化数据时， 釆用 FTP方式来
^ -^QTTU 夕。
2. 如权利要求 1所述的数据迁移方法， 其中， 所述在线业务平台配置成存 储近期的数据， 而所述大数据平台配置成存储长时期的业务数据。
3. 如权利要求 1所述的数据迁移方法，其中，采用 MapReduce架构来实现 并行迁移包括：
获取待转移的数据源和约束参数；
收集配置信息并且根据所述配置信息来相应地设置所述 MapReduce架构 中的任务的配置信息； 以及
调用所述任务来进行数据迁移。
4. 如权利要求 3所述的数据迁移方法， 其中， 所述约束参数包含映射的个 数要求。
5. 如权利要求 3所述的数据迁移方法， 其中， 所述任务的配置信 包括输 入地址、 输出地址、 映射器所使用类、 输入数据的格式以及输出数据的格式。
6. 如权利要求 1所述的数据迁移方法，其中， 采用 FTP方式来实现并行迁 移包括：
获取配置文件，其中所述配置文件包含数据迁移源数据文件夹地址、并发 过程所采用的线程数量、迁移目的数据文件夹地址以及数据迁移后文件的命名 方式；
对所述配置文件进行解析； 根据解析后的配置文件， 建立 FTP连接。
7. 如权利要求 6所述的数据迁移方法， 其中， 采用 FTP方式来实现并行迁 移还包括：
t ¾f 6)ί *Β6Ρ ¾ -^τ άιΆ^Μ^ f≤ *il ^G^m^^tsb H万 il志旦 ¾ t .
Ί丄 / | < LiHLi且人 I I Λ I J /B 'l/l » 7~'J // I 5^ O,'|^ M I I I -I v
其中， 如果为空， 则结束迁移， 反之则启动配置文件中指定个数的线程数 进行数据迁移。
8. 如权利要求 6所述的数据迁移方法，其中， 采用 FTP方式来实现并行迁 移还包括：
在建立 FTP连接后， 判断迁移是否成功；
其中如果成功， 则结束数据迁移， 反之则将迁移错误信息打印到日志文件
Ύ。
9. 如权利要求 1所述的方法， 其中， 在结构化数据迁移的过程中可以采用 资源调度算法迸行负载均衡。
10. 如权利要求 1所述的方法， 其中， 在非结构化数据迁移的过程中可以 采用增量数据迁移方法， 同步所述在线业务平台和所述大数据平台的时间， 将 已经超过生命期的在线业务平台上的数据迁移到大数据平台。
PCT/CN2014/072956 2013-03-22 2014-03-06 面向云计算环境的分层存储系统中的数据迁移方法 Ceased WO2014146543A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310093809.9 2013-03-22
CN201310093809.9A CN104065685B (zh) 2013-03-22 2013-03-22 面向云计算环境的分层存储系统中的数据迁移方法

Publications (1)

Publication Number Publication Date
WO2014146543A1 true WO2014146543A1 (zh) 2014-09-25

Family

ID=51553216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/072956 Ceased WO2014146543A1 (zh) 2013-03-22 2014-03-06 面向云计算环境的分层存储系统中的数据迁移方法

Country Status (2)

Country Link
CN (1) CN104065685B (zh)
WO (1) WO2014146543A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021259094A1 (zh) * 2020-06-23 2021-12-30 中兴通讯股份有限公司 跨云平台虚拟机迁移方法、装置、存储介质及电子装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843820B (zh) * 2015-01-16 2019-10-08 阿里巴巴集团控股有限公司 数据迁移方法及装置
CN104794155B (zh) * 2015-03-12 2019-06-18 北京奇虎科技有限公司 数据加载的方法、装置及系统
CN106294496B (zh) * 2015-06-09 2020-02-07 北京京东尚科信息技术有限公司 一种基于hadoop集群的数据迁移方法和工具
CN106503018A (zh) * 2015-09-08 2017-03-15 北京京东尚科信息技术有限公司 进行历史数据迁移的方法及系统
CN105786603B (zh) * 2016-02-29 2022-03-11 青岛海尔智能家电科技有限公司 一种基于分布式的高并发业务处理系统及方法
CN106095940A (zh) * 2016-06-14 2016-11-09 齐鲁工业大学 一种基于任务负载的数据迁移方法
CN106155785B (zh) * 2016-06-23 2018-01-12 中国人民解放军国防科学技术大学 一种跨数据中心云计算系统的数据迁移方法
CN106209975B (zh) * 2016-06-23 2018-06-01 中国人民解放军国防科学技术大学 一种跨数据中心云计算系统的资源供给方法
CN106484329B (zh) * 2016-09-26 2019-01-08 浪潮电子信息产业股份有限公司 一种基于多级存储的大数据传输完整性保护方法
CN106844417B (zh) * 2016-11-21 2020-07-28 深信服科技股份有限公司 基于文件目录的热迁移方法及装置
CN107066328A (zh) * 2017-05-19 2017-08-18 成都四象联创科技有限公司 大规模数据处理平台的构建方法
CN108255966A (zh) * 2017-12-25 2018-07-06 太极计算机股份有限公司 一种数据迁移方法及存储介质
CN109359085A (zh) * 2018-08-23 2019-02-19 平安科技（深圳）有限公司 文件迁移方法、装置、计算机设备及存储介质
CN109600440A (zh) * 2018-12-13 2019-04-09 国网河北省电力有限公司石家庄供电分公司 一种电力销售大数据处理方法
CN109739438A (zh) * 2018-12-26 2019-05-10 安徽大尺度网络传媒有限公司 一种大数据云存储系统
CN112286882A (zh) * 2020-10-30 2021-01-29 山东黄金矿业(莱州)有限公司三山岛金矿 一种工业生产现场将异地非结构化数据采集至Hadoop平台的方法
CN112650710B (zh) * 2020-12-31 2023-07-21 青岛海尔科技有限公司 数据迁移的发送方法及装置、存储介质、电子装置
CN115617779A (zh) * 2022-10-17 2023-01-17 华润数字科技有限公司 异地多源异构数据迁移方法、装置及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436408A (zh) * 2011-10-10 2012-05-02 上海交通大学 基于Map/Dedup的数据存储云化和云备份方法
CN102801559A (zh) * 2012-08-03 2012-11-28 南京富士通南大软件技术有限公司 智能化局域网数据采集方法
CN102857565A (zh) * 2012-09-03 2013-01-02 重庆邮电大学 一种基于云计算的智能试衣系统
WO2013036677A1 (en) * 2011-09-06 2013-03-14 The Regents Of The University Of California Medical informatics compute cluster

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202551108U (zh) * 2012-03-08 2012-11-21 成都静水飞云科技有限责任公司 基于socket协议的无障碍数据流通云计算系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013036677A1 (en) * 2011-09-06 2013-03-14 The Regents Of The University Of California Medical informatics compute cluster
CN102436408A (zh) * 2011-10-10 2012-05-02 上海交通大学 基于Map/Dedup的数据存储云化和云备份方法
CN102801559A (zh) * 2012-08-03 2012-11-28 南京富士通南大软件技术有限公司 智能化局域网数据采集方法
CN102857565A (zh) * 2012-09-03 2013-01-02 重庆邮电大学 一种基于云计算的智能试衣系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021259094A1 (zh) * 2020-06-23 2021-12-30 中兴通讯股份有限公司 跨云平台虚拟机迁移方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN104065685A (zh) 2014-09-24
CN104065685B (zh) 2018-04-27

Similar Documents

Publication Publication Date Title
WO2014146543A1 (zh) 面向云计算环境的分层存储系统中的数据迁移方法
US11797403B2 (en) Maintaining a synchronous replication relationship between two or more storage systems
US12430217B2 (en) Distributed system dual class of service
US12341848B2 (en) Distributed protocol endpoint services for data storage systems
US12175124B2 (en) Enhanced data access using composite data views
US20220335009A1 (en) Converting Storage Resources to Distributed Persistent Storage for Containerized Applications
CN114756519B (zh) 与无状态同步节点的托管文件同步
CN106170777B (zh) 降低基于块的存储的数据卷耐久性状态的方法
US20200174671A1 (en) Bucket views
US11995315B2 (en) Converting data formats in a storage system
CN107122361B (zh) 数据迁移系统和方法
US20220334990A1 (en) Zone drive data format
CN103605698A (zh) 一种用于分布异构数据资源整合的云数据库系统
US12411739B2 (en) Initiating recovery actions when a dataset ceases to be synchronously replicated across a set of storage systems
CN103294731A (zh) 实时索引建立、实时搜索方法及装置
CN106254466B (zh) 基于局域网的hdfs分布式文件共享方法
US20220405200A1 (en) Compressed data management in zones
US20240396894A1 (en) Utilizing a front-end object store service for object migration
CN111327613A (zh) 分布式服务的权限控制方法、装置及计算机可读存储介质
US12399908B2 (en) Multi-cluster database deployment
EP3058455A1 (en) Methods for monitoring and controlling a storage environment and devices thereof
CN105335450B (zh) 数据存储处理方法及装置
EP4581499A1 (en) In-band file system access
Zhang et al. SimpleSync: A parallel delta synchronization method based on Flink
US12561068B2 (en) Calculating storage consumption in a storage-as-a-service model

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14770852

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1)EPC ( EPO FORM 1205A DATED 26/01/2016 )

122 Ep: pct application non-entry in european phase

Ref document number: 14770852

Country of ref document: EP

Kind code of ref document: A1