WO2019001017A1 - Procédé et système de transfert de données entre groupes, serveur et support de stockage informatique - Google Patents

Procédé et système de transfert de données entre groupes, serveur et support de stockage informatique Download PDF

Info

Publication number
WO2019001017A1
WO2019001017A1 PCT/CN2018/079027 CN2018079027W WO2019001017A1 WO 2019001017 A1 WO2019001017 A1 WO 2019001017A1 CN 2018079027 W CN2018079027 W CN 2018079027W WO 2019001017 A1 WO2019001017 A1 WO 2019001017A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
cluster
storage system
intermediate storage
child node
Prior art date
Application number
PCT/CN2018/079027
Other languages
English (en)
Chinese (zh)
Inventor
张恒
杨挺
Original Assignee
北京奇虎科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京奇虎科技有限公司 filed Critical 北京奇虎科技有限公司
Publication of WO2019001017A1 publication Critical patent/WO2019001017A1/fr

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

L'invention concerne un procédé et un système de transfert de données entre groupes, un serveur et un support de stockage non volatil lisible par ordinateur. Le procédé est utilisé pour un transfert de données entre un premier groupe et un second groupe, le premier groupe et le second groupe comprenant tous les deux au moins un sous-nœud. Le procédé consiste : selon une demande de transfert de données, à écrire des données respectives sur un trajet spécifié d'un système de stockage intermédiaire de manière parallèle par le biais de chaque sous-nœud dans le premier groupe (S100) ; selon une stratégie de redistribution de données du second groupe, à lire et à stocker les données à partir du trajet spécifié du système de stockage intermédiaire de manière parallèle par le biais de chaque sous-nœud dans le second groupe (S102).
PCT/CN2018/079027 2017-06-30 2018-03-14 Procédé et système de transfert de données entre groupes, serveur et support de stockage informatique WO2019001017A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710555588.0A CN107391629B (zh) 2017-06-30 2017-06-30 集群间数据迁移方法、系统、服务器及计算机存储介质
CN201710555588.0 2017-06-30

Publications (1)

Publication Number Publication Date
WO2019001017A1 true WO2019001017A1 (fr) 2019-01-03

Family

ID=60335391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/079027 WO2019001017A1 (fr) 2017-06-30 2018-03-14 Procédé et système de transfert de données entre groupes, serveur et support de stockage informatique

Country Status (2)

Country Link
CN (1) CN107391629B (fr)
WO (1) WO2019001017A1 (fr)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391629B (zh) * 2017-06-30 2021-01-29 三六零科技集团有限公司 集群间数据迁移方法、系统、服务器及计算机存储介质
CN108052664A (zh) * 2017-12-29 2018-05-18 北京小度信息科技有限公司 数据库存储集群的数据迁移方法和装置
CN110928943B (zh) * 2018-08-29 2023-06-20 阿里云计算有限公司 一种分布式数据库及数据写入方法
CN109298974B (zh) * 2018-09-30 2023-04-07 平安科技（深圳）有限公司 系统控制方法、装置、计算机及计算机可读存储介质
CN111444008B (zh) * 2018-12-29 2024-04-16 北京奇虎科技有限公司 集群间服务迁移方法及装置
CN110287060B (zh) * 2019-06-06 2021-06-22 郑州阿帕斯科技有限公司 一种数据的处理方法、装置
CN111258985A (zh) * 2020-01-17 2020-06-09 中国工商银行股份有限公司 数据集群迁移方法及装置
CN111459411B (zh) * 2020-03-30 2023-07-21 北京奇艺世纪科技有限公司 数据迁移方法、装置、设备及存储介质
CN111708763B (zh) * 2020-06-18 2023-12-01 北京金山云网络技术有限公司 分片集群的数据迁移方法、装置和分片集群系统
CN112506606A (zh) * 2020-11-23 2021-03-16 北京达佳互联信息技术有限公司 集群中容器的迁移方法、装置、设备和介质
CN112861188A (zh) * 2021-02-01 2021-05-28 青岛易来智能科技股份有限公司 用于多集群的数据汇集系统和方法
CN113050890A (zh) * 2021-03-26 2021-06-29 北京沃东天骏信息技术有限公司 一种数据迁移方法和装置
CN114615263A (zh) * 2022-02-10 2022-06-10 深圳市小满科技有限公司 集群在线迁移方法、装置、设备及存储介质
CN115103020B (zh) * 2022-08-25 2022-11-15 建信金融科技有限责任公司 数据迁移处理方法和装置
CN115905167B (zh) * 2022-11-10 2023-11-21 上海威固信息技术股份有限公司 一种可快速迁移数据的智能化数据存储方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499058B1 (en) * 1999-09-09 2002-12-24 Motokazu Hozumi File shared apparatus and its method file processing apparatus and its method recording medium in which file shared program is recorded and recording medium in which file processing program is recorded
CN102737130A (zh) * 2012-06-21 2012-10-17 广州从兴电子开发有限公司 处理hdfs元数据的方法及系统
CN103365740A (zh) * 2012-04-06 2013-10-23 腾讯科技（深圳）有限公司 一种数据冷备方法及装置
CN107391629A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 集群间数据迁移方法、系统、服务器及计算机存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2880554A1 (fr) * 2012-10-11 2015-06-10 Hitachi, Ltd. Serveur de fichiers de destination de migration et procédé de migration d'un système de fichiers
US9159149B2 (en) * 2013-03-14 2015-10-13 Interntional Business Machines Corporation Visualizing data transfers in distributed file system
CN103500146B (zh) * 2013-09-30 2016-04-27 北京邮电大学 虚拟机磁盘存储数据迁移方法和系统
CN106708902A (zh) * 2015-11-18 2017-05-24 青岛海日安电子有限公司 数据库数据迁移方法及系统
CN106777225B (zh) * 2016-12-26 2021-04-06 腾讯科技（深圳）有限公司 一种数据的迁移方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499058B1 (en) * 1999-09-09 2002-12-24 Motokazu Hozumi File shared apparatus and its method file processing apparatus and its method recording medium in which file shared program is recorded and recording medium in which file processing program is recorded
CN103365740A (zh) * 2012-04-06 2013-10-23 腾讯科技（深圳）有限公司 一种数据冷备方法及装置
CN102737130A (zh) * 2012-06-21 2012-10-17 广州从兴电子开发有限公司 处理hdfs元数据的方法及系统
CN107391629A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 集群间数据迁移方法、系统、服务器及计算机存储介质

Also Published As

Publication number Publication date
CN107391629A (zh) 2017-11-24
CN107391629B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
WO2019001017A1 (fr) Procédé et système de transfert de données entre groupes, serveur et support de stockage informatique
CN106777225B (zh) 一种数据的迁移方法和系统
US9313133B2 (en) Anticipatory warm-up of cluster resources for jobs processed on multiple cluster nodes
WO2016197994A1 (fr) Procédé et dispositif d'extension de capacité
US10291696B2 (en) Peer-to-peer architecture for processing big data
US9031910B2 (en) System and method for maintaining a cluster setup
WO2016180055A1 (fr) Procédé, dispositif et système de stockage et de lecture de données
US10157214B1 (en) Process for data migration between document stores
US9952940B2 (en) Method of operating a shared nothing cluster system
CN108228102B (zh) 节点间数据迁移方法、装置、计算设备及计算机存储介质
CN109643310B (zh) 用于数据库中数据重分布的系统和方法
US20170161313A1 (en) Detection and Resolution of Conflicts in Data Synchronization
CN110858194A (zh) 一种数据库扩容的方法和装置
US9984139B1 (en) Publish session framework for datastore operation records
CN107391033B (zh) 数据迁移方法及装置、计算设备、计算机存储介质
WO2019001021A1 (fr) Procédé, appareil et système de traitement de données, serveur et support de stockage informatique
US10298709B1 (en) Performance of Hadoop distributed file system operations in a non-native operating system
TW201738781A (zh) 資料表連接方法及裝置
CN112199427A (zh) 一种数据处理方法和系统
JP7038864B2 (ja) 検索サーバの集中型ストレージ
WO2016101759A1 (fr) Procédé d'acheminement de données, dispositif de gestion de données et système de stockage distribué
US8914324B1 (en) De-duplication storage system with improved reference update efficiency
US11157456B2 (en) Replication of data in a distributed file system using an arbiter
CN111225003B (zh) 一种nfs节点配置方法和装置
CN107566341B (zh) 一种基于联邦分布式文件存储系统的数据持久化存储方法及系统

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18824632

Country of ref document: EP

Kind code of ref document: A1