WO2016045374A1 - 数据同步的方法及装置 - Google Patents
数据同步的方法及装置 Download PDFInfo
- Publication number
- WO2016045374A1 WO2016045374A1 PCT/CN2015/077238 CN2015077238W WO2016045374A1 WO 2016045374 A1 WO2016045374 A1 WO 2016045374A1 CN 2015077238 W CN2015077238 W CN 2015077238W WO 2016045374 A1 WO2016045374 A1 WO 2016045374A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- synchronization
- standby
- standby device
- during
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
Abstract
本发明公开了一种数据同步的方法及装置,其中,该方法包括:将主用设备的在进行数据同步之前的历史数据同步到备用设备;判断该主用设备与该备用设备进行该历史数据同步期间,该主用设备运行过程中是否存在数据变化;在判断结果为是的情况下,将变化后的数据同步给该备用设备。通过本发明,解决了相关技术中在主机和备机不是同时上电的情况下,完成主机和备机数据同步需要中断主机的运行的问题,使得不需要中断主机系统的运行,进而提高了系统稳定性的效果。
Description
本发明涉及通信领域,具体而言,涉及一种数据同步的方法及装置。
在现有的数据库系统中,为了增加系统的可靠性,一般都需要为主数据库增加1个或多个备用数据库。当主用数据库出现异常时,通过倒换机制,切换到备用数据库提供相关的数据服务。
一种常见的应用场景是主备数据库同时上线,这种情况下,主备数据库初始数据一致,后续主机变化数据,增量同步到备机,即可保证数据一致。而另一种情况下,主机之前已经上线,有历史数据,备机新上线,可以利用从主机复制数据库文件,然后在备机导入数据文件。为了保证主备数据一致,往往需要在拷贝主机数据文件到备机数据库上线这段时间内中断主机的数据的写操作,从而避免备机装载的数据与主机的数据不一致。这样就需要中断业务服务,在7×24小时运行系统中,为了增加稳定性带来的业务中断是不可接受的。因而,需要优化一种机制,能够实现在不中断业务的场景下完成备机数据库的上线。
针对相关技术中在主机和备机不是同时上电的情况下,完成主机和备机数据同步需要中断主机的运行的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据同步的方法及装置,以至少解决技术中在主机和备机不是同时上电的情况下,完成主机和备机数据同步需要中断主机的运行的问题。
根据本发明实施例的一个方面,提供了一种数据同步的方法,包括:将主用设备的在进行数据同步之前的历史数据同步到备用设备;判断所述主用设备与所述备用设备进行所述历史数据同步期间,所述主用设备运行过程中是否存在数据变化;在判断结果为是的情况下,将变化后的数据同步给所述备用设备。
在本发明实施例中,在将主用设备的在进行数据同步之前的历史数据同步到备用设备之前,还包括:检测到所述备用设备上电,在所述备用设备上电过程中将所述主用设备的在进行数据同步之前的所述历史数据同步到所述备用设备。
在本发明实施例中,将变化后的数据发送给所述备用设备进行数据同步包括:将变化的数据储存在变化队列中,将所述变化队列中的数据同步给所述备用设备。
根据本发明实施例的另一方面,提供了一种数据同步的方法,包括:同步主用设备在进行数据同步之前的历史数据;接收所述主用设备发送的在所述主用设备与备用设备进行所述历史数据同步期间,所述主用设备运行过程中发生变化的数据。
在本发明实施例中,同步所述主用设备在进行数据同步之前的所述历史数据包括:在所述备用设备上电过程中同步所述历史数据。
根据本发明实施例的另一方面,提供了一种数据同步的装置,包括:第一同步模块,设置为将主用设备的在进行数据同步之前的历史数据同步到备用设备;判断模块,设置为判断所述主用设备与所述备用设备进行所述历史数据同步期间,所述主用设备运行过程中是否存在数据变化;第二同步模块,设置为在判断结果为是的情况下,将变化后的数据同步给所述备用设备。
在本发明实施例中,所述装置还包括:检测模块,设置为检测到所述备用设备上电,在所述备用设备上电过程中将所述主用设备的在进行数据同步之前的所述历史数据同步到所述备用设备。
在本发明实施例中,所述第二同步模块包括:储存单元,设置为将变化的数据储存在变化队列中,将所述变化队列中的数据同步给所述备用设备。
根据本发明实施例的另一方面,提供了一种数据同步的装置,包括:第三同步模块,设置为同步主用设备在进行数据同步之前的历史数据;接收模块,设置为接收所述主用设备发送的在所述主用设备与备用设备进行所述历史数据同步期间,所述主用设备运行过程中发生变化的数据。
在本发明实施例中,所述第三同步模块包括:同步单元,设置为在所述备用设备上电过程中同步所述历史数据。
通过本发明实施例,采用将主用设备的在进行数据同步之前的历史数据同步到备用设备;判断所述主用设备与所述备用设备进行所述历史数据同步期间,所述主用设备运行过程中是否存在数据变化;在判断结果为是的情况下,将变化后的数据同步给所述备用设备,解决了相关技术中在主机和备机不是同时上电的情况下,完成主机和备机数据同步需要中断主机的运行的问题,使得不需要中断主机系统的运行,进而提高了系统稳定性的效果。
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,本发明实施例的示意性实施例及其说明用于解释本发明实施例,并不构成对本发明实施例的不当限定。在附图中:
图1是根据本发明实施例的一种数据同步的方法的流程图一;
图2是根据本发明实施例的一种数据同步的方法的流程图二;
图3是根据本发明实施例的一种数据同步的装置的框图一;
图4是根据本发明优选实施例的数据同步的装置的框图一;
图5是根据本发明优选实施例的数据同步的装置的框图二;
图6是根据本发明实施例的一种数据同步的装置的框图二;
图7是根据本发明优选实施例的数据同步的装置的框图三;
图8是根据本发明优选实施例的数据同步装置的拓扑结构框图;
图9是根据本发明优选实施例的数据同步的方法的流程图。
下文中将参考附图并结合实施例来详细说明本发明实施例。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种数据同步的方法,图1是根据本发明实施例的一种数据同步的方法的流程图一,如图1所示,该流程包括如下步骤:
步骤S102,将主用设备的在进行数据同步之前的历史数据同步到备用设备;
步骤S104,判断该主用设备与该备用设备进行该历史数据同步期间,该主用设备运行过程中是否存在数据变化;
步骤S106,在判断结果为是的情况下,将变化后的数据同步给该备用设备。
通过上述步骤,将主用设备的在进行数据同步之前的历史数据同步到备用设备;判断该主用设备与该备用设备进行该历史数据同步期间,该主用设备运行过程中是否
存在数据变化;在判断结果为是的情况下,将变化后的数据同步给该备用设备,解决了相关技术中在主机和备机不是同时上电的情况下,完成主机和备机数据同步需要中断主机的运行的问题,使得不需要中断主机系统的运行,进而提高了系统稳定性的效果。
在本发明实施例中,在将主用设备的在进行数据同步之前的历史数据同步到备用设备之前,检测到该备用设备上电,在该备用设备上电过程中将该主用设备的在进行数据同步之前的该历史数据同步到该备用设备。
在本发明实施例中,将变化的数据储存在变化队列中,将该变化队列中的数据同步给该备用设备。
本发明实施例中,还提了一种数据同步的方法,图2是根据本发明实施例的一种数据同步的方法的流程图二,如图2所示,包括:
步骤S202,同步主用设备在进行数据同步之前的历史数据;
步骤S204,接收该主用设备发送的在该主用设备与该备用设备进行该历史数据同步期间,该主用设备运行过程中发生变化的数据。
通过上述步骤,同步主用设备在进行数据同步之前的历史数据,接收该主用设备发送的在该主用设备与该备用设备进行该历史数据同步期间,该主用设备运行过程中发生变化的数据,解决了相关技术中在主机和备机不是同时上电的情况下,完成主机和备机数据同步需要中断主机的运行的问题,使得不需要中断主机系统的运行,进而提高了系统稳定性的效果。
在本发明实施例中,同步主用设备在进行数据同步之前的历史数据包括:在备用设备上电过程中同步该历史数据。
本发明实施例的另一方面,提供了一种数据同步的装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的一种数据同步的装置的框图一,如图3所示,包括:第一同步模块32、判断模块34、第二同步模块36,下面对各个模块进行简要说明。
第一同步模块32,设置为将主用设备的在进行数据同步之前的历史数据同步到备用设备;
判断模块34,设置为判断该主用设备与该备用设备进行该历史数据同步期间,该主用设备运行过程中是否存在数据变化;
第二同步模块36,设置为在判断结果为是的情况下,将变化后的数据同步给该备用设备。
图4是根据本发明优选实施例的数据同步的装置的框图一,如图4所示,该装置还包括:
检测模块42,设置为检测到该备用设备上电,在该备用设备上电过程中将该主用设备的在进行数据同步之前的该历史数据同步到该备用设备。
图5是根据本发明优选实施例的数据同步的装置的框图二,如图5所示,第二同步模块36包括:
储存单元52,设置为将变化的数据储存在变化队列中,将该变化队列中的数据同步给该备用设备。
根据本发明实施例的另一方面,提供了一种数据同步的装置,图6是根据本发明实施例的一种数据同步的装置的框图二,如图6所示,包括:第三同步模块62、接收模块64,下面对各个模块进行简要说明。
第三同步模块62,设置为同步主用设备在进行数据同步之前的历史数据;
接收模块64,设置为接收该主用设备发送的在该主用设备与该备用设备进行该历史数据同步期间,该主用设备运行过程中发生变化的数据。
图7是根据本发明优选实施例的数据同步的装置的框图三,如图7所示,第三同步模块62包括:
同步单元72,设置为在该备用设备上电过程中同步该历史数据。
下面结合优选实施方式对本发明实施例进行进一步说明。
本发明实施例提出了一种内存数据库上电同步控制的机制,首先控制流程备机数据库上电时,主动向主机数据库发送备机上电的消息,告之备机数据库开始上电。主
机利用上电数据队列进行数据同步,主机发送上电数据队列中的数据给备机。上电数据队列同步过程中,如果主机侧有数据表记录变化的情况,则将该变化记录放入同步上电变化队列中。当上电数据队列同步完成后,则继续同步上电变化队列中的记录数据,主机侧检测到上电变化队列数据同步完成后,给备机发送上电数据同步完成消息。备机收到主机的上电变化队列数据同步完成消息后,给主控发送备机上电成功消息,切换数据库状态。之后主机的变化记录就利用正常的主备数据同步方式进行数据同步,通过上述内容,可以在主用数据库不中断业务的情况下,将备机上电过程中的变化记录同步到备机,避免了新上线备机数据库需要中断主用数据库的应用场景,提高了数据库系统的可靠性。
图8是根据本发明优选实施例的数据同步装置的拓扑结构框图,如图8所示,包括:上电控制模块以及主用和备用的上电增量同步管理模块的功能有本发明实施例中第一同步模块32、判断模块34、第二同步模块36以及检测模块42实现。备用数据库上电控制模块将备机上电的消息发送给主机侧的上电增量同步管理模块,由主用侧上电增量同步管理模块负责将主机在备机上电过程中的增量修改数据同步到备机侧的上电增量同步管理模块,由备机负责维护更新,从而实现与主机的数据一致。
图9是根据本发明优选实施例的数据同步的方法的流程图,如图9所示,利用主备同步过程中的消息同步方式,在备机上电同步队列A传送数据的同时,对传送A期间变化的数据,放入上电变化队列B中同步,当A队列同步完成后,继续同步B队列的数据,直到B队列数据同步完成,才认可备机上电完成。包括如下步骤:
步骤S902,备机上电,即主机收到备机开始上电的消息;
步骤S904,通知主用侧备机开始上电,即主机将数据放入上电数据队列A,备机开始从主机侧获取数据;
步骤S906,主备机同步过程时变化数据更新到上电增量同步管理模块中,即主机侧如有数据修改,则放入上电变化队列B中;
步骤S908,主备用数据同步,即上电数据队列同步完成后,则继续同步上电变化队列数据;
步骤S910,增量变化数据同步,即备机上电变化队列数据同步完成后,发送备机上电成功消息;
步骤S912,返回主控备机上电完成,即备机进入工作态,利用正常的失步影像队列方式进行主备同步.
通过上述步骤,在备用数据库上电过程中,增加一种主备控制机制,保证了备用数据库上电过程,无须中断主用数据库修改记录,提升了数据库系统的可用性。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不设置为限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
如上所述,通过上述实施例及优选实施方式,解决了相关技术中在主机和备机不是同时上电的情况下,完成主机和备机数据同步需要中断主机的运行的问题,使得不需要中断主机系统的运行,进而提高了系统稳定性的效果。
Claims (10)
- 一种数据同步的方法,包括:将主用设备的在进行数据同步之前的历史数据同步到备用设备;判断所述主用设备与所述备用设备进行所述历史数据同步期间,所述主用设备运行过程中是否存在数据变化;在判断结果为是的情况下,将变化后的数据同步给所述备用设备。
- 根据权利要求1所述的方法,其中,在将主用设备的在进行数据同步之前的历史数据同步到备用设备之前,还包括:检测到所述备用设备上电,在所述备用设备上电过程中将所述主用设备的在进行数据同步之前的所述历史数据同步到所述备用设备。
- 根据权利要求1所述的方法,其中,将变化后的数据发送给所述备用设备进行数据同步包括:将变化的数据储存在变化队列中,将所述变化队列中的数据同步给所述备用设备。
- 一种数据同步的方法,包括:同步主用设备在进行数据同步之前的历史数据;接收所述主用设备发送的在所述主用设备与备用设备进行所述历史数据同步期间,所述主用设备运行过程中发生变化的数据。
- 根据权利要求4所述的方法,其中,同步所述主用设备在进行数据同步之前的所述历史数据包括:在所述备用设备上电过程中同步所述历史数据。
- 一种数据同步的装置,包括:第一同步模块,设置为将主用设备的在进行数据同步之前的历史数据同步到备用设备;判断模块,设置为判断所述主用设备与所述备用设备进行所述历史数据同步期间,所述主用设备运行过程中是否存在数据变化;第二同步模块,设置为在判断结果为是的情况下,将变化后的数据同步给所述备用设备。
- 根据权利要求6所述的装置,其中,所述装置还包括:检测模块,设置为检测到所述备用设备上电,在所述备用设备上电过程中将所述主用设备的在进行数据同步之前的所述历史数据同步到所述备用设备。
- 根据权利要求6所述的装置,其中,所述第二同步模块包括:储存单元,设置为将变化的数据储存在变化队列中,将所述变化队列中的数据同步给所述备用设备。
- 一种数据同步的装置,包括:第三同步模块,设置为同步主用设备在进行数据同步之前的历史数据;接收模块,设置为接收所述主用设备发送的在所述主用设备与备用设备进行所述历史数据同步期间,所述主用设备运行过程中发生变化的数据。
- 根据权利要求9所述的装置,其中,所述第三同步模块包括:同步单元,设置为在所述备用设备上电过程中同步所述历史数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410486017.2 | 2014-09-22 | ||
CN201410486017.2A CN105512116A (zh) | 2014-09-22 | 2014-09-22 | 数据同步的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016045374A1 true WO2016045374A1 (zh) | 2016-03-31 |
Family
ID=55580240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2015/077238 WO2016045374A1 (zh) | 2014-09-22 | 2015-04-22 | 数据同步的方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105512116A (zh) |
WO (1) | WO2016045374A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729515B (zh) * | 2017-10-26 | 2021-03-05 | 咪咕文化科技有限公司 | 一种数据同步的方法、装置及存储介质 |
CN108228812B (zh) * | 2017-12-29 | 2021-06-15 | 北京奇虎科技有限公司 | 自适应的主节点切换方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101308472A (zh) * | 2008-07-07 | 2008-11-19 | 杭州华三通信技术有限公司 | 镜像卷的初始同步方法和控制装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102013997B (zh) * | 2010-11-22 | 2014-06-11 | 中兴通讯股份有限公司 | 电信网管系统中的双机数据备份方法和系统 |
-
2014
- 2014-09-22 CN CN201410486017.2A patent/CN105512116A/zh active Pending
-
2015
- 2015-04-22 WO PCT/CN2015/077238 patent/WO2016045374A1/zh active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101308472A (zh) * | 2008-07-07 | 2008-11-19 | 杭州华三通信技术有限公司 | 镜像卷的初始同步方法和控制装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105512116A (zh) | 2016-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI462017B (zh) | 伺服器部署系統及資料更新的方法 | |
CN105550229B (zh) | 分布式存储系统数据修复的方法和装置 | |
US9569517B1 (en) | Fault tolerant distributed key-value storage | |
CN111314479B (zh) | 一种数据处理方法和设备 | |
WO2014059804A1 (zh) | 数据同步方法及系统 | |
WO2022036901A1 (zh) | 一种Redis副本集的实现方法及装置 | |
CN106354865B (zh) | 一种同步主从数据库的方法、装置和系统 | |
CN105554130A (zh) | 基于分布式存储系统的NameNode切换方法和切换装置 | |
US11881910B2 (en) | File transmission/reception device and control method of file transmission/reception device | |
EP3200079A1 (en) | Snapshot processing method and related device | |
JP2012510094A5 (zh) | ||
WO2016045374A1 (zh) | 数据同步的方法及装置 | |
CN106855869B (zh) | 一种实现数据库高可用的方法、装置和系统 | |
CN106161086B (zh) | 主控板重启的控制方法及装置 | |
WO2017016196A1 (zh) | 同步数据方法、装置及系统 | |
CN106484807A (zh) | 构建自主可控数据库双活或多活集群架构的方法和系统 | |
JP2016045839A5 (zh) | ||
CN112751693B (zh) | 分布式存储系统的数据处理方法、装置及电子设备 | |
CN107005434B (zh) | 一种同步虚拟网络功能vnf状态的方法、装置和设备 | |
CN110958287B (zh) | 操作对象数据同步方法、装置及系统 | |
CN108762988B (zh) | 一种数据处理的方法以及相关设备 | |
JP2014016953A (ja) | 無共有型データベースシステム、同期装置、データベースサーバ、その同期方法および同期プログラム | |
EP3145120A1 (en) | Data acquisition method, device and system | |
JP5956940B2 (ja) | 冗長化システムおよび現用機決定方法 | |
JP6088450B2 (ja) | 冗長化データベースシステム、データベース装置及びマスタ交代方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15844755 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15844755 Country of ref document: EP Kind code of ref document: A1 |