WO2018019310A1

WO2018019310A1 - 一种大数据系统中数据备份方法、恢复方法和装置和计算机存储介质

Info

Publication number: WO2018019310A1
Application number: PCT/CN2017/098606
Authority: WO
Inventors: 谢东
Original assignee: 中兴通讯股份有限公司
Priority date: 2016-07-27
Filing date: 2017-08-23
Publication date: 2018-02-01
Also published as: CN107665153A

Abstract

一种大数据系统中数据备份方法、恢复方法和装置，该方法包括：接收备份指令（S101），所述备份指令中至少包括备份对象的标识信息；使用所述标识信息获取所述备份对象的配置信息（S102），所述配置信息用于确定所述备份对象的备份数据来自应用程序或者外部数据存储系统；使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据（S103）；将所述备份数据保存（S104）。该方法可以提高备份数据的价值密度、节省存储空间和缩短备份时间。

Description

一种大数据系统中数据备份方法、恢复方法和装置和计算机存储介质

技术领域

本公开涉及通信技术领域，特别涉及一种大数据系统中数据备份方法、恢复方法和装置合计计算机存储介质。

背景技术

在通信系统中，数据库是数据存储和管理中心。各种数据被采集来之后，经过分类、清洗、检验和规范化处理后，源源不断地进入数据库。在系统日常运行过程中，一些阶段性的数据需要长期保存下来。例如：用户账单将作为重要凭证，具有重要用途；当月月统计报表数据作为决策参考依据，需要被保存下来。因此，这些数据的备份与恢复是一项重要的基本工作。

数据库系统分关系型数据库和非关系型数据库。关系型数据库具有严密的数学理论基础，数据库厂商通常都提供了完整的备份恢复方案。例如：Oracle数据库备份恢复技术特点是这样的：

1、数据库系统维护内部时钟，自动产生系统更改号，这个号码具有全局唯一性，被顺序分配，随数据库运行自动增长。

2、数据备份：首先获取当前系统更改号，基于此号码，系统以快照的方式，将整个数据库或者表的数据完整地保存到备份文件中，在备份期间，系统发生的变更称为增量数据，不会被写入备份文件。

3、数据恢复：打开备份文件，读取备份文件的内容，写入数据库。数据库中没有的内容，将会被创建；数据库中已经有的内容，将会被覆盖。

对于那些数据结构复杂，数据量大的情况，统称为大数据。面对这种类型数据，传统的关系型数据库系统在对大数据进行处理时显得越来越困难，于是产生了非关系型数据库，用于大数据处理。非关系型数据库大多是开源项目，目前还缺乏完善的数学理论基础，没有统一的行业标准。由于大数据的特点，这些非关系型数据库没有提供有效的数据库备份方案。

在实现本发明的过程中，发明人发现在大数据系统中数据备份和恢复，至少存在以下难题需要解决：

1、备份数据量大

大数据系统中，整体数据量往往非常庞大，且在不断扩展。如果选择整体数据备份，则需要的时间成本、存储成本都很高，所以很难满足实际需求。需要一种划分数据的方案，每次不对整体数据备份，又能实现备份的作用，保证数据的有效性。

2、数据备份恢复过程耗时长

在大数据系统中，目前还没有有效的备份恢复方法。是否可以借鉴关系型数据库的备份恢复方法呢？由于非关系型数据库往往不满足数据一致性要求，因此关系型数据库的备份恢复方法不能直接拿来使用。需要一种备份恢复方法，适用这种数据特点。如果直接使用关系型数据库的备份恢复方法，则每次备份恢复过程耗时长，正常使用的时间窗口就小，系统可用性低。

3、备份数据的价值密度低

大数据系统中，虽然整体数据量往往非常庞大，但是各个部分数据价值不一样。某些对象很重要，备份价值大；某些时刻很重要，备份价值大。如果不加区分，将所有数据各种时刻数据都备份出来，备份数据的价值密度低。重要对象在关键时刻的数据最重要，这些数据备份的价值密度最高，最需要备份。相反，不重要的对象在不重要的时刻的数据，就没必要备份了。

针对这种情况，发明人通过深入研究发现：在大数据系统中，由于数据库上面承载的是应用系统，如果结合数据库和应用系统整体来考虑备份恢复方案，则更具有实际意义。具体的来说，在通信系统中，在某些关键业务环节的重点个体的数据非常重要，需要备份。例如：在消费系统中，对于某个用户，如果存入话费，话费总额会发生变动，用户往往需要对当前账单做一个汇总，作为消费凭据。今后，随着新的消费，该账户的余额将变化。因此，用户每次缴费后就需要做一次数据备份。如果我们借鉴关系型数据库备份的方法，可以先找到涉及该账号当前资金相关的所有表，然后将表中该账号相关数据提取出来，进行备份。相对于数据库整体备份方案或者数据表整体备份方案，该方法具有消耗时间更短，备份结果集更小，操作灵活的益处。如果需要恢复数据，可以首先提取该账号在某个时刻的备份结果集，然后分别倒入对应的表。从而实现大数据系统中数据有效备份和恢复。

发明内容

本发明实施例提供一种大数据系统中数据备份方法、恢复方法和装置，解决了现有备份方法存在备份数据的价值密度低、备份恢复过程耗时长和存储成本高的问题。

本发明实施例提供一种大数据系统中数据备份方法，包括：

接收备份指令，所述备份指令中至少包括备份对象的标识信息；

使用所述标识信息获取所述备份对象的配置信息，所述配置信息用于确定所述备份对象的备份数据来自应用程序或者外部数据存储系统；

使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据；

将所述备份数据保存。

本发明实施例还提供一种大数据系统中数据恢复方法，包括：

接收恢复指令，所述恢复指令中至少包括恢复对象的标识信息；

使用所述标识信息获取所述恢复对象的备份数据；

将所述备份数据恢复到应用程序中或者恢复到外部数据存储系统中。

本发明实施例还提供一种大数据系统中数据备份装置，包括：

接收模块，用于接收备份指令，所述备份指令中至少包括备份对象的标识信息；

第一获取模块，用于使用所述标识信息获取所述备份对象的配置信息，所述配置信息用于确定所述备份对象的备份数据来自应用程序或者外部数据存储系统；

第二获取模块，用于使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据；

保存模块，用于将所述备份数据保存。

本发明实施例还提供一种大数据系统中数据恢复装置，包括：

第一接收模块，用于接收恢复指令，所述恢复指令中至少包括恢复对象的标识信息；

第三获取模块，用于使用所述标识信息获取所述恢复对象的备份数据；

恢复模块，用于将所述备份数据恢复到应用程序中或者恢复到外部数据存储系统中。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行的一个或多个程序，所述一个或多个程序被所述计算机执行时使所述计算机执行如上述提供的一种大数据系统中数据备份方法和大数据系统中数据恢复方法。

上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明实施例中，接收备份指令，所述备份指令中至少包括备份对象的标识信息；使用所述标识信息获取所述备份对象的配置信息，所述配置信息用于确定所述备份对象的备份数据来自应用程序或者外部数据存储系统；使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据；将所述备份数据保存，从而可以对重要备份对象在重要时刻的数据进行备份，使备份数据的价值密度更高、节省存储空间和缩短备份时间。

附图说明

图1为本发明实施例提供的一种大数据系统中数据备份方法的流程图；

图2为本发明实施例提供的一种大数据系统中数据备份恢复装置的示意图；

图3为本发明实施例提供的一种大数据系统中数据恢复方法的流程图；

图4为本发明实施例提供的另一种大数据系统中数据备份方法的流程图；

图5为本发明实施例提供的另一种大数据系统中数据恢复方法的流程图；

图6为本发明实施例提供的一种大数据系统中数据备份装置的结构图；

图7为本发明实施例提供的一种大数据系统中数据恢复装置的结构图；

图8为本发明实施例提供的一种大数据系统中数据查询方法的流程图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

如图1所示，本发明实施例提供一种大数据系统中数据备份方法，包括以下步骤：

步骤S101、接收备份指令，所述备份指令中至少包括备份对象的标识信息。

步骤S102、使用所述标识信息获取所述备份对象的配置信息，所述配置信息用于确定所述备份对象的备份数据来自应用程序或者外部数据存储系统。

步骤S103、使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据。

步骤S104、将所述备份数据保存。

在步骤S101中，如图2所示，首先命令处理模块的命令接收单元接收对某备份对象的备份指令，备份指令中至少包含备份对象的索引号(ID，Identification)。

可选的，所述备份指令包括：

由应用程序发出的备份指令、由定时任务自动产生的备份指令或达到触发条件后自动产生的备份指令。

备份指令可能是由应用程序发出的，也可能是定时任务自动产生的，也可能是达到触发条件后系统自动产生的。

在步骤S102中，使用备份对象的ID去数据字典模块的备份目录单元查询备份对象的目录信息。例如某个备份对象的ID为99，则到数据字典模块的备份目录单元查询ID为99的备份对象的目录信息，目录信息包括备份对象的名称、创建时间和与备份对象相关的数据来自哪张表的哪个字段。数据字典模块的数据源单元判断与备份对象相关的数据的来源是哪里，是来自应用程序还是来自外部数据存储系统。数据字典模块的备份恢复策略单元决定备份对象的备份数据从哪里获取，是从应用程序获取还是从外部数据存储系统获取。

在步骤S103中，从应用程序或外部数据存储系统获取备份对象的备份数据。例如某个备份对象的ID为99，则到数据字典模块的备份目录单元查询ID为99的备份对象的目录信息，目录信息包括备份对象的名称、创建时间和与备份对象相关的数据来自哪张表的哪个字段。数据字典模块的数据源单元判断与备份对象相关的数据的来源是哪里，是来自应用程序还是来自外部数据存储系统。数据字典模块的备份恢复策略单元决定备份对象的备份数据从哪里获取，是从应用程序获取还是从外部数据存储系统获取。若应用程序提供备份数据，则数据处理模块数据提取单元从应用程序提取备份数据。此时，应用程序在发出备份指令的时候，备份对象的备份数据就是应用程序当前内存中的数据，应用程序将这些数据打包后发出来备份，避免了再次访问数据存储系统，效率更高。若应用程序不提供备份数据，则数据处理模块数据提取单元与外部数据存储系统建立连接，查询对应的表获取备份数据。

可选的，所述配置信息包括：

目录信息、数据源信息和策略信息，其中，所述目录信息用于确定与所述备份对象相关的数据，所述数据源信息用于确定所述与所述备份对象相关的数据来自所述应用程序或者所述外部数据存储系统，所述策略信息用于决定从所述应用程序或者所述外部数据存储系统获取所述备份数据；

所述备份数据包括：

所述备份数据为所述备份对象在当前时刻对应的数据集合；

所述使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据，包括：

使用所述目录信息确定与所述备份对象相关的数据，使用所述数据源信息确定所述与所述备份对象相关的数据来自所述应用程序或者所述外部数据存储系统，使用所述策略信息决定从所述应用程序或者所述外部数据存储系统获取所述备份数据。

目录信息包含备份对象的名称、创建时间和与备份对象相关的数据来自哪张表的哪个字段。数据字典模块的数据源单元判断与备份对象相关的数据的来源是哪里，是来自应用程序还是来自外部数据存储系统。数据字典模块的备份恢复策略单元决定备份对象的备份数据从哪里获取，是从应用程序获取还是从外部数据存储系统获取。

例如某个备份对象的ID为99，则到数据字典模块的备份目录单元查询ID为99的备份对象的目录信息，目录信息包括备份对象的名称、创建时间和与备份对象相关的数据来自哪张表的哪个字段。数据字典模块的数据源单元判断与备份对象相关的数据的来源是哪里，是来自应用程序还是来自外部数据存储系统。数据字典模块的备份恢复策略单元决定备份对象的备份数据从哪里获取，是从应用程序获取还是从外部数据存储系统获取。

需要说明的是，目录信息中包含的与所述备份对象相关的数据只是描述性的数据，并不是备份的数据，而从应用程序或外部数据存储系统中获取的数据才是真正需要备份的数据。

备份数据是备份对象在当前时刻相关的所有数据的集合，只针对想要备份的数据进行备份。可以对重要备份对象在重要时刻的数据进行备份，不需要将整体数据进行备份。

另外,也可以不接收备份指令，直接从应用程序或外部数据存储系统获取备份对象的备份数据，然后将备份数据规范化处理，再将规范化处理后的备份数据保存到数据存储模块数据存储单元中。

可选的，所述将所述备份数据保存，包括：

对所述备份数据进行规范化处理，并将规范化处理后的备份数据保存。

同一个备份对象的备份数据可能来自多张表，这些备份数据按照数据字典定义的格式规范化处理后，打包成一个数据集，使加工程序具有通用性。数据处理模块数据保存单元保存备份数据，数据处理模块数据保存单元与数据存储模块数据存储单元建立连接，将备份数据保存到数据存储模块数据存储单元中。

本实施例，提出一种大数据系统中数据备份方法，备份的最小单元是备份对象在某个时刻的相关数据，数据量较小，从而可以对重要备份对象在重要时刻的数据进行备份，使备份数据的价值密度更高，并且节省存储空间和缩短备份时间。

如图3所示，本发明实施例提供一种大数据系统中数据恢复方法，包括以下步骤：

步骤S301、接收恢复指令，所述恢复指令中至少包括恢复对象的标识信息。

步骤S302、使用所述标识信息获取所述恢复对象的备份数据。

步骤S303、将所述备份数据恢复到应用程序中或者恢复到外部数据存储系统中。

在步骤S301中，如图2所示，命令处理模块命令接收单元接收对某个恢复对象的恢复指令，恢复指令可能是由应用程序发出。

可选的，所述标识信息包括：

所述恢复对象的编号和恢复时刻。

恢复指令中包含恢复对象的编号和恢复时刻。对于恢复时刻，例如将当前数据恢复成去年今天这个时刻的数据。

在步骤S302中，数据处理模块数据提取单元与数据存储模块数据存储单元建立连接，通过查询条件找到备份数据，将备份数据从数据存储模块数据存储单元提取出来。

可选的，所述备份数据包括：

所述备份数据为所述恢复对象在指定时刻对应的数据集合；

所述将所述备份数据恢复到应用程序中，包括：

用所述备份数据替换所述应用程序中所述恢复对象当前数据、在所述应用程序中所述恢复对象当前数据基础上追加所述备份数据或保留所述应用程序中所述恢复对象当前数据。

如果将备份数据恢复到应用程序，分为三种情况：忽略、追加和替换。其中，忽略是指对当前数据不进行更改，即保留当前数据；追加是指在保留当前数据的基础上再将备份数据追加进来；替换是指将当前数据删除掉，再将备份数据写进应用程序中。

可选的，所述恢复到外部数据存储系统中，包括：

将所述备份数据拆分，再将拆分后的数据分别写入对应的表中，所述表存储于所述外部数据存储系统中。

如果将备份数据恢复到外部数据存储系统中，由于备份数据可能来自不同的表，因此将备份数据先进行拆分，再倒入相应的表中，这些表都存储于外部数据存储系统中。

本实施例，提出一种大数据系统中数据恢复方法，备份的最小单元是备份对象在某个时刻的相关数据，数据量较小，因此数据恢复能快速完成，效率更高。

如图4所示，本发明实施例提供一种大数据系统中数据备份方法的流程，包括以下步骤：

步骤S401、接收对某备份对象的备份指令。

步骤S402、解析备份对象。

步骤S403、判断应用程序是否提供备份数据。

步骤S404、若应用程序提供备份数据，则从应用程序获取备份数据；若应用程序不提供备份数据，则从外部数据存储系统获取备份数据。

步骤S405、规范化处理备份数据。

步骤S406、保存备份数据。

在步骤S401中，首先命令处理模块的命令接收单元接收对某备份对象的备份指令，备份指令中至少包含备份对象的ID。备份指令可能是由应用程序发出的，也可能是定时任务自动产生的，也可能是达到触发条件后系统自动产生的。

在步骤S402中，使用备份对象的ID去数据字典模块的备份目录单元查询备份对象的目录信息。例如某个备份对象的ID为99，则到数据字典模块的备份目录单元查询ID为99的备份对象的目录信息，目录信息包括备份对象的名称、创建时间和与备份对象相关的数据来自哪张表的哪个字段。数据字典模块的数据源单元判断与备份对象相关的数据的来源是哪里，是来自应用程序还是来自外部数据存储系统。数据字典模块的备份恢复策略单元决定备份对象的备份数据从哪里获取，是从应用程序获取还是从外部数据存储系统获取。

在步骤S403中，数据字典模块的备份恢复策略单元决定备份对象的备份数据从哪里获取，是从应用程序获取还是从外部数据存储系统获取。

在步骤S404中，若应用程序提供备份数据，则数据处理模块数据提取单元从应用程序提取备份数据。此时，应用程序在发出备份指令的时候，备份对象的备份数据就是应用程序当前内存中的数据，应用程序将这些数据打包后发出来备份，避免了再次访问数据存储系统，效率更高；若应用程序不提供备份数据，则数据处理模块数据提取单元与外部数据存储系统建立连接，查询对应的表获取备份数据。

在步骤S405中，同一个备份对象的备份数据可能来自多张表，这些备份数据按照数据字典定义的格式规范化处理后，打包成一个数据集，使加工程序具有通用性。

在步骤S406中，数据处理模块数据保存单元保存备份数据，数据处理模块数据保存单元与数据存储模块数据存储单元建立连接，将备份数据保存到数据存储模块数据存储单元中。

需要说明的是，备份数据是备份对象在当前时刻相关的所有数据的集合，只针对想要备份的数据进行备份。可以对重要备份对象在重要时刻的数据进行备份，不需要将整体数据进行备份。

如图5所示，本发明实施例提供一种大数据系统中数据恢复方法的流程，包括以下步骤：

步骤S501、接收对某恢复对象的恢复指令。

步骤S502、提取备份数据。

步骤S503、将备份数据恢复到应用程序或将备份数据恢复到外部数据存储系统。

在步骤S501中，命令处理模块命令接收单元接收对某个恢复对象的恢复指令，恢复指令可能是由应用程序发出。恢复指令中包含恢复对象的编号和恢复时刻。对于恢复时刻，例如将当前数据恢复成去年今天这个时刻的数据。

在步骤S502中，数据处理模块数据提取单元与数据存储模块数据存储单元建立连接，通过查询条件找到备份数据，将备份数据从数据存储模块数据存储单元提取出来。

在步骤S503中，如果将备份数据恢复到应用程序，分为三种情况：忽略、追加和替换。其中，忽略是指对当前数据不进行更改，即保留当前数据；追加是指在保留当前数据的基础上再将备份数据追加进来；替换是指将当前数据删除掉，再将备份数据写进应用程序中；如果将备份数据恢复到外部数据存储系统中，由于备份数据可能来自不同的表，因此将备份数据先进行拆分，再倒入相应的表中，这些表都存储于外部数据存储系统中。

需要说明的是，上述对备份数据进行备份和恢复可以在同一个装置中实现，这个装置就是图2所示的大数据系统中数据备份恢复装置。

如图6所示，本发明实施例提供一种大数据系统中数据备份装置的结构，包括以下模块：

接收模块601，用于接收备份指令，所述备份指令中至少包括备份对象的标识信息；

第一获取模块602，用于使用所述标识信息获取所述备份对象的配置信息，所述配置信息用于确定所述备份对象的备份数据来自应用程序或者外部数据存储系统；

第二获取模块603，用于使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据；

保存模块604，用于将所述备份数据保存。

可选的，所述备份指令包括：

可选的，所述配置信息包括：

所述备份数据包括：

所述备份数据为所述备份对象在当前时刻对应的数据集合；

第二获取模块603用于使用所述目录信息确定与所述备份对象相关的数据，使用所述数据源信息确定所述与所述备份对象相关的数据来自所述应用程序或者所述外部数据存储系统，使用所述策略信息决定从所述应用程序或者所述外部数据存储系统获取所述备份数据。

可选的，保存模块604用于对所述备份数据进行规范化处理，并将规范化处理后的备份数据保存。

本实施例中，上述大数据系统中数据备份装置可以是图1和图4所示的实施例中的大数据系统中数据备份装置，且图1和图4所示的实施例中大数据系统中数据备份装置的任何实施方式都可以被本实施例中的大数据系统中数据备份装置所实现，这里不再赘述。

本实施例，提出一种大数据系统中数据备份装置，大数据系统中数据备份方法可以在这种数据备份装置上实现，备份的最小单元是备份对象在某个时刻的相关数据，数据量较小，从而可以对重要备份对象在重要时刻的数据进行备份，使备份数据的价值密度更高，并且节省存储空间和缩短备份时间。

如图7所示，本发明实施例提供一种大数据系统中数据恢复装置的结构，包括以下模块：

第一接收模块701，用于接收恢复指令，所述恢复指令中至少包括恢复对象的标识信息；

第三获取模块702，用于使用所述标识信息获取所述恢复对象的备份数据；

恢复模块703，用于将所述备份数据恢复到应用程序中或者恢复到外部数据存储系统中。

可选的，所述标识信息包括：

所述恢复对象的编号和恢复时刻。

可选的，所述备份数据包括：

所述备份数据为所述恢复对象在指定时刻对应的数据集合；

恢复模块703用于用所述备份数据替换所述应用程序中所述恢复对象当前数据、在所述应用程序中所述恢复对象当前数据基础上追加所述备份数据或保留所述应用程序中所述恢复对象当前数据。

可选的，恢复模块703用于将所述备份数据拆分，再将拆分后的数据分别写入对应的表中，所述表存储于所述外部数据存储系统中。

本实施例中，上述大数据系统中数据恢复装置可以是图3和图5所示的实施例中的大数据系统中数据恢复装置，且图3和图5所示的实施例中大数据系统中数据恢复装置的任何实施方式都可以被本实施例中的大数据系统中数据恢复装置所实现，这里不再赘述。

本实施例，提出一种大数据系统中数据恢复装置，大数据系统中数据恢复方法可以在这种数据恢复装置上实现。备份的最小单元是备份对象在某个时刻的相关数据，数据量较小，因此数据恢复能快速完成，效率更高。

如图8所示，本发明实施例提供一种大数据系统中数据查询方法的流程，包括以下步骤：

步骤S801、接收对某备份对象查询指令。

步骤S802、提取备份数据。

步骤S803、将备份数据反馈回来。

在步骤S801中，命令处理模块命令接收单元接收对某备份对象的查询指令，查询指令包括备份对象ID和备份数据时间范围。

在步骤S802中，数据处理模块数据提取单元与数据存储模块数据存储单元建立连接，通过查询条件找到备份数据，将备份数据从数据存储模块数据存储单元提取出来。

在步骤S803中，将提取出来的备份数据返回给客户端。

本实施例，提出一种大数据系统中数据查询方法，备份的最小单元是备份对象在某个时刻的相关数据，数据量较小，备份对象在某个时刻的相关的所有备份数据将同时被查询到，因此数据查询能快速完成，效率更高。

本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成，所述的程序可以存储于一计算机可读取介质中，该程序在执行时，包括以下步骤：

将所述备份数据保存。

可选的，所述备份指令包括：

可选的，所述配置信息包括：

所述备份数据包括：

所述备份数据为所述备份对象在当前时刻对应的数据集合；

可选的，所述将所述备份数据保存，包括：

该程序在执行时，还包括以下步骤：

使用所述标识信息获取所述恢复对象的备份数据；

可选的，所述标识信息包括：

所述恢复对象的编号和恢复时刻。

可选的，所述备份数据包括：

所述备份数据为所述恢复对象在指定时刻对应的数据集合；

所述将所述备份数据恢复到应用程序中，包括：

可选的，所述恢复到外部数据存储系统中，包括：

所述的存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

工业实用性

本发明实施例提供的技术方案可以应用于通信技术领域。本发明实施例中，接收备份指令，所述备份指令中至少包括备份对象的标识信息；使用所述标识信息获取所述备份对象的配置信息，所述配置信息用于确定所述备份对象的备份数据来自应用程序或者外部数据存储系统；使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据；将所述备份数据保存，从而可以对重要备份对象在重要时刻的数据进行备份，使备份数据的价值密度更高、节省存储空间和缩短备份时间。

Claims

一种大数据系统中数据备份方法，其特征在于，包括：

接收备份指令，所述备份指令中至少包括备份对象的标识信息；

使用所述标识信息获取所述备份对象的配置信息，所述配置信息用于确定所述备份对象的备份数据来自应用程序或者外部数据存储系统；

使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据；

将所述备份数据保存。
如权利要求1所述的方法，其特征在于，所述备份指令包括：

由应用程序发出的备份指令、由定时任务自动产生的备份指令或达到触发条件后自动产生的备份指令。
如权利要求2所述的方法，其特征在于，所述配置信息包括：

目录信息、数据源信息和策略信息，其中，所述目录信息用于确定与所述备份对象相关的数据，所述数据源信息用于确定所述与所述备份对象相关的数据来自所述应用程序或者所述外部数据存储系统，所述策略信息用于决定从所述应用程序或者所述外部数据存储系统获取所述备份数据；

所述备份数据包括：

所述备份数据为所述备份对象在当前时刻对应的数据集合；

所述使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据，包括：

使用所述目录信息确定与所述备份对象相关的数据，使用所述数据源信息确定所述与所述备份对象相关的数据来自所述应用程序或者所述外部数据存储系统，使用所述策略信息决定从所述应用程序或者所述外部数据存储系统获取所述备份数据。
如权利要求3所述的方法，其特征在于，所述将所述备份数据保存，包括：

对所述备份数据进行规范化处理，并将规范化处理后的备份数据保存。
一种大数据系统中数据恢复方法，其特征在于，包括:

接收恢复指令，所述恢复指令中至少包括恢复对象的标识信息；

使用所述标识信息获取所述恢复对象的备份数据；

将所述备份数据恢复到应用程序中或者恢复到外部数据存储系统中。
如权利要求5所述的方法，其特征在于，所述标识信息包括：

所述恢复对象的编号和恢复时刻。
如权利要求6所述的方法，其特征在于，所述备份数据包括：

所述备份数据为所述恢复对象在指定时刻对应的数据集合；

所述将所述备份数据恢复到应用程序中，包括：

用所述备份数据替换所述应用程序中所述恢复对象当前数据、在所述应用程序中所述恢复对象当前数据基础上追加所述备份数据或保留所述应用程序中所述恢复对象当前数据。
如权利要求6所述的方法，其中，所述恢复到外部数据存储系统中，包括：

将所述备份数据拆分，再将拆分后的数据分别写入对应的表中，所述表存储于所述外部数据存储系统中。
一种大数据系统中数据备份装置，其中，包括：

接收模块，设置为接收备份指令，所述备份指令中至少包括备份对象的标识信息；

第一获取模块，设置为使用所述标识信息获取所述备份对象的配置信息，所述配置信息用于确定所述备份对象的备份数据来自应用程序或者外部数据存储系统；

第二获取模块，设置为使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据；

保存模块，设置为将所述备份数据保存。
一种大数据系统中数据恢复装置，其中，包括：

第一接收模块，设置为接收恢复指令，所述恢复指令中至少包括恢复对象的标识信息；

第三获取模块，设置为使用所述标识信息获取所述恢复对象的备份数据；

恢复模块，设置为将所述备份数据恢复到应用程序中或者恢复到外部数据存储系统中。
一种计算机存储介质，所述计算机存储介质中存储有计算机可执行的一个或多个程序，所述一个或多个程序被所述计算机执行时使所述计算机执行如根据权利要求1-8中任一项所述的方法。