WO2019095667A1 - 数据库数据采集方法、应用服务器及计算机可读存储介质 - Google Patents

数据库数据采集方法、应用服务器及计算机可读存储介质 Download PDF

Info

Publication number
WO2019095667A1
WO2019095667A1 PCT/CN2018/089421 CN2018089421W WO2019095667A1 WO 2019095667 A1 WO2019095667 A1 WO 2019095667A1 CN 2018089421 W CN2018089421 W CN 2018089421W WO 2019095667 A1 WO2019095667 A1 WO 2019095667A1
Authority
WO
WIPO (PCT)
Prior art keywords
task
backup
message queue
collection
data
Prior art date
Application number
PCT/CN2018/089421
Other languages
English (en)
French (fr)
Inventor
王广博
黄平根
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019095667A1 publication Critical patent/WO2019095667A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/2448—Query languages for particular applications; for extensibility, e.g. user defined types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques

Definitions

  • the present application relates to the field of data processing technologies, and in particular, to a database data collection method, an application server, and a computer readable storage medium.
  • the present application provides a database data collection method, an application server, and a computer readable storage medium to solve at least one of the above technical problems.
  • the present application provides a database data collection method, the method comprising the steps of:
  • the collection task and the corresponding backup task are formulated, the execution script is bound, and the collection task and the backup task are added to the execution message queue and the backup message queue;
  • the method further includes the steps of:
  • the present application further provides an application server, including a memory and a processor, where the memory is stored with a database data collection system that can be run on the processor, and the database data collection system is The following steps are implemented when the processor is executed:
  • the collection task and the corresponding backup task are formulated, the execution script is bound, and the collection task and the backup task are added to the execution message queue and the backup message queue;
  • first, second and the like in the present application are for the purpose of description only, and are not to be construed as indicating or implying their relative importance or implicitly indicating the number of technical features indicated. .
  • features defining “first” and “second” may include at least one of the features, either explicitly or implicitly.
  • the technical solutions between the various embodiments may be combined with each other, but must be based on the realization of those skilled in the art, and when the combination of the technical solutions is contradictory or impossible to implement, it should be considered that the combination of the technical solutions does not exist. Nor is it within the scope of protection required by this application.
  • the specific steps of the backup task management sub-module managing the backup task include: receiving a backup task application initiated by the user, selecting a backup policy in the backup task application, or automatically configuring the backup policy by the backup task management sub-module .
  • the executable task of the newly applied backup task is verified. If the verification is passed, the backup task is approved. Otherwise, an error flag is sent to notify the backup task applicant. The approved backup task is added to the backup message queue.
  • the name index is first created and classified according to the name of the script by means of ICR technology, and if the automatic classification fails, the manual classification is performed. Then, the classification confirmation is performed, and after passing, the script is stored in the file system in Hadoop according to the classification.
  • the script manager also provides a file binding function for the task manager to bind the scripts in the file system.
  • Step S504 Acquire an acquisition task from the execution message queue, parse, load, and execute the collection task.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据库数据采集方法，该方法包括：对用户上传的脚本进行自动归类，并导入文件系统中；制定采集任务和相应的备份任务，绑定执行脚本，并将所述采集任务和备份任务加入执行消息队列及备份消息队列；从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务；从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务。本申请还提供一种应用服务器及计算机可读存储介质。本申请提供的数据库数据采集方法、应用服务器及计算机可读存储介质能够极大减少人力成本，提升采集效率。

Description

数据库数据采集方法、应用服务器及计算机可读存储介质
优先权申明
本申请要求于2017年11月15日提交中国专利局、申请号为201711131296.0，发明名称为“数据库数据采集方法、应用服务器及计算机可读存储介质”的中国专利申请的优先权，其内容全部通过引用结合在本申请中。
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据库数据采集方法、应用服务器及计算机可读存储介质。
背景技术
目前，由于数据库数据采集需求细节点多，采集过程复杂且耗时较长，需要投入大量人力且难于管理。因此，需要一种自动化采集平台，以解决现有采集方式的采集任务混乱、成本高、移植性差等方面的问题。
发明内容
有鉴于此，本申请提出一种数据库数据采集方法、应用服务器及计算机可读存储介质，以解决至少一个上述技术问题。
首先，为实现上述目的，本申请提出一种数据库数据采集方法，该方法包括步骤：
对用户上传的脚本进行自动归类，并导入文件系统中；
制定采集任务和相应的备份任务，绑定执行脚本，并将所述采集任务和备份任务加入执行消息队列及备份消息队列；
从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务；及
从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务。
可选地，该方法还包括步骤：
维护所述采集任务和备份任务的状态，在执行所述采集任务和备份任务后，进行所述采集任务和备份任务的状态更新。
此外，为实现上述目的，本申请还提供一种应用服务器，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的数据库数据采集系统，所述数据库数据采集系统被所述处理器执行时实现如下步骤：
对用户上传的脚本进行自动归类，并导入文件系统中；
制定采集任务和相应的备份任务，绑定执行脚本，并将所述采集任务和备份任务加入执行消息队列及备份消息队列；
从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务；及
从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务。
进一步地，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有数据库数据采集系统，所述数据库数据采集系统可被至少一个处理器执行，以使所述至少一个处理器执行如上述的数据库数据采集方法的步骤。
相较于现有技术，本申请所提出的数据库数据采集方法、应用服务器及计算机可读存储介质，可以针对数据库数据进行采集任务制定及管理，通过任务管理器、数据采集器、数据备份器之间的协同工作，实现采集任务定制化，任务执行、数据备份全程自动化的目标，极大减少人力成本，提升采集效率。
附图说明
图1是本申请应用服务器一可选的硬件架构的示意图；
图2是本申请数据库数据采集系统第一实施例和第二实施例的程序模块 示意图；
图3是本申请数据库数据采集方法第一实施例的流程示意图；
图4是本申请数据库数据采集方法第二实施例的流程示意图。
附图标记：
应用服务器 2
存储器 11
处理器 12
网络接口 13
数据库数据采集系统 200
脚本管理器模块 201
任务管理器模块 202
数据采集器模块 203
数据备份器模块 204
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该 特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
参阅图1所示，是本申请应用服务器2一可选的硬件架构的示意图。本实施例中，所述应用服务器2可包括，但不仅限于，可通过系统总线相互通信连接存储器11、处理器12、网络接口13。需要指出的是，图1仅示出了具有组件11-13的应用服务器2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，所述应用服务器2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等计算设备，该应用服务器2可以是独立的服务器，也可以是多个服务器所组成的服务器集群。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述应用服务器2的内部存储单元，例如该应用服务器2的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述应用服务器2的外部存储设备，例如该应用服务器2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述应用服务器2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述应用服务器2的操作系统和各类应用软件，例如数据库数据采集系统200的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing  Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述应用服务器2的总体操作。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述的数据库数据采集系统200等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述应用服务器2与其他电子设备之间建立通信连接。
至此，己经详细介绍了本申请相关设备的硬件结构和功能。下面，将基于上述相关设备，提出本申请的各个实施例。
首先，本申请提出一种数据库数据采集系统200。
参阅图2所示，是本申请数据库数据采集系统200第一实施例和第二实施例的程序模块图。本实施例中，所述的数据库数据采集系统200包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本申请各实施例的数据库数据采集操作。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，数据库数据采集系统200可以被划分为一个或多个模块。例如，在图2中，所述数据库数据采集系统200可以被分割成脚本管理器模块201、任务管理器模块202、数据采集器模块203、数据备份器模块204。其中：
在第一实施例中，所述脚本管理器模块201，用于对用户上传的脚本进行自动归类，并导入文件系统中。
具体地，所述脚本为由用户用脚本语言编写的用于采集目标数据的脚本方法构成的文件。其中，脚本语言通常都有简单、易学、易用的特性，所以，只要明确采集任务的具体需求，即可利用完成脚本方法的配置，极大的降低了对专业性的要求。常见的脚本语言有javascript，vbscript，php等。
当用户上传脚本至脚本管理器模块201中后，首先根据所述脚本的命名借助智能字符识别(Intelligent Character Recognition，ICR)技术实现名称索引创建及归类，若自动归类不通过则进行手工归类。然后进行归类确认，通 过后将脚本按所述归类存入hadoop中的文件系统中。所述脚本管理器模块201还用于提供文件绑定功能，以供任务管理器模块202绑定所述文件系统中的脚本。
所述任务管理器模块202，用于制定采集任务和相应的备份任务，绑定执行脚本，并加入执行消息队列及备份消息队列。
具体地，任务管理器模块202创建任务名，设置任务内容、备份策略，然后调用脚本管理器模块201绑定执行脚本，制定任务计划，并将所述采集任务和相应的备份任务分别加入执行消息队列及备份消息队列。每个所述采集任务分别对应一个采集配置文件，定义了所述采集任务所采集的目标数据的采集规则配置。其中，采集规则配置主要包括：目标数据类型以及采集该类目标数据对应的脚本方法名称与脚本语言。例如，若提取的目标数据类型为“标题”，则定义“标题”对应的数据采集的脚本方法名称是“parseTitle”，使用的脚本语言是javascript。
具体而言，所述任务管理器模块202包括采集任务管理子模块和备份任务管理子模块(图中未示出)。所述采集任务管理子模块用于创建采集任务名，设置任务内容，调用脚本管理器模块201绑定所述采集任务的执行脚本，制定任务计划，并将所述采集任务加入执行消息队列。所述备份任务管理子模块用于设置所述采集任务的备份策略，并将所述备份任务加入备份消息队列。
其中，所述备份任务管理子模块管理备份任务流程的具体步骤包括：接收用户发起的备份任务申请，所述备份任务申请中可以选择备份策略，或者由所述备份任务管理子模块自动配置备份策略。对新申请的备份任务进行可执行性校验，若校验通过，则对所述备份任务进行批复，反之，则作错误标记，通知该备份任务申请者。将已批复的备份任务加入所述备份消息队列。
所述数据采集器模块203，用于从执行消息队列中获取采集任务，解析、加载、执行所述采集任务。
具体地，数据采集器模块203持续从所述执行消息队列中获取所述采集 任务的任务信息，解析所述任务信息，得到任务内容和采集配置文件，并获取所述采集任务绑定的脚本文件。初始化支持所述脚本文件对应的脚本语言的脚本引擎，并加载所述脚本文件，从而执行所述采集任务，根据所述采集规则配置采集出目标数据。
所述数据备份器模块204，用于从备份消息队列中获取备份任务，解析、加载、执行所述备份任务。
具体地，数据备份器模块204持续从所述备份消息队列中获取备份任务的任务信息，解析、加载、执行所述备份任务。数据备份器模块204进行数据备份的具体步骤包括：数据备份器模块204首先判断所述备份消息队列是否为空，若为空，则设置所述数据备份器模块204为等待状态，若不为空，则设置为就绪状态。数据备份器模块204在就绪状态下，依序获取所述备份消息队列中的备份任务的任务信息。解析所述任务信息，得到需要备份的数据地址、备份策略和所述备份任务绑定的脚本文件。验证所述地址的数据是否存在，若不存在，记录日志、通知所述备份任务管理子模块，并在所述备份消息队列中移除所述备份任务，获取下一个备份任务。所述数据若存在，则设置所述数据备份器模块204为下载状态，加载所述脚本文件，从而执行所述备份任务，对所述数据进行备份。当所述数据备份完成后，记录日志并通知所述备份任务管理子模块，将所述备份任务从所述备份消息队列中移除，设置所述数据备份器模块204为就绪状态。然后继续获取所述备份消息队列中的下一个备份任务，直至队列为空。
进一步地，第二实施例在第一实施例的基础上，所述数据采集器模块203和数据备份器模块204还用于维护所述采集任务和备份任务的状态。
具体地，数据采集器模块203和数据备份器模块204在执行所述采集任务和备份任务后，会调用任务管理器模块202进行状态更新。任务管理器模块202据此对所述采集任务和备份任务的状态进行维护，实时更新。
此外，本申请还提出一种数据库数据采集方法。
参阅图3所示，是本申请数据库数据采集方法第一实施例的流程示意图。在本实施例中，根据不同的需求，图3所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
步骤S400，对用户上传的脚本进行自动归类，并导入文件系统中。
具体地，所述脚本为由用户用脚本语言编写的用于采集目标数据的脚本方法构成的文件。其中，脚本语言通常都有简单、易学、易用的特性，所以，只要明确采集任务的具体需求，即可利用完成脚本方法的配置，极大的降低了对专业性的要求。常见的脚本语言有javascript，vbscript，php等。
当用户上传脚本至脚本管理器中后，首先根据所述脚本的命名借助ICR技术实现名称索引创建及归类，若自动归类不通过则进行手工归类。然后进行归类确认，通过后将脚本按所述归类存入hadoop中的文件系统中。所述脚本管理器还提供文件绑定功能，以供任务管理器绑定所述文件系统中的脚本。
步骤S402，制定采集任务和相应的备份任务，绑定执行脚本，并加入执行消息队列及备份消息队列。
具体地，任务管理器创建任务名，设置任务内容、备份策略，然后调用脚本管理器绑定执行脚本，制定任务计划，并将所述采集任务和相应的备份任务分别加入执行消息队列及备份消息队列。每个所述采集任务分别对应一个采集配置文件，定义了所述采集任务所采集的目标数据的采集规则配置。其中，采集规则配置主要包括：目标数据类型以及采集该类目标数据对应的脚本方法名称与脚本语言。例如，若提取的目标数据类型为“标题”，则定义“标题”对应的数据采集的脚本方法名称是“parseTitle”，使用的脚本语言是javascript。
具体而言，所述任务管理器包括采集任务管理子模块和备份任务管理子模块。所述采集任务管理子模块用于创建采集任务名，设置任务内容，调用脚本管理器绑定所述采集任务的执行脚本，制定任务计划，并将所述采集任务加入执行消息队列。所述备份任务管理子模块用于设置所述采集任务的备 份策略，并将所述备份任务加入备份消息队列。
其中，所述备份任务管理子模块管理备份任务流程的具体步骤包括：接收用户发起的备份任务申请，所述备份任务申请中可以选择备份策略，或者由所述备份任务管理子模块自动配置备份策略。对新申请的备份任务进行可执行性校验，若校验通过，则对所述备份任务进行批复，反之，则作错误标记，通知该备份任务申请者。将已批复的备份任务加入所述备份消息队列。
步骤S404，从执行消息队列中获取采集任务，解析、加载、执行所述采集任务。
具体地，数据采集器持续从所述执行消息队列中获取所述采集任务的任务信息，解析所述任务信息，得到任务内容和采集配置文件，并获取所述采集任务绑定的脚本文件。初始化支持所述脚本文件对应的脚本语言的脚本引擎，并加载所述脚本文件，从而执行所述采集任务，根据所述采集规则配置采集出目标数据。
步骤S406，从备份消息队列中获取备份任务，解析、加载、执行所述备份任务。
具体地，数据备份器持续从所述备份消息队列中获取备份任务的任务信息，解析、加载、执行所述备份任务。数据备份器进行数据备份的具体步骤包括：数据备份器首先判断所述备份消息队列是否为空，若为空，则设置所述数据备份器为等待状态，若不为空，则设置为就绪状态。数据备份器在就绪状态下，依序获取所述备份消息队列中的备份任务的任务信息。解析所述任务信息，得到需要备份的数据地址、备份策略和所述备份任务绑定的脚本文件。验证所述地址的数据是否存在，若不存在，记录日志、通知所述备份任务管理子模块，并在所述备份消息队列中移除所述备份任务，获取下一个备份任务。所述数据若存在，则设置所述数据备份器为下载状态，加载所述脚本文件，从而执行所述备份任务，对所述数据进行备份。当所述数据备份完成后，记录日志并通知所述备份任务管理子模块，将所述备份任务从所述 备份消息队列中移除，设置所述数据备份器为就绪状态。然后继续获取所述备份消息队列中的下一个备份任务，直至队列为空。
如图4所示，是本申请数据库数据采集方法的第二实施例的流程示意图。本实施例中，所述数据库数据采集方法的步骤S500-S506与第一实施例的步骤S400-S406相类似，区别在于该方法还包括步骤S508。
该方法包括以下步骤：
步骤S500，对用户上传的脚本进行自动归类，并导入文件系统中。
具体地，所述脚本为由用户用脚本语言编写的用于采集目标数据的脚本方法构成的文件。其中，脚本语言通常都有简单、易学、易用的特性，所以，只要明确采集任务的具体需求，即可利用完成脚本方法的配置，极大的降低了对专业性的要求。常见的脚本语言有javascript，vbscript，php等。
当用户上传脚本至脚本管理器中后，首先根据所述脚本的命名借助ICR技术实现名称索引创建及归类，若自动归类不通过则进行手工归类。然后进行归类确认，通过后将脚本按所述归类存入hadoop中的文件系统中。所述脚本管理器还提供文件绑定功能，以供任务管理器绑定所述文件系统中的脚本。
步骤S502，制定采集任务和相应的备份任务，绑定执行脚本，并加入执行消息队列及备份消息队列。
具体地，任务管理器创建任务名，设置任务内容、备份策略，然后调用脚本管理器绑定执行脚本，制定任务计划，并将所述采集任务和相应的备份任务分别加入执行消息队列及备份消息队列。每个所述采集任务分别对应一个采集配置文件，定义了所述采集任务所采集的目标数据的采集规则配置。其中，采集规则配置主要包括：目标数据类型以及采集该类目标数据对应的脚本方法名称与脚本语言。例如，若提取的目标数据类型为“标题”，则定义“标题”对应的数据采集的脚本方法名称是“parseTitle”，使用的脚本语言是javascript。
具体而言，所述任务管理器包括采集任务管理子模块和备份任务管理子 模块。所述采集任务管理子模块用于创建采集任务名，设置任务内容，调用脚本管理器绑定所述采集任务的执行脚本，制定任务计划，并将所述采集任务加入执行消息队列。所述备份任务管理子模块用于设置所述采集任务的备份策略，并将所述备份任务加入备份消息队列。
其中，所述备份任务管理子模块管理备份任务流程的具体步骤包括：接收用户发起的备份任务申请，所述备份任务申请中可以选择备份策略，或者由所述备份任务管理子模块自动配置备份策略。对新申请的备份任务进行可执行性校验，若校验通过，则对所述备份任务进行批复，反之，则作错误标记，通知该备份任务申请者。将已批复的备份任务加入所述备份消息队列。
步骤S504，从执行消息队列中获取采集任务，解析、加载、执行所述采集任务。
具体地，数据采集器持续从所述执行消息队列中获取所述采集任务的任务信息，解析所述任务信息，得到任务内容和采集配置文件，并获取所述采集任务绑定的脚本文件。初始化支持所述脚本文件对应的脚本语言的脚本引擎，并加载所述脚本文件，从而执行所述采集任务，根据所述采集规则配置采集出目标数据。
步骤S506，从备份消息队列中获取备份任务，解析、加载、执行所述备份任务。
具体地，数据备份器持续从所述备份消息队列中获取备份任务的任务信息，解析、加载、执行所述备份任务。数据备份器进行数据备份的具体步骤包括：数据备份器首先判断所述备份消息队列是否为空，若为空，则设置所述数据备份器为等待状态，若不为空，则设置为就绪状态。数据备份器在就绪状态下，依序获取所述备份消息队列中的备份任务的任务信息。解析所述任务信息，得到需要备份的数据地址、备份策略和所述备份任务绑定的脚本文件。验证所述地址的数据是否存在，若不存在，记录日志、通知所述备份任务管理子模块，并在所述备份消息队列中移除所述备份任务，获取下一个 备份任务。所述数据若存在，则设置所述数据备份器为下载状态，加载所述脚本文件，从而执行所述备份任务，对所述数据进行备份。当所述数据备份完成后，记录日志并通知所述备份任务管理子模块，将所述备份任务从所述备份消息队列中移除，设置所述数据备份器为就绪状态。然后继续获取所述备份消息队列中的下一个备份任务，直至队列为空。
步骤S508，维护所述采集任务和备份任务的状态。
具体地，数据采集器和数据备份器在执行所述采集任务和备份任务后，会调用任务管理器进行状态更新。任务管理器据此对所述采集任务和备份任务的状态进行维护，实时更新。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种数据库数据采集方法，应用于应用服务器，其特征在于，所述方法包括步骤：
    对用户上传的脚本进行自动归类，并导入文件系统中；
    制定采集任务和相应的备份任务，绑定执行脚本，并将所述采集任务和备份任务加入执行消息队列及备份消息队列；
    从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务；及
    从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务。
  2. 如权利要求1所述的数据库数据采集方法，其特征在于，该方法还包括步骤：
    维护所述采集任务和备份任务的状态，在执行所述采集任务和备份任务后，进行所述采集任务和备份任务的状态更新。
  3. 如权利要求1或2所述的数据库数据采集方法，其特征在于，所述归类是根据所述脚本的命名借助智能字符识别ICR技术实现名称索引创建及归类。
  4. 如权利要求1所述的数据库数据采集方法，其特征在于，从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务的步骤具体包括：
    持续从所述执行消息队列中获取所述采集任务的任务信息；
    解析所述任务信息，得到任务内容和采集配置文件，并获取所述采集任务绑定的脚本文件；
    初始化支持所述脚本文件对应的脚本语言的脚本引擎，并加载所述脚本文件，从而执行所述采集任务，根据所述采集规则配置采集出目标数据。
  5. 如权利要求2所述的数据库数据采集方法，其特征在于，从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务的步骤具体包括：
    持续从所述执行消息队列中获取所述采集任务的任务信息；
    解析所述任务信息，得到任务内容和采集配置文件，并获取所述采集任务绑定的脚本文件；
    初始化支持所述脚本文件对应的脚本语言的脚本引擎，并加载所述脚本文件，从而执行所述采集任务，根据所述采集规则配置采集出目标数据。
  6. 如权利要求1所述的数据库数据采集方法，其特征在于，从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务的步骤具体包括：
    判断所述备份消息队列是否为空，若不为空，则依序获取所述备份消息队列中的备份任务的任务信息；
    解析所述任务信息，得到需要备份的数据地址、备份策略和所述备份任务绑定的脚本文件；
    验证所述地址的数据是否存在，若不存在，记录日志，并在所述备份消息队列中移除所述备份任务，获取下一个备份任务；
    所述地址的数据若存在，则加载所述脚本文件，从而执行所述备份任务，对所述数据进行备份；
    当所述数据备份完成后，记录日志，将所述备份任务从所述备份消息队列中移除，然后继续获取所述备份消息队列中的下一个备份任务，直至队列为空。
  7. 如权利要求2所述的数据库数据采集方法，其特征在于，从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务的步骤具体包括：
    判断所述备份消息队列是否为空，若不为空，则依序获取所述备份消息队列中的备份任务的任务信息；
    解析所述任务信息，得到需要备份的数据地址、备份策略和所述备份任务绑定的脚本文件；
    验证所述地址的数据是否存在，若不存在，记录日志，并在所述备份消息队列中移除所述备份任务，获取下一个备份任务；
    所述地址的数据若存在，则加载所述脚本文件，从而执行所述备份任务， 对所述数据进行备份；
    当所述数据备份完成后，记录日志，将所述备份任务从所述备份消息队列中移除，然后继续获取所述备份消息队列中的下一个备份任务，直至队列为空。
  8. 一种应用服务器，其特征在于，所述应用服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的数据库数据采集系统，所述数据库数据采集系统被所述处理器执行时实现如下步骤：
    对用户上传的脚本进行自动归类，并导入文件系统中；
    制定采集任务和相应的备份任务，绑定执行脚本，并将所述采集任务和备份任务加入执行消息队列及备份消息队列；
    从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务；及
    从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务。
  9. 如权利要求8所述的应用服务器，其特征在于，所述数据库数据采集系统被所述处理器执行时还实现步骤：
    维护所述采集任务和备份任务的状态，在执行所述采集任务和备份任务后，进行所述采集任务和备份任务的状态更新。
  10. 如权利要求8或9所述的应用服务器，其特征在于，所述归类是根据所述脚本的命名借助智能字符识别ICR技术实现名称索引创建及归类。
  11. 如权利要求8所述的应用服务器，其特征在于，从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务的步骤具体包括：
    持续从所述执行消息队列中获取所述采集任务的任务信息；
    解析所述任务信息，得到任务内容和采集配置文件，并获取所述采集任务绑定的脚本文件；
    初始化支持所述脚本文件对应的脚本语言的脚本引擎，并加载所述脚本文件，从而执行所述采集任务，根据所述采集规则配置采集出目标数据。
  12. 如权利要求9所述的应用服务器，其特征在于，从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务的步骤具体包括：
    持续从所述执行消息队列中获取所述采集任务的任务信息；
    解析所述任务信息，得到任务内容和采集配置文件，并获取所述采集任务绑定的脚本文件；
    初始化支持所述脚本文件对应的脚本语言的脚本引擎，并加载所述脚本文件，从而执行所述采集任务，根据所述采集规则配置采集出目标数据。
  13. 如权利要求8所述的应用服务器，其特征在于，从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务的步骤具体包括：
    判断所述备份消息队列是否为空，若不为空，则依序获取所述备份消息队列中的备份任务的任务信息；
    解析所述任务信息，得到需要备份的数据地址、备份策略和所述备份任务绑定的脚本文件；
    验证所述地址的数据是否存在，若不存在，记录日志，并在所述备份消息队列中移除所述备份任务，获取下一个备份任务；
    所述地址的数据若存在，则加载所述脚本文件，从而执行所述备份任务，对所述数据进行备份；
    当所述数据备份完成后，记录日志，将所述备份任务从所述备份消息队列中移除，然后继续获取所述备份消息队列中的下一个备份任务，直至队列为空。
  14. 如权利要求9所述的应用服务器，其特征在于，从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务的步骤具体包括：
    判断所述备份消息队列是否为空，若不为空，则依序获取所述备份消息队列中的备份任务的任务信息；
    解析所述任务信息，得到需要备份的数据地址、备份策略和所述备份任务绑定的脚本文件；
    验证所述地址的数据是否存在，若不存在，记录日志，并在所述备份消息队列中移除所述备份任务，获取下一个备份任务；
    所述地址的数据若存在，则加载所述脚本文件，从而执行所述备份任务，对所述数据进行备份；
    当所述数据备份完成后，记录日志，将所述备份任务从所述备份消息队列中移除，然后继续获取所述备份消息队列中的下一个备份任务，直至队列为空。
  15. 一种计算机可读存储介质，所述计算机可读存储介质存储有数据库数据采集系统，所述数据库数据采集系统可被至少一个处理器执行，以使所述至少一个处理器执行如下步骤：
    对用户上传的脚本进行自动归类，并导入文件系统中；
    制定采集任务和相应的备份任务，绑定执行脚本，并将所述采集任务和备份任务加入执行消息队列及备份消息队列；
    从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务；及
    从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务。
  16. 如权利要求15所述的计算机可读存储介质，其特征在于，所述数据库数据采集系统被所述处理器执行时还实现步骤：
    维护所述采集任务和备份任务的状态，在执行所述采集任务和备份任务后，进行所述采集任务和备份任务的状态更新。
  17. 如权利要求15或16所述的计算机可读存储介质，其特征在于，所述归类是根据所述脚本的命名借助智能字符识别ICR技术实现名称索引创建及归类。
  18. 如权利要求15所述的计算机可读存储介质，其特征在于，从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务的步骤具体包括：
    持续从所述执行消息队列中获取所述采集任务的任务信息；
    解析所述任务信息，得到任务内容和采集配置文件，并获取所述采集任务绑定的脚本文件；
    初始化支持所述脚本文件对应的脚本语言的脚本引擎，并加载所述脚本文件，从而执行所述采集任务，根据所述采集规则配置采集出目标数据。
  19. 如权利要求16所述的计算机可读存储介质，其特征在于，从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务的步骤具体包括：
    持续从所述执行消息队列中获取所述采集任务的任务信息；
    解析所述任务信息，得到任务内容和采集配置文件，并获取所述采集任务绑定的脚本文件；
    初始化支持所述脚本文件对应的脚本语言的脚本引擎，并加载所述脚本文件，从而执行所述采集任务，根据所述采集规则配置采集出目标数据。
  20. 如权利要求15或16所述的计算机可读存储介质，其特征在于，从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务的步骤具体包括：
    判断所述备份消息队列是否为空，若不为空，则依序获取所述备份消息队列中的备份任务的任务信息；
    解析所述任务信息，得到需要备份的数据地址、备份策略和所述备份任务绑定的脚本文件；
    验证所述地址的数据是否存在，若不存在，记录日志，并在所述备份消息队列中移除所述备份任务，获取下一个备份任务；
    所述地址的数据若存在，则加载所述脚本文件，从而执行所述备份任务，对所述数据进行备份；
    当所述数据备份完成后，记录日志，将所述备份任务从所述备份消息队列中移除，然后继续获取所述备份消息队列中的下一个备份任务，直至队列 为空。
PCT/CN2018/089421 2017-11-15 2018-05-31 数据库数据采集方法、应用服务器及计算机可读存储介质 WO2019095667A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711131296.0 2017-11-15
CN201711131296.0A CN108021621A (zh) 2017-11-15 2017-11-15 数据库数据采集方法、应用服务器及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2019095667A1 true WO2019095667A1 (zh) 2019-05-23

Family

ID=62079933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/089421 WO2019095667A1 (zh) 2017-11-15 2018-05-31 数据库数据采集方法、应用服务器及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108021621A (zh)
WO (1) WO2019095667A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855768A (zh) * 2019-11-07 2020-02-28 成都西加云杉科技有限公司 一种数据处理方法及WiFi-IoT系统
CN114422245A (zh) * 2022-01-20 2022-04-29 四维创智（北京）科技发展有限公司 一种渗透任务生成方法、系统、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021621A (zh) * 2017-11-15 2018-05-11 平安科技（深圳）有限公司 数据库数据采集方法、应用服务器及计算机可读存储介质
CN109409853A (zh) * 2018-12-29 2019-03-01 深圳市思迪信息技术股份有限公司 基于运维管理平台的任务流程处理方法及装置
CN112039968A (zh) * 2020-08-25 2020-12-04 中央广播电视总台 一种数据处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092817A (zh) * 2013-01-18 2013-05-08 五八同城信息技术有限公司 一种基于脚本引擎的数据采集方法和装置
CN103235988A (zh) * 2013-01-23 2013-08-07 江苏省电力公司扬州供电公司 数据库一体化监管平台及其工作方法以及依据此平台的备份任务流程管理的业务控制方法
CN104516794A (zh) * 2014-12-12 2015-04-15 国家电网公司 数据库文件的备份方法、装置及系统
CN108021621A (zh) * 2017-11-15 2018-05-11 平安科技（深圳）有限公司 数据库数据采集方法、应用服务器及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206604A (zh) * 2006-12-22 2008-06-25 英业达股份有限公司 自动更新测试脚本的测试方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092817A (zh) * 2013-01-18 2013-05-08 五八同城信息技术有限公司 一种基于脚本引擎的数据采集方法和装置
CN103235988A (zh) * 2013-01-23 2013-08-07 江苏省电力公司扬州供电公司 数据库一体化监管平台及其工作方法以及依据此平台的备份任务流程管理的业务控制方法
CN104516794A (zh) * 2014-12-12 2015-04-15 国家电网公司 数据库文件的备份方法、装置及系统
CN108021621A (zh) * 2017-11-15 2018-05-11 平安科技（深圳）有限公司 数据库数据采集方法、应用服务器及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855768A (zh) * 2019-11-07 2020-02-28 成都西加云杉科技有限公司 一种数据处理方法及WiFi-IoT系统
CN114422245A (zh) * 2022-01-20 2022-04-29 四维创智（北京）科技发展有限公司 一种渗透任务生成方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN108021621A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
WO2019095667A1 (zh) 数据库数据采集方法、应用服务器及计算机可读存储介质
US11741046B2 (en) Method and apparatus for creating system disk snapshot of virtual machine
WO2018120721A1 (zh) 用户界面的测试方法、系统、电子装置及计算机可读存储介质
US8869111B2 (en) Method and system for generating test cases for a software application
WO2020024408A1 (zh) 测试装置、测试的方法及存储介质
WO2020010724A1 (zh) 前端静态资源的管理方法、装置、计算机设备及存储介质
CN110798445B (zh) 公共网关接口测试方法、装置、计算机设备及存储介质
CN112769802B (zh) 基于服务端的访问校验方法、装置、电子设备及存储介质
WO2019148657A1 (zh) 关联环境测试方法、电子装置及计算机可读存储介质
CN110958292A (zh) 文件上传方法、电子装置、计算机设备及存储介质
US8539048B2 (en) Electronic device and method for loading configuration files using the same
CN111367890A (zh) 一种数据迁移的方法、装置、计算机设备及可读存储介质
US8290916B2 (en) Rule-based record profiles to automate record declaration of electronic documents
CN113259397B (zh) 一种执行预案的方法、装置、设备及可读存储介质
CN110716804A (zh) 无用资源的自动删除方法、装置、存储介质及电子设备
CN112860412B (zh) 业务数据处理方法、装置、电子设备及存储介质
CN112860662B (zh) 自动化生产数据血缘关系建立方法、装置、计算机设备及存储介质
CN109542860B (zh) 基于hdfs的业务数据管理方法、终端设备
CN115098297B (zh) 一种云原生存储数据卷的一致性快照生成方法和系统
CN114466387B (zh) 基站的配置文件的更新方法、装置、存储介质和电子装置
CN113282347B (zh) 插件运行方法、装置、设备及存储介质
CN113595762B (zh) 一种网卡配置的保存方法及装置
CN114511314A (zh) 一种支付账户管理的方法、装置、计算机设备和存储介质
CN112887352B (zh) 一种Docker容器的镜像文件上传方法、装置
CN112632266B (zh) 数据写入方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04/09/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18878629

Country of ref document: EP

Kind code of ref document: A1