WO2018192382A1 - 一种大数据管理方法、终端、设备以及存储介质 - Google Patents

一种大数据管理方法、终端、设备以及存储介质 Download PDF

Info

Publication number
WO2018192382A1
WO2018192382A1 PCT/CN2018/082376 CN2018082376W WO2018192382A1 WO 2018192382 A1 WO2018192382 A1 WO 2018192382A1 CN 2018082376 W CN2018082376 W CN 2018082376W WO 2018192382 A1 WO2018192382 A1 WO 2018192382A1
Authority
WO
WIPO (PCT)
Prior art keywords
big data
current host
configuration
processing template
alarm notification
Prior art date
Application number
PCT/CN2018/082376
Other languages
English (en)
French (fr)
Inventor
林鹏
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2018192382A1 publication Critical patent/WO2018192382A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases

Definitions

  • the present application relates to the field of big data technologies, and in particular, to a big data management method, a terminal, a device, and a storage medium.
  • Big data (mega data), or massive data, refers to the massive, high growth rate and diverse information assets that require new processing models to have greater decision making, insight and process optimization capabilities.
  • the embodiment of the present invention provides a big data management method, a terminal, a device, and a storage medium, which can automatically process an abnormal phenomenon occurring in a big data analysis process, shorten an abnormal recovery time, and improve an efficiency of an abnormal recovery work.
  • the embodiment of the present application provides a big data management method, where the method includes:
  • Pre-defining the normalization processing template managing the application configuration information of the big data in the current host; if the application configuration information of the big data in the current host is changed, automatically monitoring the big data in the current host according to the information fed back by the change;
  • the alarm notification sends the alarm notification to generate an alarm event; the alarm event is automatically processed according to a predefined normalization processing template.
  • the embodiment of the present application provides a big data management terminal, where the terminal includes: a definition unit, configured to pre-define a normalization processing template; a management unit, configured to manage application configuration information of big data in the current host; and automatically monitor The unit is configured to: if the application configuration information of the big data in the current host is changed, automatically monitor the big data in the current host according to the information fed back by the change; the event generating unit is configured to: if the alarm notification is received, the alarm is generated The notification generates an alarm event; the first automatic processing unit is configured to automatically process the alarm event according to a predefined normalization processing template.
  • the embodiment of the present application further provides a big data management device, where the device includes: a memory and a processor; a memory for storing a program for implementing big data management; and a processor for running the storage in the memory
  • the big data in the host is automatically monitored; if an alarm notification is received, an alarm event is generated according to the alarm notification; and the alarm event is automatically processed according to a predefined normalization processing template.
  • the embodiment of the present application further provides a computer readable storage medium, where the one or more computer programs are stored, and the one or more computer programs may be one or more
  • the processor executes to implement the following steps: pre-defining the normalized processing template; managing the application configuration information of the big data in the current host; if the application configuration information of the big data in the current host is changed, the information fed back according to the change is in the current host
  • the big data is automatically monitored; if an alarm notification is received, an alarm event is generated according to the alarm notification; and the alarm event is automatically processed according to a predefined normalization processing template.
  • the embodiment of the present application can automatically process abnormal phenomena occurring in the process of big data analysis, shorten the time for abnormal recovery of big data analysis, and improve the efficiency of abnormal recovery work.
  • FIG. 1 is a schematic flowchart of a big data management method provided by an embodiment of the present application.
  • FIG. 2 is another schematic flowchart of a big data management method provided by an embodiment of the present application.
  • FIG. 3 is another schematic flowchart of a big data management method provided by an embodiment of the present application.
  • FIG. 4 is a schematic flowchart of a big data management method according to another embodiment of the present application.
  • FIG. 5 is a schematic block diagram of a big data management terminal according to an embodiment of the present application.
  • FIG. 6 is another schematic block diagram of a big data management terminal according to an embodiment of the present application.
  • FIG. 7 is another schematic block diagram of a big data management terminal according to an embodiment of the present application.
  • FIG. 8 is another schematic block diagram of a big data management terminal according to an embodiment of the present application.
  • FIG. 9 is a schematic structural diagram of a big data management device according to an embodiment of the present application.
  • FIG. 1 is a schematic flowchart of a big data management method according to an embodiment of the present application.
  • the method mainly deals with the occurrence of abnormal phenomena in the process of big data analysis, can automatically handle the abnormal phenomena occurring in the process of big data analysis, shorten the recovery time of abnormal data appearing in big data analysis, and improve the efficiency of abnormal recovery work.
  • the steps of the method include S101 to S105.
  • the normalization processing template is defined by the user, and the user formulates a normalization processing module according to the needs of the big data analysis
  • the normalization processing template may include a data homogenization processing template and a dimensionless processing template, where The data and the trending processing template are different in processing the data in the process of big data analysis.
  • step S101 includes steps S201 to S203.
  • each normalized processing object defined by the user is regarded as an atom, and each normalized processing object is encapsulated by a preset encapsulation tool to form a corresponding atom, that is, normalized processing is performed.
  • the operational data involved and the source code related to the operational data are organically combined and integrated, wherein different normalized processing objects correspond to different atoms, and each normalized processing object corresponds to one atom, and the drag and drop form is adopted.
  • the atoms are assembled into a workflow, wherein the user can drag and drop the atom through a drag interface provided by the terminal, and each atom can be assembled by atomizing, pulling, and smashing the mouse. Users can also adjust the assembly of atoms according to the specific situation.
  • each normalized processing object is encapsulated into each atom and all the atoms are assembled into a workflow
  • the assembled workflow is fixed, and the fixed workflow is no longer dragged or modified.
  • the fixed workflow determines the relationship between each atom in the workflow and the processing logic, and the workflow to be fixed is used as the normalization processing template.
  • the application configuration library of the current host may include ACCEESS, MSSQL, MYSQL, etc.
  • the normalized processing template is written into an application configuration library of the current host, and different normalized processing templates are in the application.
  • the location in the configuration repository is different, and the specific location of the normalization processing template in the application configuration repository is defined by the user.
  • the file name of the normalized processing template in the application configuration library is glkf_Data
  • the location of glkf_Data in the application configuration library is D: ⁇ xiaox_db ⁇ glkf_Data.MDF.
  • the application configuration information of the user managing the big data in the current host refers to connecting the application configuration database and modifying and adding new data in the configuration library, and the user can connect to the application configuration database through JDBC. And get the configuration table of the big data in the application configuration library, and read the fields or field properties in the configuration table and so on.
  • step S102 includes steps S301 to S303.
  • the user accesses the MYSQL application configuration library through the JDBC to obtain configuration items and configuration files about the big data in the application configuration library, wherein the code execution logic of the MYSQL application configuration library through the JDBC connection is as follows:
  • the code execution logic for obtaining configuration items and configuration files in the MYSQL application configuration library through JDBC is as follows:
  • m_DBMetaData m_Connection.getMetaData()
  • ResultSet tableRet m_DBMetaData.getTables(null, "%”, m_TableName, new String[] ⁇ "TABLE” ⁇ )
  • % means the meaning of *, that is, any meaning
  • m_TableName is the name of the configuration item to be obtained, if you want to get all the configuration items, you can use "%" as a parameter.
  • the obtained configuration item and configuration file may be performed by using the MYSQL database program code. modify.
  • the modification of the configuration item and the configuration file is determined by the user according to the needs of the big data analysis, when modifying the configuration item and the configuration file, the user may select one or more configuration items as needed. Modify, you can also select one or more configuration files to modify as needed.
  • the configuration items of the big data and the modified structure of the configuration file need to be distributed to other hosts connected to the current host to ensure Big data analysis is smooth and avoids failures in big data analysis.
  • the feedback information is formed according to the preset feedback mechanism in the current host, and the feedback information is sent to the preset monitoring center, and the preset information is sent.
  • the monitoring center monitors the application configuration information of the big data in the current host. Specifically, if the current host performs big data analysis on the changed big data, the preset monitoring center will monitor the change in the big data in real time. data.
  • the alarm notification when the current host performs big data analysis, if the preset monitoring center monitors that the changed data is abnormal, an alarm notification is sent for the corresponding abnormality, wherein an alarm notification is formed for different abnormalities. And sending the alarm notification to the current host, if the current host receives the alarm notification sent by the preset monitoring center, the alarm notification is generated to generate a corresponding alarm event, and the pre-defined normalization processing template is only for the alarm event. Processing, therefore, the alarm notification needs to be converted into an alarm event conforming to the normalization processing template, wherein the alarm notification is generated to generate a corresponding alarm event, for example, the alarm notification is formed into a mail, a short message or an XML file.
  • the alarm event is automatically processed according to a predefined normalization processing template.
  • the current host connection application configuration library acquires a predefined normalization processing template in the application configuration database, and reads execution logic corresponding to the specification processing template to perform automatic processing on the alarm event.
  • the embodiment of the present application further provides a self-service query interface for the user to self-query information related to big data in the current host.
  • the self-query interface provided by the current host can automatically query the current host and big data.
  • Related information for example, can query the processing results of big data analysis exceptions and analyze the abnormal processing situation; through the self-service query interface provided by the current host, the user can automatically query the requirements for big data analysis and improve the user experience.
  • the application configuration information of the big data in the current host is managed by pre-defining the normalization processing template. If the application configuration information of the big data in the current host is changed, the information fed back according to the change is used in the current host. The big data is automatically monitored. If an alarm notification is received, an alarm event is generated according to the alarm notification, and the alarm event is automatically processed according to a predefined normalization processing template, and the abnormal phenomenon occurring in the big data analysis process can be automatically processed. Reduce the time for abnormal recovery of big data analysis and improve the efficiency of abnormal recovery work.
  • FIG. 4 is a schematic flowchart of a big data management method according to Embodiment 2 of the present application.
  • the method mainly deals with the occurrence of abnormal phenomena in the process of big data analysis, can automatically handle the abnormal phenomena occurring in the process of big data analysis, shorten the recovery time of abnormal data appearing in big data analysis, and improve the efficiency of abnormal recovery work.
  • the steps of the method include S401 to S406.
  • the normalization processing template is defined by a user, and the user formulates a normalization processing module according to the needs of the big data analysis
  • the normalization processing template may include a data homogenization processing template and The dimensionless processing template, wherein the data and the trending processing template are different in processing the data in the process of big data analysis, and the data of different properties are first considered to change the nature of the data of the inverter index, so that all indicators have a role on the data.
  • the dimensionless processing template is to deal with the comparability of data in the process of big data analysis
  • S402. Manage application configuration information of big data in the current host.
  • the application configuration information of the user managing the big data in the current host refers to connecting the application configuration database and modifying and adding new data in the configuration library, and the user may Connect to the application configuration library through JDBC, and obtain the configuration table of big data in the application configuration library, and read the fields or field attributes in the configuration table.
  • the feedback information is formed according to the preset feedback mechanism in the current host, and the feedback information is formed to the preset monitoring center. Sending feedback information, and monitoring application configuration information of big data in the current host through a preset monitoring center. Specifically, if the current host performs big data analysis on the changed big data, the preset monitoring center will be real-time. Monitor data that has changed in big data.
  • the current host connects to the MYSQL application configuration library through JDBC, and obtains the monitored data in the MYSQL application configuration database through JDBC, and submits the monitored data to the monitoring center.
  • the alarm notification is automatically processed according to a predefined normalization processing template.
  • the current host connection application configuration library acquires a predefined normalization processing template in the application configuration database, and reads execution logic corresponding to the specification processing template to perform automatic processing on the alarm event.
  • the self-query interface provided by the current host can automatically query the related information of the current host and the big data, for example, the processing result of the big data analysis abnormality can be queried, and the abnormal processing situation can be analyzed;
  • the self-service query interface provided by the current host the user can automatically query the requirements for big data analysis and improve the user experience.
  • the embodiment of the present application obtains the monitored data in the current host and submits the data to the monitoring center; if the monitoring center sends an alarm notification, the alarm notification is automatically processed according to a predefined normalization processing template. It can accurately determine the anomalies that occur during big data analysis, and automatically handle the anomalies that occur during big data analysis, shorten the time for abnormal recovery of big data analysis, and improve the efficiency of abnormal recovery work by providing a self-service query interface.
  • the user self-query the information related to big data in the current host, which can satisfy the user's automatic query for the needs of big data analysis and improve the user experience.
  • the embodiment of the present application further provides a big data management apparatus, where the apparatus 500 includes: a defining unit 501, a management unit 502, an automatic monitoring unit 503, and an event generating unit 504.
  • the definition unit 501 is configured to pre-define a normalization processing template.
  • the management unit 502 is configured to manage application configuration information of big data in the current host.
  • the automatic monitoring unit 503 is configured to automatically monitor the big data in the current host according to the information fed back by the change if the application configuration information of the big data in the current host is changed.
  • the event generating unit 504 is configured to: if the alarm notification is received, notify the alarm to generate an alarm event.
  • the first automatic processing unit 505 is configured to automatically process the alarm event according to a predefined normalization processing template.
  • the defining unit 501 includes:
  • the encapsulation unit 5011 is configured to encapsulate atoms for normalization processing and assemble the atoms into a workflow by dragging.
  • a template forming unit 5012 is configured to cure the workflow and form a normalized processing template.
  • the writing unit 5013 is configured to write the normalized processing template into an application configuration library of the current host.
  • the management unit 502 includes:
  • the first obtaining unit 5021 is configured to acquire a configuration item and a configuration file about big data in an application configuration library of the current host.
  • the modifying unit 5022 is configured to modify the configuration item and the configuration file.
  • the distribution unit 5023 is configured to distribute the modification result of the configuration item and the configuration file to other hosts corresponding to the current host.
  • the application configuration information of the big data in the current host is managed by pre-defining the normalization processing template. If the application configuration information of the big data in the current host is changed, the big data in the current host is automatically changed according to the information fed back by the change. Monitoring, if an alarm notification is received, generating an alarm event according to the alarm notification, and automatically processing the alarm event according to a predefined normalization processing template, which can automatically process an abnormal phenomenon occurring in the big data analysis process and shorten the big data analysis. Abnormal recovery time and improve the efficiency of abnormal recovery work.
  • the embodiment of the present application further provides a big data management apparatus, where the apparatus 600 includes: a definition unit 601, a management unit 602, an automatic monitoring unit 603, and a second obtaining unit 604.
  • the definition unit 601 is configured to pre-define a normalization processing template.
  • the management unit 602 is configured to manage application configuration information of big data in the current host.
  • the automatic monitoring unit 603 is configured to automatically monitor the big data in the current host according to the information fed back by the change if the application configuration information of the big data in the current host is changed.
  • the second obtaining unit 604 is configured to acquire the monitored data in the current host and submit the data to the monitoring center.
  • the second automatic processing unit 605 is configured to automatically process the alarm notification according to a predefined normalization processing template if the monitoring center issues an alarm notification.
  • the providing unit 606 is configured to provide a self-service query interface for the user to self-query information related to big data in the current host.
  • the embodiment of the present application obtains the monitored data in the current host and submits the data to the monitoring center; if the monitoring center sends an alarm notification, the alarm notification is automatically processed according to a predefined normalization processing template. It can accurately determine the anomalies that occur during big data analysis, and automatically handle the anomalies that occur during big data analysis, shorten the time for abnormal recovery of big data analysis, and improve the efficiency of abnormal recovery work by providing a self-service query interface.
  • the user self-query the information related to big data in the current host, which can satisfy the user's automatic query for the needs of big data analysis and improve the user experience.
  • the above big data management terminal can be implemented in the form of a computer program that can be run on a computer device as shown in FIG.
  • FIG. 9 is a schematic structural diagram of a big data management device according to the present application.
  • the device 700 can include an input device 701, an output device 702, a transceiver device 703, a memory 704, and a processor 705, where:
  • the input device 701 is configured to receive input data of an external access control device.
  • the input device 701 described in the embodiment of the present application may include a keyboard, a mouse, a photoelectric input device, a sound input device, a touch input device, a scanner, and the like.
  • the output device 702 is configured to output output data of the access control device to the outside.
  • the output device 702 described in this embodiment of the present application may include a display, a speaker, a printer, and the like.
  • the transceiver device 703 is configured to send data to or receive data from other devices through a communication link.
  • the transceiver 703 of the embodiment of the present application may include a transceiver device such as a radio frequency antenna.
  • the memory 704 can include a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium can store an operating system and store program instructions for implementing a big data management method.
  • the internal memory provides an environment for the operation of program instructions in a non-volatile storage medium.
  • the processor 704 is used to provide computing and control capabilities to support the operation of the entire big data management device. When the above program instructions are executed by the processor 704, the processor 704 can be caused to execute the above-described big data management method.
  • the processor 705 is configured to run a program for implementing the big data management method stored in the memory 704 to perform the following operations: pre-defining a normalization processing template; and managing application configuration information of big data in the current host; The application configuration information of the big data in the current host is changed, and the big data in the current host is automatically monitored according to the information fed back by the change; if the alarm notification is received, an alarm event is generated according to the alarm notification; according to the predefined normalization processing The template automatically processes the alarm event.
  • the pre-defined normalization processing template includes: encapsulating atoms for normalization processing, and assembling the atoms into a workflow by dragging; solidifying the workflow and forming a normalization processing template
  • the normalized processing template is written into the application configuration repository of the current host.
  • the managing application configuration information of the big data in the current host includes: acquiring a configuration item and a configuration file about big data in the application configuration library of the current host; modifying the configuration item and the configuration file; The modification result of the configuration item and the configuration file is distributed to other hosts corresponding to the current host.
  • the processor 704 further performs the following operations: acquiring the monitored data in the current host and submitting the data to the monitoring center; if the monitoring center sends an alarm notification, according to a predefined normalized processing template The alarm notification is automatically processed.
  • the processor 704 also performs the operation of providing a self-service query interface for the user to self-query information related to big data in the current host.
  • the embodiment of the big data management device shown in FIG. 9 does not constitute a limitation on the specific configuration of the big data management device.
  • the big data management device may include more than the illustration. Or fewer parts, or combine some parts, or different parts.
  • the big data management device may include only the memory and the processor. In such an embodiment, the structure and function of the memory and the processor are the same as those of the embodiment shown in FIG. 9, and details are not described herein again.
  • the application provides a computer readable storage medium storing one or more computer programs, the one or more computer programs being executable by one or more processors to implement the above-described big data Management method
  • the units in all the embodiments of the present application may be implemented by a general-purpose integrated circuit, such as a CPU (Central Processing Unit), or by an ASIC (Application Specific Integrated Circuit).
  • a general-purpose integrated circuit such as a CPU (Central Processing Unit), or by an ASIC (Application Specific Integrated Circuit).
  • the steps in the big data management method of the embodiment of the present application may be sequentially adjusted according to actual needs.

Abstract

本申请实施例公开了一种大数据管理方法、终端、设备以及存储介质，其中，所述方法包括：预先定义规范化处理模板；管理当前主机中大数据的应用配置信息；若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；若接收到告警通知，根据所述告警通知生成告警事件；根据预先定义的规范化处理模板对所述告警事件进行自动化处理。本申请可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率。

Description

一种大数据管理方法、终端、设备以及存储介质
本申请要求于2017年4月17日提交中国专利局、申请号为201710250209.7、申请名称为“一种大数据管理方法、终端以及设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及大数据技术领域，尤其涉及一种大数据管理方法、终端、设备以及存储介质。
背景技术
大数据(Big data，mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
目前，在使用大数据进行数据分析的过程中，经常存在重复出现的分析异常现象，并且对于大数据分析异常的管理只有相关的管理人员有权对相关的应用配置库进行查询并处理相对应的异常，另外，现有的大数据分析异常的处理方式中一般只能依赖人工操作以恢复大数据分析过程的正常进行，但是依赖人工进行恢复的方式容易出现操作失误，且依赖人工进行操作的方式效率不高，影响了异常恢复的时效，导致利用大数据分析的过程时间增加。
发明内容
本申请实施例提供一种大数据管理方法、终端、设备以及存储介质，可以自动处理大数据分析过程中出现的异常现象，并缩短异常恢复的时间，提高异常恢复工作的效率。
一方面，本申请实施例提供了一种大数据管理方法，该方法包括：
预先定义规范化处理模板；管理当前主机中大数据的应用配置信息；若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；若接收到告警通知，将所述告警通知生成告警事件；根据预先定义的规范化处理模板对所述告警事件进行自动化处理。
另一方面，本申请实施例提供了一种大数据管理终端，该终端包括：定义 单元，用于预先定义规范化处理模板；管理单元，用于管理当前主机中大数据的应用配置信息；自动监控单元，用于若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；事件生成单元，用于若接收到告警通知，将所述告警通知生成告警事件；第一自动处理单元，用于根据预先定义的规范化处理模板对所述告警事件进行自动化处理。
又一方面，本申请实施例还提出一种大数据管理设备，所述设备包括：存储器以及处理器；存储器，用于存储实现大数据管理的程序；处理器，用于运行所述存储器中存储实现大数据管理的程序，以执行以下操作：预先定义规范化处理模板；管理当前主机中大数据的应用配置信息；若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；若接收到告警通知，根据所述告警通知生成告警事件；根据预先定义的规范化处理模板对所述告警事件进行自动化处理。
再一方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如下步骤：预先定义规范化处理模板；管理当前主机中大数据的应用配置信息；若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；若接收到告警通知，根据所述告警通知生成告警事件；根据预先定义的规范化处理模板对所述告警事件进行自动化处理。
本申请实施例可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种大数据管理方法的示意流程图。
图2是本申请实施例提供的一种大数据管理方法的另一示意流程图。
图3是本申请实施例提供的一种大数据管理方法的另一示意流程图。
图4是本申请实施例另一实施例提供的一种大数据管理方法的示意流程图。
图5是本申请实施例提供的一种大数据管理终端的示意性框图。
图6是本申请实施例提供的一种大数据管理终端的另一示意性框图。
图7是本申请实施例提供的一种大数据管理终端的另一示意性框图。
图8是本申请实施例提供的一种大数据管理终端的另一示意性框图。
图9是本申请实施例提供的一种大数据管理设备的结构组成示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
请参阅图1，图1是本申请实施例提供的一种大数据管理方法的示意流程图。该方法主要是对大数据分析过程中的出现的异常现象进行处理，可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析出现的异常的恢复时间，并提高异常恢复工作的效率。如图1所示，该方法的步骤包括S101～S105。
S101，预先定义规范化处理模板。
在本申请实施例中，所述规范化处理模板由用户自行定义，用户根据大数据分析的需要制定规范化处理模块，所述规范化处理模板可以包括数据同趋化处理模板和无量纲化处理模板，其中，所述数据同趋化处理模板是处理大数据分析过程中数据性质不同的问题，对性质不同的数据先考虑改变逆变指标数据性质，使所有指标对数据的作用力同趋化，再对相应的数据加总以达到处理数 据异常的效果；所述无量纲化处理模板是处理大数据分析过程中数据的可比性问题，所述无量纲化处理模板包括有以下方法：最小-最大标准化方法等，其中所述最小-最大标准化方法指的是对数据分析过程中的问题数据进行线性变换，例如设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过最小-最大标准化方法映射成在区间[0，1]中的值x′，并通过以下公式得到新数据，公式为：新数据＝(问题数据-极小值)/(极大值-极小值)。
进一步地，如图2所示，步骤S101包括步骤S201～S203。
S201，封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流。
在本申请实施例中，将用户定义的每个规范化处理对象都看作为一个原子，通过预设的封装工具将每个规范化处理对象进行封装并形成相对应的每一个原子，也就是将规范化处理所涉及的操作数据和与操作数据相关的源代码进行有机的结合并成为一个整体，其中，不同的规范化处理对象对应不同的原子，每一种规范化处理对象对应一个原子，并采用拖拽形式将所述原子组装成工作流，其中，用户可以通过终端所提供的拖拽界面对所述原子进行拖拽，每一个原子都可以通过鼠标拖、拉、拽的方式来完成原子的组装，另外，用户还可以根据具体的情况调整原子的组装。
S202，将所述工作流进行固化并形成规范化处理模板。
在本申请实施例中，当将每个规范化处理对象封装成每一个原子并将所有原子组装成工作流之后，对所组装的工作流进行固定，被固定的工作流不再接受拖拽或者修改，被固定的工作流中确定了工作流中每个原子之间的关系以及处理逻辑，将被固定的所述工作流作为所述规范化处理模板。
S203，将所述规范化处理模板写入当前主机的应用配置库中。
在本申请实施例中，所述当前主机的应用配置库可以包括ACCEESS、MSSQL以及MYSQL等，将所述规范化处理模板写入至当前主机的应用配置库中，不同的规范化处理模板在所述应用配置库中的位置不相同，所述规范化处理模板在所述应用配置库中的具体位置由用户自行定义。例如，规范化处理模板在应用配置库中对应的文件名为glkf_Data，glkf_Data在应用配置库中的位置为D：\xiaox_db\glkf_Data.MDF。
S102，管理当前主机中大数据的应用配置信息。
在本申请实施例中，用户管理当前主机中大数据的应用配置信息指的是连接应用配置库并对配置库中的大数据进行修改、新增等操作，用户可以通过JDBC方式连接应用配置库，并获取应用配置库中的大数据的配置表，以及读取配置表中的字段或者字段属性等等。
进一步地，如图3所示，步骤S102包括步骤S301～S303。
S301，获取当前主机的应用配置库中关于大数据的配置项和配置文件。
在本申请实施例中，用户通过JDBC连接MYSQL应用配置库获取所述应用配置库中关于大数据的配置项和配置文件，其中，通过JDBC连接MYSQL应用配置库的代码执行逻辑如下：
class.forName(″com.mysql.jdbc.Driver″).newInstance()；
Connection conn＝DriverManager.getConnection(″jdbc：mysql：//localhost/test？user＝root&password＝123456″)
通过JDBC获取MYSQL应用配置库中的配置项和配置文件的代码执行逻辑如下：
m_DBMetaData＝m_Connection.getMetaData()；
ResultSet tableRet＝m_DBMetaData.getTables(null，″％″，m_TableName，new String[]{″TABLE″})
其中，″％″就是表示*的意思，也就是任意所有的意思；m_TableName就是要获取的配置项的名字，如果想获取所有的配置项，就可以使用″％″作为参数了。
S302，修改所述配置项和配置文件。
在本申请实施例中，用户通过JDBC连接MYSQL应用配置库，并通过JDBC获取到MYSQL应用配置库中的配置项和配置文件后，可以使用MYSQL数据库程序代码对所获取的配置项和配置文件进行修改。
需要说明的是，由于所述配置项和配置文件的修改由用户根据大数据分析的需要进行制定，在修改所述配置项和配置文件时，用户可以根据需要选择一项或者多项配置项进行修改，也可以根据需要选择一个或者多个配置文件进行修改。
S303，将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。
在本申请实施例中，由于当前主机连接着进行大数据分析的其它主机，需 要将对大数据的配置项和配置文件的修改结构果分发至与所述当前主机相连接的其它主机，以保证大数据分析的顺畅，并避免大数据分析的故障。
S103，若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控。
在本申请实施例中，若当前主机中大数据的应用配置信息发生变更，根据当前主机中预设的反馈机制针对该变更形成反馈信息，并向预设的监控中心发送反馈信息，通过预设的监控中心对所述当前主机中大数据的应用配置信息进行监控，具体地，若当前主机对所变更的大数据进行大数据分析，预设的监控中心便会实时监控大数据中发生变更的数据。
S104，若接收到告警通知，根据所述告警通知生成告警事件。
在本申请实施例中，在当前主机进行大数据分析时，若预设的监控中心监控到发生变更的数据出现异常，针对相对应的异常发出告警通知，其中，针对不同的异常形成一个告警通知，并将该告警通知发送至当前主机，当前主机若接收到预设监控中心发送的告警通知，将所述告警通知生成相对应的告警事件，由于预先定义的规范化处理模板只针对告警事件进行自动化处理，因此需要将告警通知转化为符合规范化处理模板的告警事件，其中，将所述告警通知生成相对应的告警事件，比如，将告警通知形成以邮件、短号消息或者XML文件的方式。
S105，根据预先定义的规范化处理模板对所述告警事件进行自动化处理。
在本申请实施例中，当前主机连接应用配置库获取应用配置库中的预先定义的规范化处理模板，并读取所述规范处理模板所对应的执行逻辑针对所述告警事件进行自动化处理。
需要说明的是，本申请实施例还提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息，通过当前主机所提供的自助查询界面，用户可以自助查询当前主机中与大数据的相关信息，比如，可以查询大数据分析异常的处理结果，以及分析异常处理的情况；通过当前主机所提供的自助查询界面，可以满足用户自动查询关于大数据分析的需求，改善用户的使用体验。
由以上可见，本申请实施例通过预先定义规范化处理模板，管理当前主机中大数据的应用配置信息，若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控，若接收到告警通知， 根据所述告警通知生成告警事件，根据预先定义的规范化处理模板对所述告警事件进行自动化处理，可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率。
请参阅图4，图4是本申请实施例二提供的一种大数据管理方法的示意流程图。该方法主要是对大数据分析过程中的出现的异常现象进行处理，可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析出现的异常的恢复时间，并提高异常恢复工作的效率。如图4所示，该方法的步骤包括S401～S406。
S401，预先定义规范化处理模板。
在本申请实施例中，在本申请实施例中，所述规范化处理模板由用户自行定义，用户根据大数据分析的需要制定规范化处理模块，所述规范化处理模板可以包括数据同趋化处理模板和无量纲化处理模板，其中，所述数据同趋化处理模板是处理大数据分析过程中数据性质不同的问题，对性质不同的数据先考虑改变逆变指标数据性质，使所有指标对数据的作用力同趋化，再对相应的数据加总以达到处理数据异常的效果；所述无量纲化处理模板是处理大数据分析过程中数据的可比性问题，所述无量纲化处理模板包括有以下方法：最小-最大标准化方法等，其中所述最小-最大标准化方法指的是对数据分析过程中的问题数据进行线性变换，例如设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过最小-最大标准化方法映射成在区间[0，1]中的值x′，并通过以下公式得到新数据，公式为：新数据＝(问题数据-极小值)/(极大值-极小值)。
S402，管理当前主机中大数据的应用配置信息。
在本申请实施例中，在本申请实施例中，用户管理当前主机中大数据的应用配置信息指的是连接应用配置库并对配置库中的大数据进行修改、新增等操作，用户可以通过JDBC方式连接应用配置库，并获取应用配置库中的大数据的配置表，以及读取配置表中的字段或者字段属性等等。
S403，若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控。
在本申请实施例中，在本申请实施例中，若当前主机中大数据的应用配置信息发生变更，根据当前主机中预设的反馈机制针对该变更形成反馈信息，并向预设的监控中心发送反馈信息，通过预设的监控中心对所述当前主机中大数 据的应用配置信息进行监控，具体地，若当前主机对所变更的大数据进行大数据分析，预设的监控中心便会实时监控大数据中发生变更的数据。
S404，获取所述当前主机中被监控的数据并提交至监控中心。
在本申请实施例中，当前主机通过JDBC连接MYSQL应用配置库，并通过JDBC获取到MYSQL应用配置库中被监控的数据，并将被监控的数据提交至监控中心。
S405，若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动处理。
在本申请实施例中，当前主机连接应用配置库获取应用配置库中的预先定义的规范化处理模板，并读取所述规范处理模板所对应的执行逻辑针对所述告警事件进行自动化处理。
S406，提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。
在本申请实施例中，通过当前主机所提供的自助查询界面，用户可以自助查询当前主机中与大数据的相关信息，比如，可以查询大数据分析异常的处理结果，以及分析异常处理的情况；通过当前主机所提供的自助查询界面，可以满足用户自动查询关于大数据分析的需求，改善用户的使用体验。
由以上可见，本申请实施例通过获取所述当前主机中被监控的数据并提交至监控中心；若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理，可以准确地确定大数据分析过程中出现的异常，并且自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率，通过提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息，可以满足用户自动查询关于大数据分析的需求，改善用户的使用体验。
请参阅图5，对应上述一种大数据管理方法，本申请实施例还提出一种大数据管理装置，该装置500包括：定义单元501、管理单元502、自动监控单元503、事件生成单元504、第一自动处理单元505。
其中，所述定义单元501，用于预先定义规范化处理模板。
管理单元502，用于管理当前主机中大数据的应用配置信息。
自动监控单元503，用于若当前主机中大数据的应用配置信息发生变更，根 据变更所反馈的信息对当前主机中的大数据进行自动监控。
事件生成单元504，用于若接收到告警通知，将所述告警通知生成告警事。
第一自动处理单元505，用于根据预先定义的规范化处理模板对所述告警事件进行自动化处理。
如图6所示，所述定义单元501，包括：
封装单元5011，用于封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流。
模板形成单元5012，用于将所述工作流进行固化并形成规范化处理模板。
写入单元5013，用于将所述规范化处理模板写入当前主机的应用配置库中。
如图7所示，所述管理单元502，包括：
第一获取单元5021，用于获取当前主机的应用配置库中关于大数据的配置项和配置文件。
修改单元5022，用于修改所述配置项和配置文件。
分发单元5023，用于将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。
由以上可见，通过预先定义规范化处理模板，管理当前主机中大数据的应用配置信息，若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控，若接收到告警通知，根据所述告警通知生成告警事件，根据预先定义的规范化处理模板对所述告警事件进行自动化处理，可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率。
请参阅图8，对应上述一种大数据管理方法，本申请实施例还提出一种大数据管理装置，该装置600包括：定义单元601、管理单元602、自动监控单元603、第二获取单元604、第二自动处理单元605、提供单元606。
其中，所述定义单元601，用于预先定义规范化处理模板。
管理单元602，用于管理当前主机中大数据的应用配置信息。
自动监控单元603，用于若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控。
第二获取单元604，用于获取所述当前主机中被监控的数据并提交至监控中心。
第二自动处理单元605，用于若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动处理。
提供单元606，用于提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。
由以上可见，本申请实施例通过获取所述当前主机中被监控的数据并提交至监控中心；若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理，可以准确地确定大数据分析过程中出现的异常，并自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率，通过提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息，可以满足用户自动查询关于大数据分析的需求，改善用户的使用体验。
上述大数据管理终端可以实现为一种计算机程序的形式，计算机程序可以在如图9所示的计算机设备上运行。
图9为本申请一种大数据管理设备的结构组成示意图。如图9所示，该设备700可包括：输入装置701、输出装置702、收发装置703、存储器704以及处理器705，其中：
所述输入装置701，用于接收外部访问控制设备的输入数据。具体实现中，本申请实施例所述的输入装置701可包括键盘、鼠标、光电输入装置、声音输入装置、触摸式输入装置、扫描仪等。
所述输出装置702，用于对外输出访问控制设备的输出数据。具体实现中，本申请实施例所述的输出装置702可包括显示器、扬声器、打印机等。
所述收发装置703，用于通过通信链路向其他设备发送数据或者从其他设备接收数据。具体实现中，本申请实施例的收发装置703可包括射频天线等收发器件。
所述存储器704，可以包括非易失性存储介质和内存储器。非易失性存储介质可存储操作系统和存储用于实现大数据管理方法的程序指令。内存储器为非易失性存储介质中的程序指令的运行提供环境。处理器704用于提供计算和控制能力，支撑整个大数据管理设备的运行。上述程序指令被处理器704执行时，可使得处理器704执行上述大数据管理方法。
具体地，所述处理器705，用于运行所述存储器704中存储的实现大数据管 理方法的程序，以执行如下操作：预先定义规范化处理模板；管理当前主机中大数据的应用配置信息；若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；若接收到告警通知，根据所述告警通知生成告警事件；根据预先定义的规范化处理模板对所述告警事件进行自动化处理。
在一个实施例中，所述预先定义规范化处理模板，包括：封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流；将所述工作流进行固化并形成规范化处理模板；将所述规范化处理模板写入当前主机的应用配置库中。
在一个实施例中，所述管理当前主机中大数据的应用配置信息，包括：获取当前主机的应用配置库中关于大数据的配置项和配置文件；修改所述配置项和配置文件；将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。
在一个实施例中，所述处理器704还执行如下操作：获取所述当前主机中被监控的数据并提交至监控中心；若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动处理。
在一个实施例中，所述处理器704还执行如下操作：提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。
本领域技术人员可以理解，图9中示出的大数据管理设备的实施例并不构成对大数据管理设备具体构成的限定，在其他实施例中，大数据管理设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，大数据管理设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图9所示实施例一致，在此不再赘述。
本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现上述大数据管理方法
本申请所有实施例中的单元可以通过通用集成电路，例如CPU(Central Processing Unit，中央处理器)，或通过ASIC(Application Specific Integrated Circuit，专用集成电路)来实现。
本申请实施例大数据管理方法中的步骤可以根据实际需要进行顺序调整、

Claims (21)

  1. 合并和删减。
    本申请实施例大数据管理终端中的单元可以根据实际需要进行合并、划分和删减。
    以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
  2. 一种大数据管理方法，其特征在于，所述方法包括：
    预先定义规范化处理模板；
    管理当前主机中大数据的应用配置信息；
    若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；
    若接收到告警通知，根据所述告警通知生成告警事件；
    根据预先定义的规范化处理模板对所述告警事件进行自动化处理。
  3. 如权利要求1所述的方法，其特征在于，所述预先定义规范化处理模板，包括：
    封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流；
    将所述工作流进行固化并形成规范化处理模板；
    将所述规范化处理模板写入当前主机的应用配置库中。
  4. 如权利要求1所述的方法，其特征在于，所述管理当前主机中大数据的应用配置信息，包括：
    获取当前主机的应用配置库中关于大数据的配置项和配置文件；
    修改所述配置项和配置文件；
    将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。
  5. 如权利要求1所述的方法，其特征在于，所述若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控之后，还包括：
    获取所述当前主机中被监控的数据并提交至监控中心；
    若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理。
  6. 如权利要求1所述的方法，其特征在于，所述方法还包括：
    提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。
  7. 一种大数据管理终端，其特征在于，所述终端包括：
    定义单元，用于预先定义规范化处理模板；
    管理单元，用于管理当前主机中大数据的应用配置信息；
    自动监控单元，用于若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；
    事件生成单元，用于若接收到告警通知，将所述告警通知生成告警事件；
    第一自动处理单元，用于根据预先定义的规范化处理模板对所述告警事件进行自动化处理。
  8. 如权利要求6所述的终端，其特征在于，所述定义单元，包括：
    封装单元，用于封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流；
    模板形成单元，用于将所述工作流进行固化并形成规范化处理模板；
    写入单元，用于将所述规范化处理模板写入当前主机的应用配置库中。
  9. 如权利要求6所述的终端，其特征在于，所述管理单元，包括：
    第一获取单元，用于获取当前主机的应用配置库中关于大数据的配置项和配置文件；
    修改单元，用于修改所述配置项和配置文件；
    分发单元，用于将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。
  10. 如权利要求6所述的终端，其特征在于，所述终端还包括：
    第二获取单元，用于获取所述当前主机中被监控的数据并提交至监控中心；
    第二自动处理单元，用于若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理。
  11. 如权利要求6所述的终端，其特征在于，所述终端还包括：
    提供单元，用于提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。
  12. 一种大数据管理设备，其特征在于，所述设备包括：存储器以及处理器；存储器，用于存储实现大数据管理的程序；处理器，用于运行所述存储器中存储实现大数据管理的程序，以执行以下操作：
    预先定义规范化处理模板；
    管理当前主机中大数据的应用配置信息；
    若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；
    若接收到告警通知，根据所述告警通知生成告警事件；
    根据预先定义的规范化处理模板对所述告警事件进行自动化处理。
  13. 如权利要求11所述的设备，其特征在于，所述预先定义规范化处理模板，包括：
    封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流；
    将所述工作流进行固化并形成规范化处理模板；
    将所述规范化处理模板写入当前主机的应用配置库中。
  14. 如权利要求11所述的设备，其特征在于，所述管理当前主机中大数据的应用配置信息，包括：
    获取当前主机的应用配置库中关于大数据的配置项和配置文件；
    修改所述配置项和配置文件；
    将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。
  15. 如权利要求11所述的设备，其特征在于，所述处理器还执行如下操作：
    获取所述当前主机中被监控的数据并提交至监控中心；
    若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理。
  16. 如权利要求11所述的设备，其特征在于，所述处理器还执行如下操作：
    提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。
  17. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如下步骤：
    预先定义规范化处理模板；
    管理当前主机中大数据的应用配置信息；
    若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；
    若接收到告警通知，根据所述告警通知生成告警事件；
    根据预先定义的规范化处理模板对所述告警事件进行自动化处理。
  18. 如权利要求16所述的计算机可读存储介质，其特征在于，所述预先定义规范化处理模板，包括：
    封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流；
    将所述工作流进行固化并形成规范化处理模板；
    将所述规范化处理模板写入当前主机的应用配置库中。
  19. 如权利要求16所述的计算机可读存储介质，其特征在于，所述管理当前 主机中大数据的应用配置信息，包括：
    获取当前主机的应用配置库中关于大数据的配置项和配置文件；
    修改所述配置项和配置文件；
    将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。
  20. 如权利要求16所述的计算机可读存储介质，其特征在于，还实现如下步骤：
    获取所述当前主机中被监控的数据并提交至监控中心；
    若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理。
  21. 如权利要求16所述的计算机可读存储介质，其特征在于，还实现如下步骤：
    提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。
PCT/CN2018/082376 2017-04-17 2018-04-09 一种大数据管理方法、终端、设备以及存储介质 WO2018192382A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710250209.7A CN107797875A (zh) 2017-04-17 2017-04-17 一种大数据管理方法、终端以及设备
CN201710250209.7 2017-04-17

Publications (1)

Publication Number Publication Date
WO2018192382A1 true WO2018192382A1 (zh) 2018-10-25

Family

ID=61531045

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/082376 WO2018192382A1 (zh) 2017-04-17 2018-04-09 一种大数据管理方法、终端、设备以及存储介质

Country Status (2)

Country Link
CN (1) CN107797875A (zh)
WO (1) WO2018192382A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107797875A (zh) * 2017-04-17 2018-03-13 平安科技（深圳）有限公司 一种大数据管理方法、终端以及设备
CN111274088B (zh) * 2020-01-15 2021-08-24 平安科技（深圳）有限公司 大数据平台实时监控方法、装置、介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1349164A (zh) * 2001-12-04 2002-05-15 上海复旦光华信息科技股份有限公司 主机性能监测及自动反应系统
CN101267333A (zh) * 2007-06-15 2008-09-17 南京联创科技股份有限公司 自动变更采集代理的业务系统监控方法
FR2987533A1 (fr) * 2012-02-23 2013-08-30 Aspserveur Procede et systeme d'analyse de correlation de defauts pour un centre informatique
CN105208098A (zh) * 2015-08-24 2015-12-30 用友网络科技股份有限公司 云监控系统的实现装置和方法
CN107797875A (zh) * 2017-04-17 2018-03-13 平安科技（深圳）有限公司 一种大数据管理方法、终端以及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246735B (zh) * 2013-05-13 2016-06-29 中国工商银行股份有限公司 一种异常数据处理方法及系统
US9472084B1 (en) * 2014-03-12 2016-10-18 Ca, Inc. Alarm notification based on detecting anomalies in big data
CN105069025B (zh) * 2015-07-17 2018-03-27 浪潮天元通信信息系统有限公司 一种大数据的智能聚合可视化与管控系统
CN105681128A (zh) * 2016-01-12 2016-06-15 北京中交兴路车联网科技有限公司 一种用于大数据系统状态监控的方法和装置
CN105791289A (zh) * 2016-03-02 2016-07-20 夏杰 一种基于大数据计算的网络保护的方法及系统
CN106487574A (zh) * 2016-04-01 2017-03-08 国家计算机网络与信息安全管理中心 自动化运行维护监测系统
CN106294823B (zh) * 2016-08-17 2019-03-22 上海云信留客信息科技有限公司 用于大数据清洗的异常检测和消除的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1349164A (zh) * 2001-12-04 2002-05-15 上海复旦光华信息科技股份有限公司 主机性能监测及自动反应系统
CN101267333A (zh) * 2007-06-15 2008-09-17 南京联创科技股份有限公司 自动变更采集代理的业务系统监控方法
FR2987533A1 (fr) * 2012-02-23 2013-08-30 Aspserveur Procede et systeme d'analyse de correlation de defauts pour un centre informatique
CN105208098A (zh) * 2015-08-24 2015-12-30 用友网络科技股份有限公司 云监控系统的实现装置和方法
CN107797875A (zh) * 2017-04-17 2018-03-13 平安科技（深圳）有限公司 一种大数据管理方法、终端以及设备

Also Published As

Publication number Publication date
CN107797875A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
US10891293B2 (en) Parameterized continuous query templates
US10678601B2 (en) Orchestration service for multi-step recipe composition with flexible, topology-aware, and massive parallel execution
US10572456B2 (en) Method, apparatus, and computer program product for data quality analysis
CN107908672B (zh) 基于Hadoop平台的应用报表实现方法、设备及存储介质
JP2022058578A (ja) 分散イベント処理システムにおけるデータシリアライズ
US11550876B2 (en) Automatically identifying risk in contract negotiations using graphical time curves of contract history and divergence
US8832654B2 (en) System and method for autonomous generation of software documentation
EP3086189B1 (en) System architecture for control systems via knowledge graph search
WO2020087830A1 (zh) 数据分析方法、装置、服务器及存储介质
US10049142B1 (en) Multi-step code generation for bi processes
US20180062938A1 (en) Virtual agents for facilitation of network based storage reporting
JP6389648B2 (ja) ライブ更新
US20170279970A1 (en) Dynamically generating an aggregation routine
WO2018192382A1 (zh) 一种大数据管理方法、终端、设备以及存储介质
US9489423B1 (en) Query data acquisition and analysis
CN111078695A (zh) 计算企业内元数据关联关系的方法及装置
WO2019214014A1 (zh) 网销产品管理方法、装置、终端设备及存储介质
CN111221698A (zh) 任务数据采集方法与装置
WO2024021581A1 (zh) 指标查询方法、系统、电子设备和存储介质
CN113641567B (zh) 一种数据库巡检方法、装置、电子设备及存储介质
CN114860346A (zh) 建模任务的管理方法和建模任务的运行方法
US11475018B2 (en) Determining user and data record relationships based on vector space embeddings
US20140089490A1 (en) Systems and methods for extending any service to existing systems by using an adaptive common interface
US20160364249A1 (en) Integrated visualization
US20170228450A1 (en) Analytics Enablement for Engineering Records

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18788224

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17/01/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18788224

Country of ref document: EP

Kind code of ref document: A1