WO2020000716A1 - 大数据分析系统、服务器、数据处理方法、程序和存储介质 - Google Patents

大数据分析系统、服务器、数据处理方法、程序和存储介质 Download PDF

Info

Publication number
WO2020000716A1
WO2020000716A1 PCT/CN2018/107487 CN2018107487W WO2020000716A1 WO 2020000716 A1 WO2020000716 A1 WO 2020000716A1 CN 2018107487 W CN2018107487 W CN 2018107487W WO 2020000716 A1 WO2020000716 A1 WO 2020000716A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
data processing
user
called
processing engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/107487
Other languages
English (en)
French (fr)
Inventor
蒋英明
冯朝阁
贺波
邓杰
唐浚洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020000716A1 publication Critical patent/WO2020000716A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present application relates to the field of computer technology, and in particular, to a big data analysis system, a server, a data processing method, a program, and a storage medium.
  • the storage engine is used for distributed storage of data, which has good scalability and high fault tolerance, and uses the calculation engine for parallel computing, which improves the calculation speed and performance.
  • Each storage engine or computing engine provides a separate access portal.
  • it often requires Accessing the entrances of multiple storage engines or computing engines one by one is cumbersome.
  • the main purpose of this application is to provide a big data analysis system, server, data processing method, program and storage medium, which aims to solve how to build a big data analysis platform that integrates multiple computing engines and storage engines and provide users with a unified Problems with interactive portals.
  • the big data analysis system includes a client, a server, and multiple data processing engines.
  • the server communicates with the client and each of the data processing engines. Connection, where:
  • the client is configured to send an operation request carrying preset type information to the server, and receive response result data for the operation request returned by the server;
  • the server includes a memory and a processor, and a data processing program is stored on the memory.
  • a data processing program is stored on the memory.
  • Receiving step receiving an operation request sent by the client and carrying preset type information, where the preset type information includes at least one piece of information;
  • Reading step reading the information fragment in the preset type information, and identifying whether the information fragment contains call identification information;
  • First execution step when the call identification information is identified in an information fragment, sending the information fragment to a corresponding data processing engine to be called for data processing, and obtaining a first response result corresponding to the information fragment data;
  • Second execution step when the call identification information is not recognized in an information segment, perform an operation corresponding to the operation request based on the information segment, and use the operation result as a second response result corresponding to the information segment data;
  • a feedback step returning the first response result data and / or the second response result data corresponding to all pieces of information in the preset type information to the client as the response result data corresponding to the operation request;
  • the data processing engine is configured to receive the information fragment sent by the server, perform data processing according to the information fragment, and return a data processing result to the server.
  • the present application also proposes a data processing method, which includes:
  • Receiving step receiving an operation request sent by a client and carrying preset type information, where the preset type information includes at least one piece of information;
  • Reading step reading the information fragment in the preset type information, and identifying whether the information fragment contains call identification information;
  • First execution step when the call identification information is identified in an information fragment, sending the information fragment to a corresponding data processing engine to be called for data processing, and obtaining a first response result corresponding to the information fragment data;
  • Second execution step when the call identification information is not recognized in an information segment, perform an operation corresponding to the operation request based on the information segment, and use the operation result as a second response result corresponding to the information segment data;
  • a feedback step returning first response result data and / or second response result data corresponding to all pieces of information in the preset type information to the client as response result data corresponding to the operation request.
  • the present application also proposes a server.
  • the server includes a memory and a processor, and the memory stores a data processing program.
  • Receiving step receiving an operation request sent by the client and carrying preset type information, where the preset type information includes at least one piece of information;
  • Reading step reading the information fragment in the preset type information, and identifying whether the information fragment contains call identification information;
  • First execution step when the call identification information is identified in an information fragment, sending the information fragment to a corresponding data processing engine to be called for data processing, and obtaining a first response result corresponding to the information fragment data;
  • Second execution step when the call identification information is not recognized in an information segment, perform an operation corresponding to the operation request based on the information segment, and use the operation result as a second response result corresponding to the information segment data;
  • a feedback step returning first response result data and / or second response result data corresponding to all pieces of information in the preset type information to the client as response result data corresponding to the operation request.
  • the present application also proposes a data processing program, the data processing program includes: a receiving module, configured to receive an operation request sent by the client and carrying preset type information, the preset type The information includes at least one piece of information;
  • a reading module configured to read an information piece in the preset type of information and identify whether the information piece contains call identification information
  • a first execution module configured to: when the call identification information is identified in an information segment, send the information segment to a corresponding data processing engine to be called for data processing, and obtain a first corresponding to the information segment Response result data;
  • a second execution module configured to execute an operation corresponding to the operation request based on the information fragment when the call identification information is not identified in an information fragment, and use the operation result as a second corresponding to the information fragment Response result data;
  • the feedback module is configured to return the first response result data and / or the second response result data corresponding to all information pieces in the preset type information to the client as the response result data corresponding to the operation request.
  • the present application also proposes a computer-readable storage medium, where the computer-readable storage medium stores a data processing program, and the data processing program may be executed by at least one processor, so that the at least one A processor performs the following steps:
  • Receiving step receiving an operation request sent by the client and carrying preset type information, where the preset type information includes at least one piece of information;
  • Reading step reading the information piece in the preset type information, and identifying whether the information piece contains call identification information;
  • First execution step when the call identification information is identified in an information fragment, sending the information fragment to a corresponding data processing engine to be called for data processing, and obtaining a first response result corresponding to the information fragment data;
  • Second execution step when the call identification information is not recognized in an information segment, perform an operation corresponding to the operation request based on the information segment, and use the operation result as a second response result corresponding to the information segment data;
  • a feedback step returning first response result data and / or second response result data corresponding to all pieces of information in the preset type information to the client as response result data corresponding to the operation request.
  • the big data analysis system of the present application includes a client, a server, and multiple data processing engines.
  • the server is used to receive the operation request sent by the client; read the information fragment in the preset type information and identify whether the information fragment contains the call identification information; when the call identification information is identified, it is determined that the identified call identification information corresponds to
  • the data processing engine to be called sends the information segment corresponding to the call identification information to the data processing engine to be called for data processing, and receives the data processing result returned by the data processing engine to be called as the first response result data corresponding to the information segment; when When the call identification information is not recognized, the operation corresponding to the operation request is performed based on the information segment, and the operation result of the operation is used as the second response result data corresponding to the information segment; the response result data corresponding to the operation request is returned To the client.
  • the big data analysis system of the present application integrates multiple data processing engines to provide users with a unified interaction portal. Users can call multiple data processing engines for big data analysis by logging in to the interaction portal through a client. Processing, which simplifies user operations and improves the efficiency of big data analysis and processing.
  • FIG. 1 is a schematic diagram of an optional system architecture of the big data analysis system of the present application
  • FIG. 2 is a schematic diagram of an operating environment of the first, second, and third embodiments of a data processing program of this application;
  • FIG. 3 is a program module diagram of a first embodiment of a data processing program of this application.
  • FIG. 4 is a program module diagram of a second embodiment of a data processing program of this application.
  • FIG. 5 is a program module diagram of a third embodiment of a data processing program of the present application.
  • FIG. 6 is a schematic flowchart of a first embodiment of a data processing method of this application.
  • FIG. 7 is a schematic flowchart of a second embodiment of a data processing method of this application.
  • FIG. 8 is a schematic flowchart of a third embodiment of a data processing method of this application.
  • This application proposes a big data analysis system.
  • FIG. 1 is a schematic diagram of an optional system architecture of a big data analysis system of the present application.
  • the big data analysis system includes a server 1, a client 2, a plurality of data processing engines 3, and a file system 4, the server 1 and the client 2 are communicatively connected, and the server 1
  • the multiple data processing engines 3 and the file system 4 are all communicatively connected to each other, where:
  • the client 2 is used to provide a user operation interface for the user to initiate an operation request carrying preset type information through the operation interface.
  • the client 2 is further configured to send an operation request carrying preset type information to the server 1, and receive response result data for the operation request returned by the server 1;
  • the server 1 includes a memory and a processor, and a data processing program is stored on the memory, and is configured to receive an operation request sent by the client 2 and carry preset type information, and perform a corresponding operation for the operation request, and / or , Call the data processing engine 3 for data processing to generate response result data and return to the client 2.
  • the data processing engine 3 is configured to receive the information segment sent by the server 1, perform data processing according to the information segment, and return a data processing result to the server 1.
  • the data processing engine 3 includes a calculation engine (for example, Shell, Spark, jdbc, Python, R, etc.) and a storage engine (for example, hive, hbase, RMDB, etc.), where:
  • the calculation engine is used to calculate and analyze the data.
  • the storage engine is used to query, read, and write data.
  • the file system 4 may be a local file system or a distributed file system (for example, HDFS).
  • the file system 4 is used for storing big data and provides data processing engine 3 with data for data processing.
  • the file system 4 may be provided in the data processing engine 3, or may be provided separately from the data processing engine 3 and the server 2.
  • This application proposes a data processing program.
  • FIG. 2 is a schematic diagram of an operating environment of the first, second, and third embodiments of the data processing program 10 of the present application.
  • the data processing program 10 is installed and run on the server 1.
  • the server 1 may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a server.
  • the server 1 may include, but is not limited to, a memory 11, a processor 12, and a display 13.
  • FIG. 2 only shows the server 1 with components 11-13, but it should be understood that it is not required to implement all the components shown, and more or fewer components may be implemented instead.
  • the memory 11 may be an internal storage unit of the server 1 in some embodiments, such as a hard disk or a memory of the server 1.
  • the memory 11 may also be an external storage device of the server 1 in other embodiments, for example, a distributed storage device. Further, the memory 11 may include both an internal storage unit of the server 1 and an external storage device.
  • the memory 11 is used to store application software installed on the server 1 and various types of data, such as program codes of the data processing program 10.
  • the memory 11 may also be used to temporarily store data that has been output or is to be output.
  • the processor 12 may be a central processing unit (CPU), a microprocessor or other data processing chip in some embodiments, and is configured to run program codes or process data stored in the memory 11, for example, to execute a data processing program. 10 etc.
  • CPU central processing unit
  • microprocessor or other data processing chip in some embodiments, and is configured to run program codes or process data stored in the memory 11, for example, to execute a data processing program. 10 etc.
  • the display 13 may be an LED display, a liquid crystal display, a touch-type liquid crystal display, an OLED (Organic Light-Emitting Diode) touch device, or the like.
  • the display 13 is used to display information processed in the server 1 and to display a visualized user interface.
  • the components 11-13 of the server 1 communicate with each other through a program bus.
  • FIG. 3 is a program module diagram of the first embodiment of the data processing program 10 of the present application.
  • the data processing program 10 may be divided into one or more modules, and the one or more modules are stored in the memory 11 and stored by one or more processors (the processor 12 in this embodiment). Execute to complete this application.
  • the data processing program 10 may be divided into a receiving module 101, a reading module 102, a first execution module 103, a second execution module 104, and a feedback module 105.
  • the module referred to in this application refers to a series of computer program instruction segments capable of performing specific functions, which is more suitable than the program to describe the execution process of the data processing program 10 in the server 1, wherein:
  • the receiving module 101 is configured to receive an operation request sent by the client and carries preset type information, where the preset type information includes at least one piece of information.
  • the operation request includes a data read operation request, a data write operation request, a data query operation request, a data sharing operation request, a data calculation analysis operation request, and the like.
  • the preset type information carried by the operation request includes data information (for example, a file name, etc.) to be read.
  • the preset type information carried by the operation request includes data to be written.
  • the preset type information that it carries includes data information to be queried, query conditions, and the like.
  • the preset type information carried by the operation request includes data information to be shared and a range of data sharing.
  • the preset type information carried by the operation request includes a data calculation analysis code.
  • the preset type information includes at least one piece of information, and a method for dividing the piece of information may be set according to a specific application scenario.
  • the data processing program 10 further includes an identity verification module (not shown in the figure), which is used to:
  • the user identity information is verified according to a predetermined identity verification rule, and the obtained verification result is fed back to the client.
  • the above user identity information includes user identification information and user identity characteristic information, wherein the user identity characteristic information includes user name information, user password information (the user password information can be a U shield, an electronic certificate, etc. as a storage medium), a dynamic code, etc. .
  • the user identity characteristic information may further include at least one of user biometric information and identity document information.
  • the user biometric information includes fingerprint information, face information, iris information, voiceprint information and other biometric information used to uniquely identify the user.
  • the above ID information includes ID number, passport number, etc.
  • the above authentication rules include:
  • the standard user identification characteristic information corresponding to the user identification information is searched. According to the found standard user identity characteristic information, verify the user identity characteristic information in the identity information. If the verification results are the same, the verification result is output as a successful verification, or if the verification results are different, the verification is output. The result is a verification failure.
  • the reading module 102 is configured to read an information segment in the preset type information, and identify whether the information segment includes call identification information.
  • the call identification information includes identification information of a data processing engine to be called (for example, a tag of the data processing engine to be called).
  • a first execution module 103 is configured to: when the call identification information is identified in an information segment, send the information segment to a corresponding data processing engine to be called for data processing, and obtain a first corresponding to the information segment. A response result data.
  • the preset type information is a data calculation analysis code
  • the data calculation analysis code includes a plurality of data calculation analysis code fragments.
  • the call identification information is identified in a data calculation analysis code fragment, according to a predetermined mapping relationship between the call identification information and the data processing engine, it is determined that the identified data processing engine corresponding to the call identification information is
  • the calculation engine A sends the data calculation analysis code segment corresponding to the call identification information to the calculation engine A, and the calculation engine A parses the data calculation analysis code segment and performs data according to the data calculation analysis code segment (the data can be sourced Calculation and analysis in a memory of a calculation engine, such as a local file system or a distributed file system, and returns the result of the calculation and analysis to the first execution module 103.
  • the preset type information is a data query code
  • the data query code includes a plurality of data query code fragments.
  • Engine C sends a data query code segment corresponding to the call identification information to storage engine C, and storage engine C parses the data query code segment and performs data query according to the data query code, and returns the query result to the first An execution module 103.
  • the second execution module 104 is configured to execute an operation corresponding to the operation request based on the information fragment when the call identification information is not identified in an information fragment, and use the operation result as the first corresponding to the information fragment. Second response result data.
  • the operation corresponding to the operation request is determined according to a predetermined mapping relationship between the operation request and the operation.
  • the step of performing the operation corresponding to the operation request based on the information segment specifically includes: reading the data to be read according to data information to be read in the information segment.
  • the corresponding operation is writing data to a memory (for example, a file system).
  • the step of performing the operation corresponding to the operation request based on the information segment specifically includes: writing data to be written in the information segment into a memory.
  • the step of performing the operation corresponding to the operation request based on the information segment specifically includes: querying the data to be queried according to data information to be queried in the information segment, a query condition, and the like.
  • the step of performing the operation corresponding to the operation request based on the information segment specifically includes: generating a sharing link path of the data to be shared according to the data information to be shared in the information segment (the sharing link path is used to indicate the data to be shared). Storage address), and then, according to the predetermined mapping relationship between the sharing range and the sharing interface, determining a sharing range (for example, sharing to everyone and sharing to a user group) of the data to be shared in the preset type of information. Share interface, and add the generated share link path to the share interface.
  • the corresponding operation is to perform calculation and / or analysis on the data.
  • the step of performing the operation corresponding to the operation request based on the information segment specifically includes: analyzing the data calculation analysis code segment in the information segment, and performing data calculation and / or analysis processing according to the calculation analysis code segment.
  • the feedback module 105 is configured to return the first response result data and / or the second response result data corresponding to all pieces of information in the preset type information to the client as response result data corresponding to the operation request.
  • the big data analysis system of the present application includes a client, a server, and multiple data processing engines.
  • the server is used to receive the operation request sent by the client; read the information fragment in the preset type information, and identify whether the information fragment contains the call identification information; when the call identification information is identified, send the information fragment to the corresponding waiting Invoking a data processing engine for data processing, and obtaining first response result data corresponding to the information segment; when the call identification information is not identified, performing an operation corresponding to the operation request based on the information segment, and using the operation result of the operation as the The second response result data corresponding to the information segment; and returning the response result data corresponding to the operation request to the client.
  • the big data analysis system of the present application integrates multiple data processing engines to provide users with a unified interaction portal. Users can call multiple data processing engines for big data analysis by logging in to the interaction portal through a client. Processing, which simplifies user operations and improves the efficiency of big data analysis and processing.
  • the data processing program 10 further includes a review module (not shown in the figure), and the review module is configured to:
  • the user behavior data is recorded in real time, and the user behavior data is saved to a user behavior log.
  • the identification information of the user behavior log to be reviewed is obtained from the log review instruction, and the corresponding user behavior log to be reviewed is found according to the identification information.
  • the definition of the above abnormal behavior data may be set according to a specific application scenario.
  • the user behavior log is reviewed, so that the abnormal behavior of the user can be detected in time, and a prompt message is issued to further improve the security of the big data analysis system.
  • FIG. 4 is a program module diagram of a second embodiment of a data processing program 10 of the present application.
  • the data processing program of this embodiment includes modules 101 to 105 of the first embodiment, and the difference between this embodiment and the first embodiment is that in this embodiment, the operation request further includes user identification information.
  • the data processing program 10 of this embodiment further includes a first query module 106, a second query module 107, and a determination module 108, where:
  • the first query module 106 is configured to query the user role information corresponding to the user identification information in the operation request according to a mapping relationship between the predetermined user identification information and the user role information.
  • the user role information includes a user role identifier, a user role name, or a user role short name.
  • the second querying module 107 is configured to query the operation permission set corresponding to the user according to the mapping relationship between the predetermined user role information and the operation permission set.
  • permission settings can be set for each user role in advance, for example, each user role is set with a corresponding operation permission set, and the user role information corresponding to the user role is associated with and mapped with the corresponding operation permission set, and the The mapping relationship between the user role information and the corresponding operation authority set (for example, a mapping table between the user role information and the corresponding operation authority set is saved).
  • the so-called operation authority refers to the right to operate an operation object, and each operation authority records a mapping relationship between an operation object and an operation. For example, if you want to set the read permission of a file, you can store the mapping between the identification information of the file and the read operation as an operation permission, and add the operation permission to the corresponding operation permission set . If you want to set the sharing permission of a file, you can store the mapping relationship between the identification information of the file, the file sharing operation, and the sharing scope (for example, within the user group) as an operation permission, and save the operation. The permission is added to the corresponding operation permission set.
  • the mapping relationship between the identification information of the resource configuration information and the editing operation can be stored as an operation permission, and the operation permission is added to the corresponding operation permission set.
  • the editing authority for the resource configuration information corresponding to some computing engines for example, Shell, Python
  • At least one operation authority corresponding to a user role forms an operation authority set of the user role.
  • a user group may also be set, and the user group includes at least one user member.
  • User group information corresponding to each user group is stored.
  • the user group information includes user group identification information, user identification information of user group members, and user role information of user group members.
  • a corresponding group role can be configured for the user, and the operation permission set corresponding to the group role can be set (for example, the operation permission set includes sharing permission in the group, reading in the group Write permission, etc.).
  • the group role information may be stored in the user role information, and the operation authority set corresponding to the group role information is also stored in the operation authority set corresponding to the user role.
  • the determining module 108 is configured to determine whether the user has the operation authority of the operation corresponding to the operation request according to the operation authority set corresponding to the user, the operation corresponding to the operation request, and preset type information.
  • the reading module 102 is called.
  • the response result data of the execution failure is fed back to the client.
  • the operation authority set corresponding to the user is queried for the operation authority matching the operation corresponding to the operation request and the preset type information.
  • the matching operation authority is found, it is determined that the user has the operation corresponding to the operation request.
  • the matching operation authority is not queried, it is determined that the user does not have the operation authority of the operation corresponding to the operation request.
  • the following uses a file sharing permission as an example to explain how to determine whether the operation permission matches the operation and preset type information corresponding to the operation request.
  • the sharing permission of the above file is represented by the mapping relationship between the identification information of the file, the file sharing operation, and the sharing scope.
  • This embodiment sets the corresponding operation authority for the user according to the user role. When the user has the operation authority for the operation corresponding to the operation request, the subsequent steps are performed; otherwise, the subsequent steps are refused.
  • This embodiment implements security management and control of user operations, and improves the security of the big data analysis system.
  • FIG. 5 is a program module diagram of a third embodiment of the data processing program 10 of the present application.
  • the first execution module 103 includes a determination unit 1031, a query unit 1032, a determination unit 1033, and a result output unit 1034. Among them:
  • a determining unit 1031 is configured to, when the call identification information is identified in an information segment, determine a waiting list corresponding to the identified call identification information according to a predetermined mapping relationship between the call identification information and a data processing engine. Call the data processing engine.
  • the querying unit 1032 is configured to query the resource configuration information corresponding to the user identification information in the operation request according to a predetermined mapping relationship between the user identification information and the resource configuration information.
  • the resource configuration information of the user may be set and saved in advance according to the user role information and the user group information of the user, where the setting of the user role and the user group may refer to the second embodiment.
  • the above resource configuration information includes configuration item information corresponding to at least one configuration item.
  • Each configuration item can be configured for a configuration object, and the configuration object includes a calling right (for example, a right to call a data processing engine) and a computing engine. Or the number of processes executed by the storage engine, the authentication information of the computing engine or the storage engine, and so on.
  • the above configuration item information includes configuration item identification information (for example, the name or number of the configuration item or an abbreviation, etc.), and the value of the configuration item (the value types here include numeric, text, address, and selection types).
  • Each configuration item can be set for a configuration object (that is, assign a value to the configuration item of a configuration item), and the configuration object includes a callable resource (for example, a callable computing engine or a storage engine), a call to a calculation Number of processes executed by the engine or storage engine, authentication information of the calculation engine or storage engine, etc.
  • a callable resource for example, a callable computing engine or a storage engine
  • a call to a calculation Number of processes executed by the engine or storage engine authentication information of the calculation engine or storage engine, etc.
  • the user can edit some configuration items in the above resource configuration information based on the operation authority possessed by the user.
  • the judging unit 1033 is configured to judge whether to invoke the data processing engine to be called according to the queried resource configuration information and a predetermined judgment rule.
  • the determining unit 1033 is specifically configured to:
  • the call authority information includes identification information of a callable data processing engine.
  • the identification information of the data processing engine to be called is queried in the call permission information. If found, it is determined that the user has the right to call the data processing engine to be called; otherwise, it is determined that it does not have the right to call the data processing engine to be called.
  • the authentication information corresponding to the data processing engine to be called includes identity information of the user corresponding to the data processing engine to be called, for example, identity information such as user name, user password, and user key registered on the data processing engine platform to be called. .
  • a result output unit 1034 is configured to: when it is determined to call the data processing engine to be called, send an information piece corresponding to the call identification information to the data processing engine to be called for data processing, and receive a return from the data processing engine The data processing result is used as the first response result data corresponding to the information segment. Alternatively, when it is determined that the data processing engine to be called is not called, outputting the first response result data corresponding to the information fragment is an execution failure.
  • the data processing program 10 further includes a monitoring module (not shown in the figure), the monitoring module is configured to:
  • a threshold of the number of interactive processes corresponding to the data processing engine to be called is obtained.
  • the number of interactive processes between the server and the data processing engine to be called is obtained in real time or at regular intervals, and it is monitored whether the number of interactive processes is greater than or equal to the threshold of the number of interactive processes.
  • the number of interactive processes between calling the data processing engine is less than the threshold of the number of interactive processes, and if not, it returns to continue monitoring whether the number of interactive processes is greater than or equal to the threshold of the number of interactive processes.
  • the present application proposes a data processing method. Applies to server.
  • FIG. 6 is a schematic flowchart of a first embodiment of a data processing method of the present application.
  • the method includes:
  • Step S10 Receive an operation request carrying preset type information sent by the client, where the preset type information includes at least one piece of information.
  • the operation request includes a data read operation request, a data write operation request, a data query operation request, a data sharing operation request, a data calculation analysis operation request, and the like.
  • the preset type information carried by the operation request includes data information (for example, a file name, etc.) to be read.
  • the preset type information carried by the operation request includes data to be written.
  • the preset type information that it carries includes data information to be queried, query conditions, and the like.
  • the preset type information carried by the operation request includes data information to be shared and a range of data sharing.
  • the preset type information carried by the operation request includes a data calculation analysis code.
  • the preset type information includes at least one piece of information, and a method for dividing the piece of information may be set according to a specific application scenario.
  • the method before step S10, the method further includes:
  • the user identity information is verified according to a predetermined identity verification rule, and the obtained verification result is fed back to the client.
  • the above user identity information includes user identification information and user identity characteristic information, wherein the user identity characteristic information includes user name information, user password information (the user password information can be a U shield, an electronic certificate, etc. as a storage medium), a dynamic code, etc. .
  • the user identity characteristic information may further include at least one of user biometric information and identity document information.
  • the user biometric information includes fingerprint information, face information, iris information, voiceprint information and other biometric information used to uniquely identify the user.
  • the above ID information includes ID number, passport number, etc.
  • the above authentication rules include:
  • the standard user identification characteristic information corresponding to the user identification information is searched. According to the found standard user identity characteristic information, verify the user identity characteristic information in the identity information. If the verification results are the same, the verification result is output as a successful verification, or if the verification results are different, the verification is output. The result is a verification failure.
  • Step S20 Read the information segment in the preset type information, and identify whether the information segment contains call identification information.
  • the call identification information includes identification information of a data processing engine to be called (for example, a tag of the data processing engine to be called).
  • step S30 when the call identification information is identified in an information segment, the information segment is sent to a corresponding data processing engine to be called for data processing, and first response result data corresponding to the information segment is obtained.
  • the preset type information is a data calculation analysis code
  • the data calculation analysis code includes a plurality of data calculation analysis code fragments.
  • the call identification information is identified in a data calculation analysis code fragment, according to a predetermined mapping relationship between the call identification information and the data processing engine, it is determined that the identified data processing engine corresponding to the call identification information is
  • the calculation engine A sends the data calculation analysis code segment corresponding to the call identification information to the calculation engine A, and the calculation engine A parses the data calculation analysis code segment and performs data according to the data calculation analysis code segment (the data can be sourced Calculation and analysis in a storage of a calculation engine, such as a local file system or a distributed file system), and returns the results of the calculation and analysis to the server.
  • the preset type information is a data query code
  • the data query code includes a plurality of data query code fragments.
  • Engine C sends a data query code segment corresponding to the call identification information to storage engine C, and storage engine C parses the data query code segment and performs data query according to the data query code, and returns the query result to the server .
  • step S40 when the call identification information is not identified in an information segment, the operation corresponding to the operation request is performed based on the information segment, and the operation result is used as the second response result data corresponding to the information segment.
  • the operation corresponding to the operation request is determined according to a predetermined mapping relationship between the operation request and the operation.
  • the step of performing the operation corresponding to the operation request based on the information segment specifically includes: reading the data to be read according to data information to be read in the information segment.
  • the corresponding operation is writing data to a memory (for example, a file system).
  • the step of performing the operation corresponding to the operation request based on the information segment specifically includes: writing data to be written in the information segment into a memory.
  • the step of performing the operation corresponding to the operation request based on the information segment specifically includes: querying the data to be queried according to data information to be queried in the information segment, a query condition, and the like.
  • the step of performing the operation corresponding to the operation request based on the information segment specifically includes: generating a sharing link path of the data to be shared according to the data information to be shared in the information segment (the sharing link path is used to indicate the data to be shared). Storage address), and then, according to the predetermined mapping relationship between the sharing range and the sharing interface, determining a sharing range (for example, sharing to everyone and sharing to a user group) of the data to be shared in the preset type of information. Share interface, and add the generated share link path to the share interface.
  • the corresponding operation is to perform calculation and / or analysis on the data.
  • the step of performing the operation corresponding to the operation request based on the information segment specifically includes: analyzing the data calculation analysis code segment in the information segment, and performing data calculation and / or analysis processing according to the calculation analysis code segment.
  • step S50 the first response result data and / or the second response result data corresponding to all information pieces in the preset type information are returned to the client as response result data corresponding to the operation request.
  • This application receives the operation request sent by the client; reads the information fragment in the preset type of information, and identifies whether the information fragment contains the call identification information; when the call identification information is identified, the information fragment is sent to the corresponding data to be called
  • the processing engine performs data processing and obtains the first response result data corresponding to the information segment; when the call identification information is not recognized, the operation corresponding to the operation request is performed based on the information segment, and the operation result of the operation is used as the information segment Corresponding second response result data; and returning the response result data corresponding to the operation request to the client.
  • the big data analysis system of the present application integrates multiple data processing engines to provide users with a unified interaction portal. Users can call multiple data processing engines for big data analysis by logging in to the interaction portal through a client. Processing, which simplifies user operations and improves the efficiency of big data analysis and processing.
  • the method further includes the following steps:
  • the user behavior data is recorded in real time, and the user behavior data is saved to a user behavior log.
  • the identification information of the user behavior log to be reviewed is obtained from the log review instruction, and the corresponding user behavior log to be reviewed is found according to the identification information.
  • the definition of the above abnormal behavior data may be set according to a specific application scenario.
  • the user behavior log is reviewed, so that the abnormal behavior of the user can be detected in time, and a prompt message is issued to further improve the security of the big data analysis system.
  • FIG. 7 is a schematic flowchart of a second embodiment of a data processing method of the present application.
  • the data processing method of this embodiment includes steps S10 to S50 of the first embodiment, and the difference between this embodiment and the first embodiment is that in this embodiment, the operation request further includes user identification information.
  • the data processing method in this embodiment further includes the following steps after step S10 and before step S20:
  • Step S60 Query the user role information corresponding to the user identification information in the operation request according to a predetermined mapping relationship between the user identification information and the user role information.
  • the user role information includes a user role identifier, a user role name, or a user role short name.
  • Step S70 Query the operation authority set corresponding to the user according to the mapping relationship between the predetermined user role information and the operation authority set.
  • permission settings can be set for each user role in advance, for example, each user role is set with a corresponding operation permission set, and the user role information corresponding to the user role is associated with and mapped with the corresponding operation permission set, and the The mapping relationship between the user role information and the corresponding operation authority set (for example, a mapping table between the user role information and the corresponding operation authority set is saved).
  • the so-called operation authority refers to the right to operate an operation object, and each operation authority records a mapping relationship between an operation object and an operation. For example, if you want to set the read permission of a file, you can store the mapping between the identification information of the file and the read operation as an operation permission, and add the operation permission to the corresponding operation permission set . If you want to set the sharing permission of a file, you can store the mapping relationship between the identification information of the file, the file sharing operation, and the sharing scope (for example, within the user group) as an operation permission, and save the operation. The permission is added to the corresponding operation permission set.
  • the mapping relationship between the identification information of the resource configuration information and the editing operation can be stored as an operation permission, and the operation permission is added to the corresponding operation permission set.
  • the editing authority for the resource configuration information corresponding to some computing engines for example, Shell, Python
  • At least one operation authority corresponding to a user role forms an operation authority set of the user role.
  • a user group may also be set, and the user group includes at least one user member.
  • User group information corresponding to each user group is stored.
  • the user group information includes user group identification information, user identification information of user group members, and user role information of user group members.
  • a corresponding group role can be configured for the user, and the operation permission set corresponding to the group role can be set (for example, the operation permission set includes sharing permission in the group, reading in the group Write permission, etc.).
  • the group role information may be stored in the user role information, and the operation authority set corresponding to the group role information is also stored in the operation authority set corresponding to the user role.
  • Step S80 Determine whether the user has the operation authority of the operation corresponding to the operation request according to the operation authority set corresponding to the user, the operation corresponding to the operation request, and preset type information.
  • the operation authority set corresponding to the user is queried for the operation authority matching the operation corresponding to the operation request and the preset type information.
  • the matching operation authority is found, it is determined that the user has the operation corresponding to the operation request.
  • the matching operation authority is not queried, it is determined that the user does not have the operation authority of the operation corresponding to the operation request.
  • the following uses a file sharing permission as an example to explain how to determine whether the operation permission matches the operation and preset type information corresponding to the operation request.
  • the sharing permission of the above file is represented by the mapping relationship between the identification information of the file, the file sharing operation, and the sharing scope.
  • step S90 when the user has the operation authority of the operation corresponding to the operation request, go to step S20.
  • the response result data of the execution failure is fed back to the client.
  • This embodiment sets the corresponding operation authority for the user according to the user role. When the user has the operation authority for the operation corresponding to the operation request, the subsequent steps are performed; otherwise, the subsequent steps are refused.
  • This embodiment implements security management and control of user operations, and improves the security of the big data analysis system.
  • FIG. 8 is a schematic flowchart of a third embodiment of a data processing method of the present application.
  • the step S30 includes:
  • Step S31 When the call identification information is identified in an information segment, determine the data to be called corresponding to the identified call identification information according to the mapping relationship between the call identification information determined in advance and the data processing engine. engine.
  • Step S32 Query the resource configuration information corresponding to the user identification information in the operation request according to a predetermined mapping relationship between the user identification information and the resource configuration information.
  • the resource configuration information of the user may be set and saved in advance according to the user role information and the user group information of the user, where the setting of the user role and the user group may refer to the second embodiment.
  • the above resource configuration information includes configuration item information corresponding to at least one configuration item.
  • Each configuration item can be configured for a configuration object, and the configuration object includes a calling right (for example, a right to call a data processing engine) and a computing engine. Or the number of processes executed by the storage engine, the authentication information of the computing engine or the storage engine, and so on.
  • the above configuration item information includes configuration item identification information (for example, the name or number of the configuration item or an abbreviation, etc.), and the value of the configuration item (the value types here include numeric, text, address, and selection types).
  • Each configuration item can be set for a configuration object (that is, assign a value to the configuration item of a configuration item), and the configuration object includes a callable resource (for example, a callable computing engine or storage engine), a call to a calculation Number of processes executed by the engine or storage engine, authentication information of the calculation engine or storage engine, etc.
  • a callable resource for example, a callable computing engine or storage engine
  • a call to a calculation Number of processes executed by the engine or storage engine authentication information of the calculation engine or storage engine, etc.
  • the user can edit some configuration items in the above resource configuration information based on the operation authority possessed by the user.
  • Step S33 Determine whether to invoke the data processing engine to be invoked according to the queried resource configuration information and a predetermined determination rule.
  • the step S33 specifically includes:
  • the call authority information includes identification information of a callable data processing engine.
  • the identification information of the data processing engine to be called is queried in the call permission information. If found, it is determined that the user has the right to call the data processing engine to be called; otherwise, it is determined that it does not have the right to call the data processing engine to be called.
  • the authentication information corresponding to the data processing engine to be called includes identity information of the user corresponding to the data processing engine to be called, for example, identity information such as user name, user password, and user key registered on the data processing engine platform to be called. .
  • Step S34 When it is determined to call the data processing engine to be called, send an information piece corresponding to the call identification information to the data processing engine to be called for data processing, and receive a data processing result returned by the data processing engine As the first response result data corresponding to the information piece.
  • Step S35 When it is determined that the data processing engine to be called is not called, outputting the first response result data corresponding to the information fragment is an execution failure.
  • the method further includes:
  • a threshold of the number of interactive processes corresponding to the data processing engine to be called is obtained.
  • the number of interactive processes between the server and the data processing engine to be called is obtained in real time or periodically, and it is monitored whether the number of interactive processes is greater than or equal to the threshold of the number of interactive processes, and if so, stop establishing a new interactive process until the server and the pending The number of interactive processes between calling the data processing engine is less than the threshold of the number of interactive processes, and if not, it returns to continue monitoring whether the number of interactive processes is greater than or equal to the threshold of the number of interactive processes.
  • the present application further provides a computer-readable storage medium, where the computer-readable storage medium stores a data processing program, and the data processing program can be executed by at least one processor, so that the at least one processor executes Steps of the data processing method in any of the above embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Storage Device Security (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开一种大数据分析系统、服务器、数据处理方法、程序和存储介质。本申请大数据分析系统包括客户端、服务器及多个数据处理引擎。其中服务器用于识别信息片段中是否包含调用标识信息；当识别到调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并接收返回的数据处理结果。相较于现有技术，本申请大数据分析系统集成了多个数据处理引擎，为用户提供一个统一的交互入口，简化了用户的操作。

Description

大数据分析系统、服务器、数据处理方法、程序和存储介质
优先权申明
本申请基于巴黎公约申明享有2018年06月28日递交的申请号为CN 201810682823.5、名称为“大数据分析系统、服务器、数据处理方法和存储介质”中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本申请涉及计算机技术领域，特别涉及一种大数据分析系统、服务器、数据处理方法、程序和存储介质。
背景技术
随着科技的快速发展，各行各业需要处理的数据量日益庞大，传统的数据处理已无法适应人们的需求。大数据技术的产生解决了这一问题，例如，利用存储引擎对数据进行分布式存储，扩展性好、容错性高，利用计算引擎进行并行计算，提高了计算速度及性能。
随着大数据技术的发展，产生了大量的存储引擎及计算引擎，每个存储引擎或计算引擎均提供单独的访问入口，当需要运用多个存储引擎或计算引擎进行大数据处理时，往往需要逐一的访问多个存储引擎或计算引擎的入口，操作繁琐。
如何构建一个集成多个计算引擎及存储引擎的大数据分析平台以为用户提供统一的的交互式入口已成为一个亟待解决的问题。
发明内容
本申请的主要目的是提供一种大数据分析系统、服务器、数据处理方法、程序和存储介质，旨在解决如何构建一个集成多个计算引擎及存储引擎的大数据分析平台并为用户提供统一的交互式入口的问题。
为实现上述目的，本申请提出一种大数据分析系统，所述大数据分析系统包括客户端、服务器及多个数据处理引擎，所述服务器分别与所述客户端及各个所述数据处理引擎通信连接，其中：
所述客户端用于向所述服务器发送携带预设类型信息的操作请求，并接收所述服务器返回的针对所述操作请求的响应结果数据；
所述服务器包括存储器和处理器，所述存储器上存储有数据处理程序，所述数据处理程序被所述处理器执行时实现如下步骤：
接收步骤：接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端；
所述数据处理引擎用于接收所述服务器发送的所述信息片段，根据所述信息片段进行数据处理，并返回数据处理结果至服务器。
此外，为实现上述目的，本申请还提出一种数据处理方法，该方法包括：
接收步骤：接收客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
此外，为实现上述目的，本申请还提出一种服务器，所述服务器包括存储器和处理器，所述存储器上存储有数据处理程序
所述数据处理程序被所述处理器执行时实现如下步骤：
接收步骤：接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
此外，为实现上述目的，本申请还提出一种数据处理程序，所述数据处理程序包括：接收模块，用于接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
读取模块，用于读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
第一执行模块，用于当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
第二执行模块，用于当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
反馈模块，用于将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
此外，为实现上述目的，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有数据处理程序，所述数据处理程序可被至少一个处理器执行，以使所述至少一个处理器执行如下步骤：
接收步骤：接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调 用标识信息；
第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
本申请大数据分析系统包括客户端、服务器及多个数据处理引擎。其中服务器用于接收客户端发送的操作请求；读取预设类型信息中的信息片段，并识别信息片段中是否包含调用标识信息；当识别到调用标识信息时，确定识别到的调用标识信息对应的待调用数据处理引擎，将调用标识信息对应的信息片段发送至待调用数据处理引擎进行数据处理，并接收待调用数据处理引擎返回的数据处理结果作为信息片段对应的第一响应结果数据；当未识别到所述调用标识信息时，基于信息片段执行操作请求对应的操作，并将操作的操作结果作为所述信息片段对应的第二响应结果数据；将所述操作请求对应的响应结果数据返回至所述客户端。相较于现有技术，本申请大数据分析系统集成了多个数据处理引擎，为用户提供一个统一的交互入口，用户通过客户端登陆该交互入口即可调用多个数据处理引擎进行大数据分析处理，简化了用户的操作，提高了大数据分析处理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本申请大数据分析系统一可选的系统架构示意图；
图2为本申请数据处理程序第一、第二、第三实施例的运行环境示意图；
图3为本申请数据处理程序第一实施例的程序模块图；
图4为本申请数据处理程序第二实施例的程序模块图；
图5为本申请数据处理程序第三实施例的程序模块图；
图6为本申请数据处理方法第一实施例的流程示意图；
图7为本申请数据处理方法第二实施例的流程示意图；
图8为本申请数据处理方法第三实施例的流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
以下结合附图对本申请的原理和特征进行描述，所举实例只用于解释本申请，并非用于限定本申请的范围。
本申请提出一种大数据分析系统。
参阅图1所示，图1为本申请大数据分析系统一可选的系统架构示意图。
在本实施例中，所述大数据分析系统包括服务器1、客户端2、多个数据处理引擎3及文件系统4，所述服务器1与所述客户端2通信连接，且所述服务器1、多个数据处理引擎3及文件系统4相互之间均通信连接，其中：
所述客户端2用于提供用户操作界面，供用户通过操作界面发起携带预设类型信息的操作请求。客户端2还用于向服务器1发送携带预设类型信息的操作请求，并接收所述服务器1返回的针对所述操作请求的响应结果数据；
所述服务器1包括存储器和处理器，所述存储器上存储有数据处理程序，用于接收客户端2发送的携带预设类型信息的操作请求，并针对该操作请求执行对应的操作，和/或，调用数据处理引擎3进行数据处理，以生成响应结果数据并返回至客户端2。
所述数据处理引擎3用于接收所述服务器1发送的所述信息片段，并根据所述信息片段进行数据处理，并返回数据处理结果至服务器1。
数据处理引擎3包括计算引擎(例如，Shell、Spark、jdbc、Python、R等)和存储引擎(例如，hive、hbase、RMDB等)，其中：
计算引擎用于对数据进行计算、分析。
存储引擎用于对数据进行查询、读、写等操作。
所述文件系统4可以是本地文件系统，也可以是分布式文件系统(例如，HDFS)，所述文件系统4用于大数据的存储，且为数据处理引擎3提供用于数据处理的数据。该文件系统4可设置于数据处理引擎3中，或者，独立于数据处理引擎3及服务器2设置。
下面，将基于上述大数据分析系统中的各个设备，提出本申请的各个实施例。
本申请提出一种数据处理程序。
请参阅图2，是本申请数据处理程序10第一、第二、第三实施例的运行环境示意图。
在本实施例中，数据处理程序10安装并运行于服务器1中。服务器1可以是桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该服务器1可包括，但不仅限于，存储器11、处理器12及显示器13。图2仅示出了具有组件11-13的服务器1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器11在一些实施例中可以是服务器1的内部存储单元，例如该服务器1的硬盘或内存。存储器11在另一些实施例中也可以是服务器1的外部存储设备，例如，分布式存储设备。进一步地，存储器11还可以既包括服务器1的内部存储单元也包括外部存储设备。存储器11用于存储安装于服务器1的应用软件及各类数据，例如数据处理程序10的程序代码等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行数据处理程序10等。
显示器13在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器13用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。服务器1的部件11-13通过程序总线相互通信。
请参阅图3，是本申请数据处理程序10第一实施例的程序模块图。在本实施例中，数据处理程序10可以被分割成一个或多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行，以完成本申请。例如，在图3中，数据处理程序10可以被分割成接收模块101、读取模块102、第一执行模块103、第二执行模块104及反馈模块105。本申请所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述数据处理程序10在服务器1中的执行过程，其中：
接收模块101，用于接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段。
具体地，所述操作请求包括数据读取操作请求、数据写入操作请求、数据查询操作请求、数据分享操作请求、数据计算分析操作请求等。
当操作请求为数据读取操作请求时，其携带的预设类型信息包括待读取的数据信息(例如，文件名等)。
当操作请求为数据写入操作请求时，其携带的预设类型信息包括待写入的数据。
当操作请求为数据查询操作请求时，其携带的预设类型信息包括待查询的数据信息、查询条件等。
当操作请求为数据分享操作请求时，其携带的预设类型信息包括待分享的数据信息及数据分享的范围。
当操作请求为数据计算分析操作时，其携带的预设类型信息包括数据计算分析代码。
上述预设类型信息包括至少一个信息片段，该信息片段的划分方法可根据具体的应用场景设置。
优选地，本实施例中，数据处理程序10还包括身份验证模块(图中未示出)，该身份验证模块用于：
首先，接收客户端发送的携带用户身份信息的用户身份验证请求。
然后，根据预先确定的身份验证规则对所述用户身份信息进行核验，并将获得的验证结果反馈至客户端。
上述用户身份信息包括用户标识信息及用户身份特征信息，其中，所述用户身份特征信息包括用户名信息、用户密码信息(该用户密码信息可以U盾、电子证书等作为存储介质)、动态码等。
在一些应用场景中，上述用户身份特征信息还可包括用户生物信息、身份证件信息中至少一种。
上述用户生物信息包括指纹信息、人脸信息、虹膜信息、声纹信息等用于唯一识别用户身份的生物特征信息。
上述身份证件信息包括身份证号、护照号等。
上述身份验证规则具体包括：
根据所述用户身份信息中的用户标识信息，且基于预先确定的用户标识信息与标准用户身份特征信息之间的映射关系，查找所述用户标识信息对应的标准用户身份特征信息。根据查找的所述标准用户身份特征信息，对所述身份信息中的用户身份特征信息进行核验，若核验结果为相同，则输出验证结果为验证成功，或，若核验结果为不同，则输出验证结果为验证失败。
读取模块102，用于读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息。
具体地，上述调用标识信息包括待调用数据处理引擎的标识信息(例如，待调用数据处理引擎的标签)。
第一执行模块103，用于当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据。
例如，若预设类型信息为数据计算分析代码，且该数据计算分析代码包括多个数据计算分析代码片段。当在一数据计算分析代码片段中识别到调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎为计算引擎A，将所述调用标识信息对应的数据计算分析代码片段发送至计算引擎A，计算引擎A对该数据计算分析代码片段进行解析并按照该数据计算分析代码片段进行数据(该数据可来源于计算引擎的存储器，如本地文件系统或者分布式文件系统)的计算和分析，并将计算分析的结果返回至第一执行模块103。
若预设类型信息为数据查询代码，且该数据查询代码包括多个数据查询代码片段。当在一数据查询代码片段中识别到调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎为存储引擎C，将所述调用标识信息对应的数据查询代码片段发送至存储引擎C，存储引擎C对该数据查询代码片段进行解析并按照该数据查询代码进行数据的查询，并将查询结果返 回至第一执行模块103。
第二执行模块104，用于当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据。
具体地，所述操作请求对应的操作是根据预先确定的操作请求与操作之间的映射关系确定的。
当操作请求为数据读取操作请求时，其对应的操作为从存储器(例如，文件系统)中读取数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待读取的数据信息读取该待读取的数据。
当操作请求为数据写入操作请求时，其对应的操作为写入数据至存储器(例如，文件系统)。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：将信息片段中待写入的数据写入存储器。
当操作请求为数据查询操作请求时，其对应的操作为从存储器中查询数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待查询的数据信息、查询条件等查询该待查询的数据。
当操作请求为数据分享操作请求时，其对应的操作为分享数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待分享的数据信息，生成该待分享数据的分享链接路径(该分享链接路径用于指示待分享数据的存储地址)，接着，根据预先确定的分享范围与分享界面之间的映射关系，确定所述预设类型信息中待分享数据的分享范围(例如，分享给所有人、分享至用户组)对应的分享界面，并将生成的分享链接路径添加至该分享界面中。
当操作请求为数据计算分析操作时，其对应的操作为对数据进行计算和/或分析处理。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：对信息片段中的数据计算分析代码片段进行解析，并按照该计算分析代码片段进行数据的计算和/或分析处理。
反馈模块105，用于将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
本申请大数据分析系统包括客户端、服务器及多个数据处理引擎。其中服务器用于接收客户端发送的操作请求；读取预设类型信息中的信息片段，并识别信息片段中是否包含调用标识信息；当识别到调用标识信息时，将信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取信息片段对应的第一响应结果数据；当未识别到所述调用标识信息时，基于信息片段执行操作请求对应的操作，并将操作的操作结果作为所述信息片段对应的第二响应结果数据；将所述操作请求对应的响应结果数据返回至所述客户端。相较于现有技术，本申请大数据分析系统集成了多个数据处理引擎，为用户提供一个统一的交互入口，用户通过客户端登陆该交互入口即可调用多个数据处理引擎进行大数据分析处理，简化了用户的操作，提高了大数据分析处理效率。
进一步地，本实施例中，该数据处理程序10还包括审查模块(图中未示出)，该审查模块用于：
首先，实时记录用户行为数据，并保存所述用户行为数据至用户行为日志。
然后，当接收到日志审查指令时，从所述日志审查指令中获取待审查用户行为日志的标识信息，根据所述标识信息查找对应的待审查用户行为日志。
最后，在所述待审查用户行为日志中查询异常行为数据，当查询到所述异常行为数据时，输出提示信息。
上述异常行为数据的定义可根据具体的应用场景进行设置。
本实施例通过对用户行为日志进行审查，从而可及时的侦测出用户的异常行为，并发出提示信息，进一步提高大数据分析系统的安全性。
参照图4，图4为本申请数据处理程序10第二实施例的程序模块图。
本实施例的数据处理程序包括第一实施例的模块101至105，而本实施例与第一实施例的区别在于，本实施例中，所述操作请求中还包括用户标识信息。
且本实施例的数据处理程序10，还包括第一查询模块106、第二查询模块107、判断模块108，其中：
第一查询模块106，用于根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息。
具体地，上述用户角色信息包括用户角色标识符或用户角色名称或用户角色简称等。
第二查询模块107，用于根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合。
具体地，可预先对各用户角色进行权限设置，例如，将每一用户角色设置相应的操作权限集合，并将该用户角色对应的用户角色信息与相应的操作权限集合进行关联映射，并保存该用户角色信息与相应的操作权限集合之间的映射关系(例如，保存该用户角色信息与相应的操作权限集合之间的映射表)。
其中，所谓操作权限是指对操作对象进行操作的权利，每一项操作权限记载了一操作对象与一操作之间的映射关系。例如，若要设置一文件的读取权限，则可将该文件的标识信息及读取操作之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。若要设置一文件的分享权限，则可将该文件的标识信息与文件分享操作、分享范围(例如，用户组内)三者之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。若要设置资源配置信息的编辑权限，则可将资源配置信息的标识信息及编辑操作之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。为了提高安全性，对于一些计算引擎(例如，Shell、Python)对应的资源配置信息的编辑权限可设置为不授权于除管理员以外的用户角色。
一用户角色对应的至少一项操作权限形成该用户角色的操作权限集合。
在一些应用场景中，还可设置用户群组，该用户群组至少包括一个用户成员。保存每个用户群组对应的用户组信息，该用户组信息包括用户组标识信息、用户组成员的用户标识信息及用户组成员的用户角色信息等。
当一用户加入至一用户群组之后，还可为该用户配置相应的群组角色，并设置该群组角色对应的操作权限集合(例如，该操作权限集合包括组内分享权限、组内读写权限等)。该群组角色信息可存储至用户角色信息中，该群组角色信息对应的操作权限集合也相应存储至该用户角色对应的操作权限集合中。
判断模块108，用于根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限。当所述用户具备所述操作请求对应的操作的操作权限时，调用读取模块102。或者，当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
具体地，在用户对应的操作权限集合中查询与所述操作请求对应的操作及预设类型信息匹配的操作权限，当查询到匹配的操作权限时，判定该用户具备所述操作请求对应的操作的操作权限，当未查询到匹配的操作权限时，判定该用户不具备所述操作请求对应的操作的操作权限。
下面以一项文件的分享权限为例说明如何判断操作权限是否与所述操作请求对应的操作及预设类型信息匹配。
上述文件的分享权限由文件的标识信息与文件分享操作、分享范围三者之间的映射关系表示。首先，判断操作请求对应的操作是否为文件分享操作，若否，则该文件的分享权限与所述操作请求对应的操作及预设类型信息不匹配，若是，则继续判断操作请求对应的 预设类型信息中待分享的文件标识信息是否与文件的分享权限中文件的标识信息匹配，且所述预设类型信息中的分享范围是否与文件的分享权限中的分享范围匹配，若均匹配，则判定操作权限与所述操作请求对应的操作及预设类型信息匹配，否则，判定为不匹配。
本实施例根据用户角色为用户设置相应的操作权限，当用户具备操作请求对应的操作的操作权限时，才执行后续步骤，否则，拒绝执行后续步骤。本实施例实现了对用户操作的安全管控，提高了大数据分析系统的安全性。
参照图5，图5为本申请数据处理程序10第三实施例的程序模块图。
本实施例在第一、第二实施例的基础上，所述第一执行模块103包括确定单元1031、查询单元1032、判断单元1033、结果输出单元1034，其中：
确定单元1031，用于当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎。
查询单元1032，用于根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息。
具体地，可预先根据用户的用户角色信息及用户组信息，设置并保存用户的资源配置信息，其中，上述用户角色及用户组的设置可参照第二实施例。
上述资源配置信息包括至少一项配置项对应的配置项信息，每一个配置项可针对一配置对象进行配置，所述配置对象包括调用权限(例如，调用数据处理引擎的权限)、调用一计算引擎或者存储引擎执行进程的数量、计算引擎或者存储引擎的鉴权信息等。
上述配置项信息包括配置项标识信息(例如，配置项的名称或者编号或者简称等)、配置项取值(此处取值类型包括数字型、文本型、地址型、选择型)。
每一个配置项可针对一配置对象进行设置(即对一配置项的配置项取值赋值)，所述配置对象包括可调用的资源(例如，可调用的计算引擎或存储引擎)、调用一计算引擎或者存储引擎执行进程的数量、计算引擎或者存储引擎的鉴权信息等。
用户基于其具备的操作权限可对上述资源配置信息中的部分配置项进行编辑。
判断单元1033，用于根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎。
优选地，本实施例中，所判断单元1033具体用于：
首先，根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限。
具体地，上述调用权限信息包括可调用的数据处理引擎的标识信息。在调用权限信息中查询该待调用数据处理引擎的标识信息，若查询到，则判定该用户具备调用该待调用数据处理引擎的权限，否则，判定不具备调用该待调用数据处理引擎的权限。
然后，当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎。其中，上述待调用数据处理引擎对应的鉴权信息包括用户与该待调用数据处理引擎对应的身份信息，例如，在待调用数据处理引擎平台注册的用户名、用户密码、用户密钥等身份信息。
或者，当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
结果输出单元1034，用于当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引 擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据。或者，当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
优选地，本实施例中，该数据处理程序10还包括监测模块(图中未示出)，所述监测模块用于：
首先，在所述操作请求中的用户标识信息对应的资源配置信息中，获取该待调用数据处理引擎对应的交互进程数量阈值。
然后，实时或定时获取服务器与待调用数据处理引擎之间的交互进程数量，并监测该交互进程数量是否大于或等于所述交互进程数量阈值，若是，则停止建立新的交互进程直至服务器与待调用数据处理引擎之间的交互进程数量小于该交互进程数量阈值，若否，则返回继续监测该交互进程数量是否大于或等于所述交互进程数量阈值。
本实施例通过为用户设置对应的资源配置信息，从而提高大数据分析系统数据处理资源分配的可控性。
此外，本申请提出一种数据处理方法。适用于服务器。
如图6所示，图6为本申请数据处理方法第一实施例的流程示意图。
本实施例中，该方法包括：
步骤S10，接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段。
具体地，所述操作请求包括数据读取操作请求、数据写入操作请求、数据查询操作请求、数据分享操作请求、数据计算分析操作请求等。
当操作请求为数据读取操作请求时，其携带的预设类型信息包括待读取的数据信息(例如，文件名等)。
当操作请求为数据写入操作请求时，其携带的预设类型信息包括待写入的数据。
当操作请求为数据查询操作请求时，其携带的预设类型信息包括待查询的数据信息、查询条件等。
当操作请求为数据分享操作请求时，其携带的预设类型信息包括待分享的数据信息及数据分享的范围。
当操作请求为数据计算分析操作时，其携带的预设类型信息包括数据计算分析代码。
上述预设类型信息包括至少一个信息片段，该信息片段的划分方法可根据具体的应用场景设置。
优选地，本实施例中，在步骤S10之前，该方法还包括：
首先，接收客户端发送的携带用户身份信息的用户身份验证请求。
然后，根据预先确定的身份验证规则对所述用户身份信息进行核验，并将获得的验证结果反馈至客户端。
上述用户身份信息包括用户标识信息及用户身份特征信息，其中，所述用户身份特征信息包括用户名信息、用户密码信息(该用户密码信息可以U盾、电子证书等作为存储介质)、动态码等。
在一些应用场景中，上述用户身份特征信息还可包括用户生物信息、身份证件信息中至少一种。
上述用户生物信息包括指纹信息、人脸信息、虹膜信息、声纹信息等用于唯一识别用户身份的生物特征信息。
上述身份证件信息包括身份证号、护照号等。
上述身份验证规则具体包括：
根据所述用户身份信息中的用户标识信息，且基于预先确定的用户标识信息与标准用户身份特征信息之间的映射关系，查找所述用户标识信息对应的标准用户身份特征信息。 根据查找的所述标准用户身份特征信息，对所述身份信息中的用户身份特征信息进行核验，若核验结果为相同，则输出验证结果为验证成功，或，若核验结果为不同，则输出验证结果为验证失败。
步骤S20，读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息。
具体地，上述调用标识信息包括待调用数据处理引擎的标识信息(例如，待调用数据处理引擎的标签)。
步骤S30，当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据。
例如，若预设类型信息为数据计算分析代码，且该数据计算分析代码包括多个数据计算分析代码片段。当在一数据计算分析代码片段中识别到调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎为计算引擎A，将所述调用标识信息对应的数据计算分析代码片段发送至计算引擎A，计算引擎A对该数据计算分析代码片段进行解析并按照该数据计算分析代码片段进行数据(该数据可来源于计算引擎的存储器，如本地文件系统或者分布式文件系统)的计算和分析，并将计算分析的结果返回至服务器。
若预设类型信息为数据查询代码，且该数据查询代码包括多个数据查询代码片段。当在一数据查询代码片段中识别到调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎为存储引擎C，将所述调用标识信息对应的数据查询代码片段发送至存储引擎C，存储引擎C对该数据查询代码片段进行解析并按照该数据查询代码进行数据的查询，并将查询结果返回至服务器。
步骤S40，当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据。
具体地，所述操作请求对应的操作是根据预先确定的操作请求与操作之间的映射关系确定的。
当操作请求为数据读取操作请求时，其对应的操作为从存储器(例如，文件系统)中读取数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待读取的数据信息读取该待读取的数据。
当操作请求为数据写入操作请求时，其对应的操作为写入数据至存储器(例如，文件系统)。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：将信息片段中待写入的数据写入存储器。
当操作请求为数据查询操作请求时，其对应的操作为从存储器中查询数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待查询的数据信息、查询条件等查询该待查询的数据。
当操作请求为数据分享操作请求时，其对应的操作为分享数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待分享的数据信息，生成该待分享数据的分享链接路径(该分享链接路径用于指示待分享数据的存储地址)，接着，根据预先确定的分享范围与分享界面之间的映射关系，确定所述预设类型信息中待分享数据的分享范围(例如，分享给所有人、分享至用户组)对应的分享界面，并将生成的分享链接路径添加至该分享界面中。
当操作请求为数据计算分析操作时，其对应的操作为对数据进行计算和/或分析处理。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：对信息片段中的数据计算分析代码片段进行解析，并按照该计算分析代码片段进行数据的计算和/或分析处理。
步骤S50，将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响 应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
本申请接收客户端发送的操作请求；读取预设类型信息中的信息片段，并识别信息片段中是否包含调用标识信息；当识别到调用标识信息时，将信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取信息片段对应的第一响应结果数据；当未识别到所述调用标识信息时，基于信息片段执行操作请求对应的操作，并将操作的操作结果作为所述信息片段对应的第二响应结果数据；将所述操作请求对应的响应结果数据返回至所述客户端。相较于现有技术，本申请大数据分析系统集成了多个数据处理引擎，为用户提供一个统一的交互入口，用户通过客户端登陆该交互入口即可调用多个数据处理引擎进行大数据分析处理，简化了用户的操作，提高了大数据分析处理效率。
进一步地，本实施例中，该方法还包括如下步骤：
首先，实时记录用户行为数据，并保存所述用户行为数据至用户行为日志。
然后，当接收到日志审查指令时，从所述日志审查指令中获取待审查用户行为日志的标识信息，根据所述标识信息查找对应的待审查用户行为日志。
最后，在所述待审查用户行为日志中查询异常行为数据，当查询到所述异常行为数据时，输出提示信息。
上述异常行为数据的定义可根据具体的应用场景进行设置。
本实施例通过对用户行为日志进行审查，从而可及时的侦测出用户的异常行为，并发出提示信息，进一步提高大数据分析系统的安全性。
参照图7，图7为本申请数据处理方法第二实施例的流程示意图。
本实施例的数据处理方法包括第一实施例的步骤S10至S50，而本实施例与第一实施例的区别在于，本实施例中，所述操作请求中还包括用户标识信息。
且本实施例的数据处理方法，在步骤S10之后且在步骤S20之前，还包括如下步骤：
步骤S60，根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息。
具体地，上述用户角色信息包括用户角色标识符或用户角色名称或用户角色简称等。
步骤S70，根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合。
具体地，可预先对各用户角色进行权限设置，例如，将每一用户角色设置相应的操作权限集合，并将该用户角色对应的用户角色信息与相应的操作权限集合进行关联映射，并保存该用户角色信息与相应的操作权限集合之间的映射关系(例如，保存该用户角色信息与相应的操作权限集合之间的映射表)。
其中，所谓操作权限是指对操作对象进行操作的权利，每一项操作权限记载了一操作对象与一操作之间的映射关系。例如，若要设置一文件的读取权限，则可将该文件的标识信息及读取操作之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。若要设置一文件的分享权限，则可将该文件的标识信息与文件分享操作、分享范围(例如，用户组内)三者之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。若要设置资源配置信息的编辑权限，则可将资源配置信息的标识信息及编辑操作之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。为了提高安全性，对于一些计算引擎(例如，Shell、Python)对应的资源配置信息的编辑权限可设置为不授权于除管理员以外的用户角色。
一用户角色对应的至少一项操作权限形成该用户角色的操作权限集合。
在一些应用场景中，还可设置用户群组，该用户群组至少包括一个用户成员。保存每个用户群组对应的用户组信息，该用户组信息包括用户组标识信息、用户组成员的用户标识信息及用户组成员的用户角色信息等。
当一用户加入至一用户群组之后，还可为该用户配置相应的群组角色，并设置该群组角色对应的操作权限集合(例如，该操作权限集合包括组内分享权限、组内读写权限等)。该群组角色信息可存储至用户角色信息中，该群组角色信息对应的操作权限集合也相应存储至该用户角色对应的操作权限集合中。
步骤S80，根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限。
具体地，在用户对应的操作权限集合中查询与所述操作请求对应的操作及预设类型信息匹配的操作权限，当查询到匹配的操作权限时，判定该用户具备所述操作请求对应的操作的操作权限，当未查询到匹配的操作权限时，判定该用户不具备所述操作请求对应的操作的操作权限。
下面以一项文件的分享权限为例说明如何判断操作权限是否与所述操作请求对应的操作及预设类型信息匹配。
上述文件的分享权限由文件的标识信息与文件分享操作、分享范围三者之间的映射关系表示。首先，判断操作请求对应的操作是否为文件分享操作，若否，则该文件的分享权限与所述操作请求对应的操作及预设类型信息不匹配，若是，则继续判断操作请求对应的预设类型信息中待分享的文件标识信息是否与文件的分享权限中文件的标识信息匹配，且所述预设类型信息中的分享范围是否与文件的分享权限中的分享范围匹配，若均匹配，则判定操作权限与所述操作请求对应的操作及预设类型信息匹配，否则，判定为不匹配。
步骤S90，当所述用户具备所述操作请求对应的操作的操作权限时，跳转至步骤S20。或者，当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
本实施例根据用户角色为用户设置相应的操作权限，当用户具备操作请求对应的操作的操作权限时，才执行后续步骤，否则，拒绝执行后续步骤。本实施例实现了对用户操作的安全管控，提高了大数据分析系统的安全性。
参照图8，图8为本申请数据处理方法第三实施例的流程示意图。
本实施例在第一、第二实施例的基础上，所述步骤S30包括：
步骤S31，当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎。
步骤S32，根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息。
具体地，可预先根据用户的用户角色信息及用户组信息，设置并保存用户的资源配置信息，其中，上述用户角色及用户组的设置可参照第二实施例。
上述资源配置信息包括至少一项配置项对应的配置项信息，每一个配置项可针对一配置对象进行配置，所述配置对象包括调用权限(例如，调用数据处理引擎的权限)、调用一计算引擎或者存储引擎执行进程的数量、计算引擎或者存储引擎的鉴权信息等。
上述配置项信息包括配置项标识信息(例如，配置项的名称或者编号或者简称等)、配置项取值(此处取值类型包括数字型、文本型、地址型、选择型)。
每一个配置项可针对一配置对象进行设置(即对一配置项的配置项取值赋值)，所述配置对象包括可调用的资源(例如，可调用的计算引擎或存储引擎)、调用一计算引擎或者存储引擎执行进程的数量、计算引擎或者存储引擎的鉴权信息等。
用户基于其具备的操作权限可对上述资源配置信息中的部分配置项进行编辑。
步骤S33，根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎。
优选地，本实施例中，所述步骤S33具体包括：
首先，根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限。
具体地，上述调用权限信息包括可调用的数据处理引擎的标识信息。在调用权限信息中查询该待调用数据处理引擎的标识信息，若查询到，则判定该用户具备调用该待调用数据处理引擎的权限，否则，判定不具备调用该待调用数据处理引擎的权限。
然后，当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎。其中，上述待调用数据处理引擎对应的鉴权信息包括用户与该待调用数据处理引擎对应的身份信息，例如，在待调用数据处理引擎平台注册的用户名、用户密码、用户密钥等身份信息。
或者，当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
步骤S34，当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据。
步骤S35，当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
优选地，本实施例中，该方法还包括：
首先，在所述操作请求中的用户标识信息对应的资源配置信息中，获取该待调用数据处理引擎对应的交互进程数量阈值。
然后，实时或定时获取服务器与待调用数据处理引擎之间的交互进程数量，并监测该交互进程数量是否大于或等于所述交互进程数量阈值，若是，则停止建立新的交互进程直至服务器与待调用数据处理引擎之间的交互进程数量小于该交互进程数量阈值，若否，则返回继续监测该交互进程数量是否大于或等于所述交互进程数量阈值。
本实施例通过为用户设置对应的资源配置信息，从而提高大数据分析系统数据处理资源分配的可控性。
进一步地，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有数据处理程序，所述数据处理程序可被至少一个处理器执行，以使所述至少一个处理器执行上述任一实施例中的数据处理方法的步骤。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是在本申请的发明构思下，利用本申请说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本申请的专利保护范围内。

Claims (20)

  1. 一种大数据分析系统，其特征在于，所述大数据分析系统包括客户端、服务器及多个数据处理引擎，所述服务器分别与所述客户端及各个所述数据处理引擎通信连接，其中：
    所述客户端用于向所述服务器发送携带预设类型信息的操作请求，并接收所述服务器返回的针对所述操作请求的响应结果数据；
    所述服务器包括存储器和处理器，所述存储器上存储有数据处理程序，所述数据处理程序被所述处理器执行时实现如下步骤：
    接收步骤：接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
    读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
    第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
    第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
    反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端；
    所述数据处理引擎用于接收所述服务器发送的所述信息片段，根据所述信息片段进行数据处理，并返回数据处理结果至服务器。
  2. 如权利要求1所述的大数据分析系统，其特征在于，所述操作请求中还包括用户标识信息；
    所述数据处理程序被所述处理器执行时，在所述读取步骤之前还实现如下步骤：
    根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息；
    根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合；
    根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限；
    当所述用户具备所述操作请求对应的操作的操作权限时，跳转至所述读取步骤；
    当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
  3. 如权利要求1所述的大数据分析系统，其特征在于，所述操作请求中还包括用户标识信息；
    所述第一执行步骤包括：
    确定步骤：当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎；
    查询步骤：根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息；
    判断步骤：根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎；
    第三执行步骤：当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的 数据处理结果作为所述信息片段对应的第一响应结果数据；
    输出步骤：当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
  4. 如权利要求3所述的大数据分析系统，其特征在于，所述判断步骤包括：
    根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限；
    当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎；
    当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
  5. 一种数据处理方法，其特征在于，该方法包括：
    接收步骤：接收客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
    读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
    第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
    第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
    反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
  6. 如权利要求5所述的数据处理方法，其特征在于，所述操作请求中还包括用户标识信息；
    所述数据处理方法还包括如下步骤：
    根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息；
    根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合；
    根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限；
    当所述用户具备所述操作请求对应的操作的操作权限时，跳转至所述读取步骤；
    当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
  7. 如权利要求5所述的数据处理方法，其特征在于，所述操作请求中还包括用户标识信息；所述第一执行步骤包括：
    确定步骤：当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎；
    查询步骤：根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息；
    判断步骤：根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所 述待调用数据处理引擎；
    第三执行步骤：当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据；
    输出步骤：当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
  8. 如权利要求7所述的数据处理方法，其特征在于，所述判断步骤包括：
    根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限；
    当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎；
    当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
  9. 一种服务器，所述服务器包括存储器和处理器，其特征在于，所述存储器上存储有数据处理程序，所述数据处理程序被所述处理器执行时实现如下步骤：
    接收步骤：接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
    读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
    第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
    第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
    反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
  10. 如权利要求9所述的服务器，其特征在于，所述操作请求中还包括用户标识信息；
    所述数据处理程序被所述处理器执行时，在所述读取步骤之前还实现如下步骤：
    根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息；
    根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合；
    根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限；
    当所述用户具备所述操作请求对应的操作的操作权限时，跳转至所述读取步骤；
    当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
  11. 如权利要求9所述的服务器，其特征在于，所述操作请求中还包括用户标识信息；
    所述第一执行步骤包括：
    确定步骤：当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎；
    查询步骤：根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息；
    判断步骤：根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎；
    第三执行步骤：当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据；
    输出步骤：当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
  12. 如权利要求11所述的服务器，其特征在于，所述判断步骤包括：
    根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限；
    当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎；
    当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
  13. 一种数据处理程序，其特征在于，所述数据处理程序包括：接收模块，用于接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
    读取模块，用于读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
    第一执行模块，用于当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
    第二执行模块，用于当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
    反馈模块，用于将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
  14. 如权利要求13所述的数据处理程序，其特征在于，所述操作请求中还包括用户标识信息，所述数据处理程序还包括：
    第一查询模块，用于根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息；
    第二查询模块，用于根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合；
    判断模块，用于根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限；当所述用户具备所述操作请求对应的操作的操作权限时，调用读取模块；当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
  15. 如权利要求13所述的数据处理程序，其特征在于，所述操作请求中还包括用户标识信息；所述第一执行模块包括：
    确定单元，用于当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用 标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎；
    查询单元，用于根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息；
    判断单元，用于根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎；
    结果输出单元，用于当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据，当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
  16. 如权利要求15所述的数据处理程序，其特征在于，所述判断单元还用于：
    根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限；
    当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎；
    当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
  17. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有数据处理程序，所述数据处理程序可被至少一个处理器执行，以使所述至少一个处理器执行如下步骤：
    接收步骤：接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
    读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
    第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
    第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
    反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
  18. 如权利要求17所述的计算机可读存储介质，其特征在于，所述操作请求中还包括用户标识信息；
    所述数据处理程序被所述处理器执行时，在所述读取步骤之前还实现如下步骤：
    根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息；
    根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合；
    根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限；
    当所述用户具备所述操作请求对应的操作的操作权限时，跳转至所述读取步骤；
    当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数 据反馈至客户端。
  19. 如权利要求17所述的服务器，其特征在于，所述操作请求中还包括用户标识信息；所述第一执行步骤包括：
    确定步骤：当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎；
    查询步骤：根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息；
    判断步骤：根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎；
    第三执行步骤：当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据；
    输出步骤：当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
  20. 如权利要求19所述的计算机可读存储介质，其特征在于，所述判断步骤包括：
    根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限；
    当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎；
    当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
PCT/CN2018/107487 2018-06-28 2018-09-26 大数据分析系统、服务器、数据处理方法、程序和存储介质 Ceased WO2020000716A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810682823.5 2018-06-28
CN201810682823.5A CN109062965B (zh) 2018-06-28 2018-06-28 大数据分析系统、服务器、数据处理方法和存储介质

Publications (1)

Publication Number Publication Date
WO2020000716A1 true WO2020000716A1 (zh) 2020-01-02

Family

ID=64818056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/107487 Ceased WO2020000716A1 (zh) 2018-06-28 2018-09-26 大数据分析系统、服务器、数据处理方法、程序和存储介质

Country Status (2)

Country Link
CN (1) CN109062965B (zh)
WO (1) WO2020000716A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112632616A (zh) * 2020-12-30 2021-04-09 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、电子设备以及计算机可读存储介质
CN113971288A (zh) * 2021-10-18 2022-01-25 广东科学技术职业学院 一种基于大数据技术智慧校园安全管控平台
CN114861223A (zh) * 2022-05-05 2022-08-05 北京字跳网络技术有限公司 一种目标信息查询方法、装置、设备及可读存储介质
CN117235068A (zh) * 2023-09-07 2023-12-15 港华数智能源科技(深圳)有限公司 数据汇集方法及相关装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739663B (zh) * 2018-12-29 2023-07-14 深圳前海微众银行股份有限公司 作业处理方法、装置、设备及计算机可读存储介质
CN112363831B (zh) * 2020-11-10 2021-12-10 上海华锐软件有限公司 风控处理方法、装置、计算机设备和存储介质
CN112306586B (zh) * 2020-11-20 2024-06-18 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及计算机存储介质
CN112817997B (zh) * 2021-02-24 2024-06-25 广州市品高软件股份有限公司 一种分布式计算引擎使用动态用户访问s3对象存储的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176798A (zh) * 2013-02-21 2013-06-26 用友软件股份有限公司 数据交互系统和数据交互方法
CN104008436A (zh) * 2013-02-26 2014-08-27 中国移动通信集团浙江有限公司 一种内容管理集成方法和系统
CN104660680A (zh) * 2015-01-26 2015-05-27 青岛市环境信息中心 一种应用系统集成云终端平台及集成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066546B (zh) * 2017-03-20 2021-03-09 国家计算机网络与信息安全管理中心 一种基于mpp引擎的跨数据中心快速查询方法和系统
CN108038213A (zh) * 2017-12-21 2018-05-15 中国农业银行股份有限公司 一种数据处理的方法、客户端、服务器及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176798A (zh) * 2013-02-21 2013-06-26 用友软件股份有限公司 数据交互系统和数据交互方法
CN104008436A (zh) * 2013-02-26 2014-08-27 中国移动通信集团浙江有限公司 一种内容管理集成方法和系统
CN104660680A (zh) * 2015-01-26 2015-05-27 青岛市环境信息中心 一种应用系统集成云终端平台及集成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112632616A (zh) * 2020-12-30 2021-04-09 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、电子设备以及计算机可读存储介质
CN113971288A (zh) * 2021-10-18 2022-01-25 广东科学技术职业学院 一种基于大数据技术智慧校园安全管控平台
CN114861223A (zh) * 2022-05-05 2022-08-05 北京字跳网络技术有限公司 一种目标信息查询方法、装置、设备及可读存储介质
CN117235068A (zh) * 2023-09-07 2023-12-15 港华数智能源科技(深圳)有限公司 数据汇集方法及相关装置

Also Published As

Publication number Publication date
CN109062965A (zh) 2018-12-21
CN109062965B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
WO2020000716A1 (zh) 大数据分析系统、服务器、数据处理方法、程序和存储介质
US11520751B2 (en) System and method for information storage using blockchain databases combined with pointer databases
US11196772B2 (en) Data access policies
CN110414268B (zh) 访问控制方法、装置、设备及存储介质
CN108810006B (zh) 资源访问方法、装置、设备及存储介质
CN107948203B (zh) 一种容器登录方法、应用服务器、系统及存储介质
US10990674B2 (en) Malware clustering based on function call graph similarity
US10984104B2 (en) Malware clustering based on analysis of execution-behavior reports
US11750660B2 (en) Dynamically updating rules for detecting compromised devices
TW202025020A (zh) 基於區塊鏈的內容管理系統及方法、裝置、電子設備
CN112506481A (zh) 业务数据交互方法、装置、计算机设备和存储介质
WO2022095518A1 (zh) 接口自动化测试方法、装置、计算机设备及存储介质
CN113779545A (zh) 数据跨进程共享的方法、终端设备及计算机可读存储介质
CN114422197A (zh) 一种基于策略管理的权限访问控制方法及系统
CN114329486A (zh) 一种资产漏洞管理方法、装置、电子设备及存储介质
CN112583890B (zh) 基于企业办公系统的消息推送方法、装置和计算机设备
US12158835B1 (en) Computing systems and methods generating and validating log records
US20240232419A1 (en) Sensitive data classification for micro-service applications
WO2023236637A1 (zh) 数据管理方法及装置
CN115599982A (zh) 混合云的数据查询方法及装置
CN116010926A (zh) 登陆认证方法、装置、计算机设备和存储介质
CN114706657A (zh) 一种多平台虚拟机管理接口、管理方法、终端及存储介质
US12432064B1 (en) Maintaining cryptographically verifiable data share traces for services of a provider network
US12615316B1 (en) Tracing data share permission enforcement of parameters through service interfaces
CN114020684B (zh) 一种桌面系统文件管理器远程操作行为管控方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18924702

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18924702

Country of ref document: EP

Kind code of ref document: A1