WO2021036447A1 - 基于Flink引擎的业务数据处理方法及装置 - Google Patents

基于Flink引擎的业务数据处理方法及装置 Download PDF

Info

Publication number
WO2021036447A1
WO2021036447A1 PCT/CN2020/097832 CN2020097832W WO2021036447A1 WO 2021036447 A1 WO2021036447 A1 WO 2021036447A1 CN 2020097832 W CN2020097832 W CN 2020097832W WO 2021036447 A1 WO2021036447 A1 WO 2021036447A1
Authority
WO
WIPO (PCT)
Prior art keywords
flink
json
json file
engine
task
Prior art date
Application number
PCT/CN2020/097832
Other languages
English (en)
French (fr)
Inventor
王军
孙迁
张毅
王广邦
陈晖�
Original Assignee
苏宁云计算有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 苏宁云计算有限公司 filed Critical 苏宁云计算有限公司
Priority to CA3152829A priority Critical patent/CA3152829A1/en
Publication of WO2021036447A1 publication Critical patent/WO2021036447A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Definitions

  • the present invention relates to the technical field of big data processing, in particular to a method and device for processing business data based on a Flink engine.
  • the existing conventional real-time task development requires customized development for each real-time task. After a real-time task is developed, the possibility that the subsequent real-time task to be developed can reuse the previous real-time task is very low, which also leads to The development of each real-time task requires higher development costs and maintenance costs.
  • the purpose of the present invention is to provide a business data processing method and device based on the Flink engine, which can effectively reduce the development cost and maintenance cost for real-time tasks.
  • one aspect of the present invention provides a Flink engine-based service data processing method, including:
  • the Flink engine is used to construct a Flink task according to the entity class information, and the Flink task is submitted to the cluster for processing.
  • the method for receiving a JSON file includes:
  • the method of verifying and parsing the JSON file and mapping it to the entity class information corresponding to the JSON file includes:
  • the Flink engine calls the standard JSON data protocol to verify the validity of the received JSON file
  • the parser in the Flink engine is used to parse the JSON file, and at the same time, the parsing result is mapped with the predefined local native code Flink data entity class to generate entity class information.
  • the method of constructing a Flink task using the Flink engine according to the entity class information, and submitting the Flink task to the cluster for processing includes:
  • Extract the node attribute value of the entity class information and execute the operation of registering the data source, registering the custom function UDF, accessing the Sink output operation, and constructing the execution plan operation in sequence in the running environment, so as to configure the Flink engine;
  • the Flink engine processes the JSON file to generate a Flink task, and submits it to the cluster for processing.
  • the Flink engine before configuring the Flink engine, it also includes:
  • the JSON file is pre-verified based on the configured operating environment to ensure that the task can be parsed by the Flink engine.
  • the business data processing method based on the Flink engine provided by the present invention has the following beneficial effects:
  • the data access method becomes more flexible, whether it is visual drag and drop, code construction, or even manual
  • the JSON file generated by editing and other methods can be connected to the Flink engine, which is helpful to reduce the development threshold and improve the development efficiency.
  • verify and parse the above JSON file to map it to the corresponding entity information, and then according to the entity information
  • the Flink engine has the advantages of high throughput, high real-time performance, excellent memory management and flow control, etc., so it can greatly improve the processing of business data effectiveness.
  • Another aspect of the present invention provides a business data processing device based on a Flink engine.
  • the device includes:
  • the conversion unit is configured to receive a JSON file that is generated from real-time business data based on a preset standard JSON data protocol;
  • the parsing unit is configured to verify and parse the JSON file, and map it to entity class information corresponding to the JSON file;
  • the task construction unit is used to construct a Flink task using the Flink engine according to the entity class information, and submit the Flink task to the cluster for processing.
  • the conversion unit includes:
  • Standard protocol preset module used for abstract modeling based on the data structure and operator characteristics of the Flink task, and preset standard JSON data protocol;
  • a data conversion module configured to convert real-time business data through the standard JSON data protocol to generate the JSON file
  • the data sending module is used to send the JSON file to the Flink engine in the server.
  • the analysis unit includes:
  • the first verification module is used by the Flink engine to call the standard JSON data protocol to verify the validity of the received JSON file
  • the parsing module is used to parse the JSON file using the parser in the Flink engine after the validity check is passed, and at the same time map the parsing result with the predefined local native code Flink data entity class to generate entity class information.
  • the task construction unit includes:
  • the environment configuration module is used to extract configuration information from the entity class information for configuring the operating environment of the Flink engine, and the configuration information includes node attribute values;
  • the second verification module performs pre-verification on the JSON file based on the configured operating environment to ensure that the task can be parsed by the Flink engine;
  • the engine configuration module is used to extract the node attribute value of the entity class information, and sequentially execute the source operation of the registered data source, the UDF operation of the registered custom function, the output operation of the sink, and the operation of constructing the execution plan in the running environment.
  • Configure Flink engine
  • the task distribution module is used to process the JSON file through the Flink engine to generate a Flink task, and submit it to the cluster for processing.
  • the beneficial effects of the Flink engine-based service data processing device provided by the present invention are the same as the beneficial effects of the Flink engine-based service data processing method provided by the above technical solutions, and will not be repeated here.
  • a third aspect of the present invention provides a computer-readable storage medium on which a computer program is stored, and when the computer program is run by a processor, the steps of the above-mentioned Flink engine-based business data processing method are executed.
  • the beneficial effects of the computer-readable storage medium provided by the present invention are the same as the beneficial effects of the Flink engine-based service data processing method provided by the above technical solutions, and will not be repeated here.
  • FIG. 1 is a schematic flowchart of a method for processing business data based on a Flink engine in Embodiment 1 of the present invention
  • Figure 2 is another flow chart of the Flink engine-based business data processing method in the first embodiment of the present invention.
  • Figure 3 is an example diagram of the JSON generator dragging and dropping on the task canvas
  • Figure 4 is an example diagram of a JSON file description.
  • this embodiment provides a method for processing business data based on a Flink engine, including:
  • Receive JSON files which are generated from real-time business data based on the preset standard JSON data protocol; verify and parse the JSON files, and map them to entity class information corresponding to the JSON files; use the Flink engine to build Flink tasks based on the entity class information, and Submit the Flink task to the cluster for processing.
  • real-time business data is converted into a JSON file based on the standard JSON data protocol, so that the data access method becomes more flexible, whether it is visual drag and drop, code construction, or even Manual editing and other methods to generate JSON files can be connected to the Flink engine, which is helpful to reduce the development threshold and improve development efficiency.
  • verify and parse the above JSON file to map it to the corresponding entity information, and then according to the entity type Information uses the Flink engine to construct Flink tasks and distribute them to the corresponding clusters.
  • the Flink engine is a new generation of real-time components, it has the advantages of high throughput, high real-time performance, excellent memory management and flow control, etc., so it can greatly improve the business data Processing efficiency.
  • the method of receiving a JSON file which is generated from real-time business data based on a preset standard JSON data protocol, includes:
  • a JSON file is generated through visual drag and drop, code construction, or even manual editing, etc., to generate a JSON file (.json file) that conforms to the predefined protocol.
  • the JSON file is then uploaded to the transit file system or sent to the Flink engine in the server in the form of a message, where the above-mentioned abstract modeling is a technical means well known to those skilled in the art, and will not be repeated in this embodiment.
  • the method of verifying and parsing the JSON file and mapping the entity class information corresponding to the JSON file includes:
  • the Flink engine calls the standard JSON data protocol to verify the legality of the received JSON file; after the legality check is passed, the parser in the Flink engine is used to parse the JSON file, and at the same time, the analysis result is combined with the pre-defined local native code Flink data Entity class mapping to generate entity class information.
  • the Flink engine when the Flink engine receives the JSON file, it automatically invokes the above-mentioned standard JSON data protocol to verify the validity of the JSON file.
  • the objects to be verified include json syntax and language node attribute values.
  • the validity check passes Later, use the parser in the Flink engine to parse the JSON file, and map the JSON file with the predefined local native code Flink data entity class to generate entity class information and realize data flow; it should be noted that the above-mentioned JSON file is The legality check and the parsing process of the JSON file are technical means commonly used by those skilled in the art, and this embodiment will not repeat them again.
  • the method of using the Flink engine to construct the Flink task according to the entity class information in the foregoing embodiment, and submitting the Flink task to the cluster for processing includes:
  • the configuration information includes node attribute values; extract the node attribute values of the entity information, and perform the operation of registering the data source Source and registering custom functions in the operating environment.
  • UDF operations, access to Sink output operations, and construction of execution plan operations are used to configure the Flink engine; the Flink engine processes JSON files to generate Flink tasks and submit them to the cluster for processing.
  • the above embodiment further includes before configuring the Flink engine:
  • the JSON file is pre-verified based on the configured operating environment to ensure that the task can be parsed by the Flink engine.
  • the .json file is sent to the Flink engine, and the Flink engine parses the .json file and performs entity data mapping, then builds the Flink operating environment, registers the custom function, and submits it to Yarn for operation.
  • This embodiment provides a service data processing device based on a Flink engine, including:
  • the conversion unit is used to receive JSON files, which are generated from real-time business data based on a preset standard JSON data protocol;
  • the parsing unit is used to verify and parse the JSON file, and map it to entity information corresponding to the JSON file;
  • the task building unit is used to use the Flink engine to construct Flink tasks according to the entity class information, and submit the Flink tasks to the cluster for processing.
  • the conversion unit includes:
  • Standard protocol preset module used for abstract modeling of data structure and operator characteristics based on Flink tasks, and preset standard JSON data protocol;
  • the data conversion module is used to convert real-time business data to generate JSON files through the standard JSON data protocol
  • the data sending module is used to send the JSON file to the Flink engine in the server.
  • the parsing unit includes:
  • the first verification module is used by the Flink engine to call the standard JSON data protocol to verify the validity of the received JSON file
  • the parsing module is used to parse the JSON file using the parser in the Flink engine after the validity check is passed, and at the same time map the parsing result with the predefined local native code Flink data entity class to generate entity class information.
  • the task building unit includes:
  • the environment configuration module is used to extract configuration information from entity class information for configuring the operating environment of the Flink engine, and the configuration information includes node attribute values;
  • the second verification module pre-verifies the JSON file based on the configured operating environment to ensure that the task can be parsed by the Flink engine;
  • the engine configuration module is used to extract the node attribute value of the entity class information, and in the running environment to execute the registered data source Source operation, the registered custom function UDF operation, the sink output operation and the construction execution plan operation in order to configure Flink engine;
  • the task distribution module is used to process JSON files through the Flink engine to generate Flink tasks and submit them to the cluster for processing.
  • the beneficial effects of the Flink engine-based service data processing device provided in this embodiment are the same as the beneficial effects of the Flink engine-based service data processing method provided in the foregoing embodiment, and will not be repeated here.
  • This embodiment provides a computer-readable storage medium on which a computer program is stored.
  • the computer program is run by a processor, the steps of the above-mentioned Flink engine-based business data processing method are executed.
  • the above-mentioned program can be stored in a computer readable storage medium.
  • the program When executed, it includes
  • the foregoing storage medium may be: ROM/RAM, magnetic disk, optical disk, memory card, and so on.

Abstract

本发明公开一种基于Flink引擎的业务数据处理方法及装置，涉及大数据处理技术领域，能够有效降低针对实时任务的开发成本和维护成本。该方法包括：接收JSON文件，JSON文件由实时业务数据基于预设的标准JSON数据协议生成；校验并解析JSON文件，映射为与JSON文件对应的实体类信息；根据实体类信息利用Flink引擎构建Flink任务，并将Flink任务提交至集群处理。该装置应用有上述方案所提的方法。

Description

基于Flink引擎的业务数据处理方法及装置 技术领域
本发明涉及大数据处理技术领域，尤其涉及一种基于Flink引擎的业务数据处理方法及装置。
背景技术
随着互联网公司业务的快速发展，随之产生的数据也呈井喷式增长，随之而来的是要求实时平台部门为业务部门提供易用、稳定、高效的实时数据服务，因此，基于数据实时计算的业务作业开始崭露头角，并且越来越多的被投入到线上使用，如实时推荐、双十一实时大屏统计、实时反欺诈等。
现有的常规的实时任务开发，需要针对每个实时任务做定制开发，当一个实时任务开发完后，后续待开发的实时任务能复用前一个实时任务的可能性很低，这也就导致了每次实时任务的开发都需要较高的开发成本和维护成本。
发明内容
本发明的目的在于提供一种基于Flink引擎的业务数据处理方法及装置，能够有效降低针对实时任务的开发成本和维护成本。
为了实现上述目的，本发明的一方面提供一种基于Flink引擎的业务数据处理方法，包括：
接收JSON文件，所述JSON文件由实时业务数据基于预设的标准JSON数据协议生成；
校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息；
根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理。
优选地，接收JSON文件，所述JSON文件由实时业务数据，基于预设的 标准JSON数据协议生成的方法包括：
基于所述Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；
通过所述标准JSON数据协议将实时业务数据转换生成所述JSON文件；
将所述JSON文件发送至服务端中的Flink引擎。
较佳地，校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息的方法包括：
Flink引擎调用所述标准JSON数据协议对接收到的JSON文件合法性实施校验；
合法性校验通过后，利用Flink引擎中的解析器解析所述JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映射，生成实体类信息。
优选地，根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理的方法包括：
从所述实体类信息中提取配置信息用于配置Flink引擎的运行环境，所述配置信息包括节点属性值；
提取所述实体类信息的节点属性值，并在运行环境中依次执行注册数据源Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；
通过Flink引擎处理所述JSON文件生成Flink任务，并将其提交至集群处理。
优选地，在配置Flink引擎之前还包括：
基于配置的运行环境对所述JSON文件进行预校验，确保任务可被Flink引擎解析。
与现有技术相比，本发明提供的基于Flink引擎的业务数据处理方法具有以下有益效果：
本发明提供的基于Flink引擎的业务数据处理方法中，通过将实时业务数 据基于标准JSON数据协议转换成JSON文件，使得数据接入方式变得更加灵活，无论是可视化拖拽、代码构建、甚至手动编辑等方式生成JSON文件，都可接入Flink引擎，有利于降低开发门槛提高开发效率，接着，校验并解析上述JSON文件，使之映射为与之对应的实体类信息，之后根据实体类信息利用Flink引擎构建Flink任务分发至相应集群处理，由于Flink引擎作为新一代的实时组件，具有吞吐量高、实时性高、优秀的内存管理和流控等优点，因此可极大提高业务数据的处理效率。
本发明的另一方面提供一种基于Flink引擎的业务数据处理装置，应用有上述技术方案提到的基于Flink引擎的业务数据处理方法中，该装置包括:
转换单元，用于接收JSON文件，所述JSON文件由实时业务数据基于预设的标准JSON数据协议生成；
解析单元，用于校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息；
任务构建单元，用于根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理。
优选地，所述转换单元包括：
标准协议预设模块，用于基于所述Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；
数据转换模块，用于通过所述标准JSON数据协议将实时业务数据转换生成所述JSON文件；
数据发送模块，用于将所述JSON文件发送至服务端中的Flink引擎。
优选地，所述解析单元包括：
第一校验模块，用于Flink引擎调用所述标准JSON数据协议对接收到的JSON文件合法性实施校验；
解析模块，用于在合法性校验通过后，利用Flink引擎中的解析器解析所述JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映 射，生成实体类信息。
优选地，所述任务构建单元包括：
环境配置模块，用于从所述实体类信息中提取配置信息用于配置Flink引擎的运行环境，所述配置信息包括节点属性值；
第二校验模块，基于配置的运行环境对所述JSON文件进行预校验，确保任务可被Flink引擎解析；
引擎配置模块，用于提取所述实体类信息的节点属性值，并在运行环境中依次执行注册数据源Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；
任务分发模块，用于通过Flink引擎处理所述JSON文件生成Flink任务，并将其提交至集群处理。
与现有技术相比，本发明提供的基于Flink引擎的业务数据处理装置的有益效果与上述技术方案提供的基于Flink引擎的业务数据处理方法的有益效果相同，在此不做赘述。
本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于Flink引擎的业务数据处理方法的步骤。
与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的基于Flink引擎的业务数据处理方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一中基于Flink引擎的业务数据处理方法的一种流程示意图；
图2为本发明实施例一中基于Flink引擎的业务数据处理方法的另一种流程图；
图3为JSON生成器在任务画布上的拖拽示例图；
图4为JSON文件的描述示例图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
请参阅图1和图2，本实施例提供一种基于Flink引擎的业务数据处理方法，包括：
接收JSON文件，JSON文件由实时业务数据基于预设的标准JSON数据协议生成；校验并解析JSON文件，映射为与JSON文件对应的实体类信息；根据实体类信息利用Flink引擎构建Flink任务，并将Flink任务提交至集群处理。
本实施例提供的基于Flink引擎的业务数据处理方法中，通过将实时业务数据基于标准JSON数据协议转换成JSON文件，使得数据接入方式变得更加灵活，无论是可视化拖拽、代码构建、甚至手动编辑等方式生成JSON文件，都可接入Flink引擎，有利于降低开发门槛提高开发效率，接着，校验并解析上述JSON文件，使之映射为与之对应的实体类信息，之后根据实体类信息利用Flink引擎构建Flink任务分发至相应集群处理，由于Flink引擎作为新一代的实时组件，具有吞吐量高、实时性高、优秀的内存管理和流控等优点，因此可极大提高业务数据的处理效率。
具体地，上述实施例中接收JSON文件，JSON文件由实时业务数据，基 于预设的标准JSON数据协议生成的方法包括：
基于Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；通过标准JSON数据协议将实时业务数据转换生成JSON文件；将JSON文件发送至服务端中的Flink引擎。
具体实施时，在标准JSON数据协议预设完成后，根据业务场景，通过可视化拖拽、代码构建、甚至手动编辑等方式生成JSON文件方式，生成符合预定义协议的JSON文件(.json文件)，然后将JSON文件上传至中转文件系统或以报文方式发送至服务端中的Flink引擎，其中，上述抽象建模为本领域技术人员熟知的技术手段，本实施例在此不做赘述。
请继续参阅图2，上述实施例中校验并解析JSON文件，映射为与JSON文件对应的实体类信息的方法包括：
Flink引擎调用标准JSON数据协议对接收到的JSON文件合法性实施校验；合法性校验通过后，利用Flink引擎中的解析器解析JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映射，生成实体类信息。
具体实施时，当Flink引擎收到JSON文件后自动调用上述标准JSON数据协议对JSON文件的合法性实施校验，其中，校验的对象包括json语法和语言节点属性值，当合法性校验通过后，利用Flink引擎中的解析器解析JSON文件，并将JSON文件与预定义的本地原生代码Flink数据实体类进行映射，生成实体类信息，实现数据流转；需要说明的是，上述针对JSON文件的合法性校验和JSON文件的解析过程为本领域技术人员常用的技术手段，本实施例再次不做赘述。
进一步地，上述实施例中的根据实体类信息利用Flink引擎构建Flink任务，并将Flink任务提交至集群处理的方法包括：
从实体类信息中提取配置信息用于配置Flink引擎的运行环境，配置信息包括节点属性值；提取实体类信息的节点属性值，并在运行环境中依次执行注册数据源Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；通过Flink引擎处理JSON文件生 成Flink任务，并将其提交至集群处理。
优选地，上述实施例在配置Flink引擎之前还包括：
基于配置的运行环境对JSON文件进行预校验，确保任务可被Flink引擎解析。
为了便于理解，本实施例采用下述方案做示例性说明：
请参阅图3，首先根据具体的业务逻辑，利用JSON生成器拖拽相应的组件至任务画布上，组件划分纯粹是从业务层面进行，并且每个组件之间由箭头连接，表明数据流向。
接着通过.json语言的节点属性值(tableNodeList)的方式描述各组件和组件之间的关系，如使用节点属性值(tableNodeList)描述各个组件，使用属性值(linkList)描述组件之间的关系，如图4所示。
当需要提交实时任务时，将.json文件发送至Flink引擎，由Flink引擎对.json文件进行解析并进行实体类数据映射，继而构建Flink运行环境、注册自定义函数并提交至Yarn运行。
可见，相较于现有的方案在开发实时任务时，需要重复配置运行环境，执行注册自定义函数UDF、注册数据源Source和接入Sink输出等操作，本实施例通过可视化拖拽的方式节省了上述操作流程，用户无需关注这些重复性工作，通过转交Flink引擎构建、处理，能够大幅降低开发门槛并提高开发效率。
实施例二
本实施例提供一种基于Flink引擎的业务数据处理装置，包括：
转换单元，用于接收JSON文件，JSON文件由实时业务数据基于预设的标准JSON数据协议生成；
解析单元，用于校验并解析JSON文件，映射为与JSON文件对应的实体类信息；
任务构建单元，用于根据实体类信息利用Flink引擎构建Flink任务，并 将Flink任务提交至集群处理。
优选地，转换单元包括：
标准协议预设模块，用于基于Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；
数据转换模块，用于通过标准JSON数据协议将实时业务数据转换生成JSON文件；
数据发送模块，用于将JSON文件发送至服务端中的Flink引擎。
优选地，解析单元包括：
第一校验模块，用于Flink引擎调用标准JSON数据协议对接收到的JSON文件合法性实施校验；
解析模块，用于在合法性校验通过后，利用Flink引擎中的解析器解析JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映射，生成实体类信息。
优选地，任务构建单元包括：
环境配置模块，用于从实体类信息中提取配置信息用于配置Flink引擎的运行环境，配置信息包括节点属性值；
第二校验模块，基于配置的运行环境对JSON文件进行预校验，确保任务可被Flink引擎解析；
引擎配置模块，用于提取实体类信息的节点属性值，并在运行环境中依次执行注册数据源Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；
任务分发模块，用于通过Flink引擎处理JSON文件生成Flink任务，并将其提交至集群处理。
与现有技术相比，本实施例提供的基于Flink引擎的业务数据处理装置的有益效果与上述实施例提供的基于Flink引擎的业务数据处理方法的有益效果相同，在此不做赘述。
实施例三
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于Flink引擎的业务数据处理方法的步骤。
与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的基于Flink引擎的业务数据处理方法的有益效果相同，在此不做赘述。
本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，上述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

  1. 一种基于Flink引擎的业务数据处理方法，其特征在于，包括：
    接收JSON文件，所述JSON文件由实时业务数据基于预设的标准JSON数据协议生成；
    校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息；
    根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理。
  2. 根据权利要求1所述的方法，其特征在于，接收JSON文件，所述JSON文件由实时业务数据，基于预设的标准JSON数据协议生成的方法包括：
    基于所述Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；
    通过所述标准JSON数据协议将实时业务数据转换生成所述JSON文件；
    将所述JSON文件发送至服务端中的Flink引擎。
  3. 根据权利要求1所述的方法，其特征在于，校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息的方法包括：
    Flink引擎调用所述标准JSON数据协议对接收到的JSON文件合法性实施校验；
    合法性校验通过后，利用Flink引擎中的解析器解析所述JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映射，生成实体类信息。
  4. 根据权利要求1所述的方法，其特征在于，根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理的方法包括：
    从所述实体类信息中提取配置信息用于配置Flink引擎的运行环境，所述配置信息包括节点属性值；
    提取所述实体类信息的节点属性值，并在运行环境中依次执行注册数据源 Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；
    通过Flink引擎处理所述JSON文件生成Flink任务，并将其提交至集群处理。
  5. 根据权利要求4所述的方法，其特征在于，在配置Flink引擎之前还包括：
    基于配置的运行环境对所述JSON文件进行预校验，确保任务可被Flink引擎解析。
  6. 一种基于Flink引擎的业务数据处理装置，其特征在于，包括：
    转换单元，用于接收JSON文件，所述JSON文件由实时业务数据基于预设的标准JSON数据协议生成；
    解析单元，用于校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息；
    任务构建单元，用于根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理。
  7. 根据权利要求6所述的装置，其特征在于，所述转换单元包括：
    标准协议预设模块，用于基于所述Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；
    数据转换模块，用于通过所述标准JSON数据协议将实时业务数据转换生成所述JSON文件；
    数据发送模块，用于将所述JSON文件发送至服务端中的Flink引擎。
  8. 根据权利要求6所述的装置，其特征在于，所述解析单元包括：
    第一校验模块，用于Flink引擎调用所述标准JSON数据协议对接收到的 JSON文件合法性实施校验；
    解析模块，用于在合法性校验通过后，利用Flink引擎中的解析器解析所述JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映射，生成实体类信息。
  9. 根据权利要求8所述的装置，其特征在于，所述任务构建单元包括：
    环境配置模块，用于从所述实体类信息中提取配置信息用于配置Flink引擎的运行环境，所述配置信息包括节点属性值；
    第二校验模块，基于配置的运行环境对所述JSON文件进行预校验，确保任务可被Flink引擎解析；
    引擎配置模块，用于提取所述实体类信息的节点属性值，并在运行环境中依次执行注册数据源Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；
    任务分发模块，用于通过Flink引擎处理所述JSON文件生成Flink任务，并将其提交至集群处理。
  10. 一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至5任一项所述方法的步骤。
PCT/CN2020/097832 2019-08-26 2020-06-24 基于Flink引擎的业务数据处理方法及装置 WO2021036447A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CA3152829A CA3152829A1 (en) 2019-08-26 2020-06-24 Method and apparatus for processing business data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910789458.2A CN110704518B (zh) 2019-08-26 2019-08-26 基于Flink引擎的业务数据处理方法及装置
CN201910789458.2 2019-08-26

Publications (1)

Publication Number Publication Date
WO2021036447A1 true WO2021036447A1 (zh) 2021-03-04

Family

ID=69193582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/097832 WO2021036447A1 (zh) 2019-08-26 2020-06-24 基于Flink引擎的业务数据处理方法及装置

Country Status (3)

Country Link
CN (1) CN110704518B (zh)
CA (1) CA3152829A1 (zh)
WO (1) WO2021036447A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113844976A (zh) * 2021-09-10 2021-12-28 北京声智科技有限公司 告警数据的处理方法、装置、计算机设备和存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704518B (zh) * 2019-08-26 2022-11-08 苏宁云计算有限公司 基于Flink引擎的业务数据处理方法及装置
CN111240693A (zh) * 2020-01-17 2020-06-05 北京三快在线科技有限公司 实时数据处理方法、装置、设备及存储介质
CN113448923B (zh) * 2020-04-17 2023-09-12 北京新氧科技有限公司 文件生成方法、装置及终端
CN111930589B (zh) * 2020-07-02 2021-07-27 上海微亿智造科技有限公司 流式任务自动化监控系统及方法
CN112230616A (zh) * 2020-10-28 2021-01-15 腾讯科技（深圳）有限公司 一种联动控制方法、装置及联动中间件
CN112287007B (zh) * 2020-10-30 2022-02-11 常州微亿智造科技有限公司 基于Flink SQL引擎的工业生产数据实时处理方法、系统
CN112612514B (zh) * 2020-12-31 2023-11-28 青岛海尔科技有限公司 程序开发方法和装置、存储介质及电子装置
CN113076380B (zh) * 2021-04-27 2022-07-26 苏州科达科技股份有限公司 数据同步方法、装置、系统、设备及存储介质
CN113504896B (zh) * 2021-07-12 2023-08-18 云南腾云信息产业有限公司 一种应用程序的业务数据处理方法、装置及移动终端
CN113504904A (zh) * 2021-07-26 2021-10-15 中国平安人寿保险股份有限公司 用户定义函数实现方法、装置、计算机设备和存储介质
CN115795242A (zh) * 2023-02-09 2023-03-14 云筑信息科技(成都)有限公司 一种基于Flink流式计算引擎实现海量数据近实时处理的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170075693A1 (en) * 2015-09-16 2017-03-16 Salesforce.Com, Inc. Handling multiple task sequences in a stream processing framework
CN107688659A (zh) * 2017-09-08 2018-02-13 北京奇艺世纪科技有限公司 一种数据处理方法及装置
CN108984155A (zh) * 2018-05-17 2018-12-11 阿里巴巴集团控股有限公司 数据处理流程设定方法和装置
CN109814865A (zh) * 2019-01-18 2019-05-28 四川长虹电器股份有限公司 一种基于json数据格式的移动应用页面生成方法
CN110019651A (zh) * 2019-03-01 2019-07-16 广州亚美信息科技有限公司 一种流式规则引擎及业务数据处理方法
CN110704518A (zh) * 2019-08-26 2020-01-17 苏宁云计算有限公司 基于Flink引擎的业务数据处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480202B (zh) * 2017-07-18 2020-06-02 湖南大学 一种用于多并行处理框架的数据处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170075693A1 (en) * 2015-09-16 2017-03-16 Salesforce.Com, Inc. Handling multiple task sequences in a stream processing framework
CN107688659A (zh) * 2017-09-08 2018-02-13 北京奇艺世纪科技有限公司 一种数据处理方法及装置
CN108984155A (zh) * 2018-05-17 2018-12-11 阿里巴巴集团控股有限公司 数据处理流程设定方法和装置
CN109814865A (zh) * 2019-01-18 2019-05-28 四川长虹电器股份有限公司 一种基于json数据格式的移动应用页面生成方法
CN110019651A (zh) * 2019-03-01 2019-07-16 广州亚美信息科技有限公司 一种流式规则引擎及业务数据处理方法
CN110704518A (zh) * 2019-08-26 2020-01-17 苏宁云计算有限公司 基于Flink引擎的业务数据处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113844976A (zh) * 2021-09-10 2021-12-28 北京声智科技有限公司 告警数据的处理方法、装置、计算机设备和存储介质
CN113844976B (zh) * 2021-09-10 2023-04-25 北京声智科技有限公司 告警数据的处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110704518B (zh) 2022-11-08
CA3152829A1 (en) 2021-03-04
CN110704518A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
WO2021036447A1 (zh) 基于Flink引擎的业务数据处理方法及装置
US9690822B2 (en) System and method for metadata level validation of custom setup objects
US11537606B2 (en) Solution for implementing computing service based on structured query language statement
US7415444B2 (en) Determining compliance rates for probabilistic requests
CN110765102B (zh) 业务数据的处理方法、装置、计算机设备和存储介质
CN110781082A (zh) 接口的测试用例的生成方法及装置、介质和设备
CN110688828A (zh) 文件处理方法及装置、文件处理系统、计算机设备
CN114205230B (zh) 云原生网元的配置方法、系统、介质及电子设备
CN110659018A (zh) 一种流程引擎实现方法及装置
CN108984202B (zh) 一种电子资源分享方法、装置和存储介质
CN111176859A (zh) 服务的调用方法、装置及电子设备
CN111127181A (zh) 一种凭证记账方法和装置
CN111309621A (zh) 接口测试方法、系统、设备及存储介质
CN114237853A (zh) 应用于异构系统的任务执行方法、装置、设备、介质和程序产品
CN110737425B (zh) 一种计费平台系统的应用程序的建立方法及装置
CN112688802B (zh) 一种基于api网关的高效能交换中间件
CN113139373A (zh) 基于动态建模生成业财凭证的方法、系统及设备
CN112634005A (zh) 生成财务凭证的方法、装置和电子设备
CN114048514B (zh) 一种电子签署工作流引擎生成方法和更新包嵌入方法
CN109858905B (zh) 跨系统的电子凭证处理方法及装置
CN112148762A (zh) 一种实时数据流的统计方法和装置
CN115391343A (zh) 账单数据处理方法、装置、电子设备和存储介质
CN115145652A (zh) 一种数据处理任务的创建方法、装置、设备及介质
WO2022033118A1 (zh) 一种分布式前端工具的使用方法及系统
CN114707968A (zh) 一种基于电力大数据的流程告示牌

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858064

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3152829

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20858064

Country of ref document: EP

Kind code of ref document: A1