WO2021047240A1 - 一种基于Flink引擎的数据解析方法及装置 - Google Patents

一种基于Flink引擎的数据解析方法及装置 Download PDF

Info

Publication number
WO2021047240A1
WO2021047240A1 PCT/CN2020/097920 CN2020097920W WO2021047240A1 WO 2021047240 A1 WO2021047240 A1 WO 2021047240A1 CN 2020097920 W CN2020097920 W CN 2020097920W WO 2021047240 A1 WO2021047240 A1 WO 2021047240A1
Authority
WO
WIPO (PCT)
Prior art keywords
parser
data
flink
data source
information
Prior art date
Application number
PCT/CN2020/097920
Other languages
English (en)
French (fr)
Inventor
陈杰
孙迁
张毅
刘建双
王广邦
Original Assignee
苏宁云计算有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 苏宁云计算有限公司 filed Critical 苏宁云计算有限公司
Priority to CA3154035A priority Critical patent/CA3154035A1/en
Publication of WO2021047240A1 publication Critical patent/WO2021047240A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Definitions

  • the invention relates to the field of Internet technology, and in particular to a data analysis method and device based on a Flink engine.
  • the embodiments of the present invention provide a data analysis method and device based on the Flink engine, so as to overcome the problem that the existing calculation engine in the prior art cannot satisfy multiple data formats.
  • the technical solution adopted by the present invention is:
  • a data analysis method based on the Flink engine includes the following steps:
  • the parser obtained from the distributed system is used to analyze the to-be-analyzed data that is sent to the Flink data source in advance and corresponds to the data source information to generate analytical data.
  • the using the parser obtained from the distributed system to analyze the to-be-parsed data corresponding to the data source information sent to the Flink data source in advance, and generating the parsed data includes:
  • the to-be-analyzed data corresponding to the data source information sent in advance to the Flink data source is analyzed to generate analysis data.
  • the method further includes:
  • the information of the parser is duplicated with the information of other parsers in the distributed file system, and if it is duplicated, the information of the parser is modified, and the information of the parser includes at least the name of the parser.
  • the method further includes:
  • the method further includes:
  • a data analysis device based on a Flink engine includes:
  • the information receiving module is used to receive the analysis logic and data source information configured by the user through the external interface of the Flink platform;
  • a parser generation module configured to generate a parser according to the parsing logic and the data source information
  • the parser upload module is used to upload the parser to the distributed file system
  • a parser loading module configured to obtain the parser from the distributed system
  • the data analysis module is configured to use the parser obtained from the distributed system to analyze the to-be-analyzed data that is sent to the Flink data source in advance and corresponds to the data source information to generate analysis data.
  • the data analysis module includes:
  • the first generating unit is configured to bind the parser loaded from the distributed file system with the Flink task to generate a Flink execution graph
  • the second generating unit is used to submit the Flink execution graph to the running environment to generate a task graph
  • the data analysis unit is configured to analyze the to-be-analyzed data corresponding to the data source information that is sent to the Flink data source in advance according to the task graph to generate analysis data.
  • the device further includes:
  • the first verification module is configured to verify whether the information of the parser is duplicated with the information of other parsers in the distributed file system, and if it is duplicated, modify the information of the parser, and the parser
  • the information includes at least the resolver name.
  • the device further includes:
  • the parser test module inputs the data sample into the parser for parsing, obtains the parsing result, and judges whether the configuration of the parser is correct according to the parsing result.
  • the device further includes:
  • the second verification module is used to verify whether the data source information of the parser matches the data source information of the data to be parsed sent to the Flink data source in advance.
  • the data analysis method and device based on the Flink engine provided by the embodiments of the present invention replace the Flink native parser by generating a parser based on the parsing logic configured by the user and data source information, thereby being able to analyze data to be parsed in different formats. Meet a variety of business scenarios;
  • the Flink engine-based data analysis method and device provided by the embodiments of the present invention receive user-configured analysis logic and data source information through the development of an external interface of the Flink platform to generate a parser to realize the scalability of various services;
  • the Flink engine-based data analysis method and device provided by the embodiments of the present invention extend the format of Flink's original data source by binding the parser loaded from the distributed file system to the Flink task;
  • the task graph is generated by submitting the Flink execution graph to the running environment to complete smooth switching between the execution graph after expanding the data source and the Flink native execution graph.
  • Fig. 1 is a flow chart showing a data analysis method based on Flink engine according to an exemplary embodiment
  • Fig. 2 shows the use of the parser obtained from the distributed system to parse the data to be parsed corresponding to the data source information sent to the Flink data source in advance according to an exemplary embodiment to generate parsed data Flow chart
  • Fig. 3 is a schematic structural diagram of a data analysis device based on a Flink engine according to an exemplary embodiment.
  • the data analysis method and device based on the Flink engine provided by the embodiments of the present invention mainly expand the diversity of data formats in real business scenarios.
  • the existing supported data source formats mainly include json, avro, etc. Conventional format.
  • data formats such as special symbolic links, data encryption, etc., which are important reasons for data diversity. Therefore, in order to increase the compatibility of the platform, in the embodiment of the present invention, the complex data logic analysis of the Flink computing platform is developed for the user, so that the user can control the data type entering the Flink data source by himself, and achieve the purpose of supporting the data diversity of the platform.
  • Fig. 1 is a flowchart showing a data analysis method based on Flink engine according to an exemplary embodiment. Referring to Fig. 1, the method includes the following steps:
  • S1 Receive the analysis logic and data source information configured by the user through the external interface of the Flink platform.
  • a Flink platform external interface is developed on the Flink platform, and SQL-like language can be used during development.
  • SQL-like language is a language similar to MySql.
  • the analysis logic and data source information configured by the user are received through the external interface of the Flink platform.
  • the user when configuring the parsing logic and data source information, the user can first obtain the data source format and parsing rules of the data to be parsed, and then perform a verification on the data source format and parsing rules of the data to be parsed. Whether the two correspond or not, if they correspond, the analysis logic and data source information are configured according to the data source format of the data to be parsed and its analysis rules.
  • the configured data source information includes field information, data type, field description, etc. It should be noted here that, in the embodiment of the present invention, the analysis logic is not specifically limited, and the user can modify or customize the analysis logic according to actual needs or data to be analyzed.
  • S2 Generate a parser according to the parsing logic and the data source information, and upload the parser to the distributed file system.
  • a corresponding parser is generated from the parsing logic and data source information obtained in the above steps, and the parser is uploaded to the parser warehouse.
  • a distributed file system ie, HDFS
  • the parser warehouse will continue to be expanded, and the parsing functions will continue to be enriched to ensure the robustness of the Flink engine (ie, the calculation engine). That is to say, as the number of user-customized parsers continues to increase, the functions of the parser will also increase. More data formats and data rules can be parsed. The more users, the more tasks are performed, and the parser warehouse will The more perfect.
  • the parser can be uploaded to the distributed file system in the format of a Jar package.
  • S3 Use the parser obtained from the distributed system to analyze the to-be-analyzed data that is sent to the Flink data source in advance and corresponds to the data source information to generate analysis data.
  • the user can first send the data to be analyzed to the Flink data source. Then, a parser corresponding to the data to be analyzed is obtained from the distributed system, and the parser is used to analyze the data to be analyzed to generate analysis data.
  • the parser corresponding to the data to be parsed from the distributed system it can be obtained according to the data source information, that is, the parser whose data source information is consistent with the data source information of the data to be parsed is obtained from the distributed system.
  • the external interface of the Flink platform is set to receive the parsing logic and data source information configured by the user to generate a parser, and the parsing logic and data source information are based on the data source format and the data source format of the data to be parsed.
  • the parsing rules are configured, so the generated parser is corresponding to the data to be parsed, and then the parser is uploaded to the distributed system (here the distributed system is used as a parser warehouse), and the parser in the distributed system
  • the parser and the parsing function are expanded. Therefore, the method provided by the embodiment of the present invention can realize that the analysis logic does not depend on the native parser provided by Flink. Users can modify or customize the analysis logic according to actual needs, and dynamically configure the parser corresponding to the data to be analyzed.
  • the parser is loaded when the engine task is running, and the data to be parsed is processed.
  • FIG. 2 shows the use of the parser obtained from the distributed system to analyze the data to be parsed corresponding to the data source information that is sent to the Flink data source in advance according to an exemplary embodiment, to generate parsed data
  • the parser obtained from the distributed system is used to pair the AND that is sent to the Flink data source in advance. Analyzing the to-be-analyzed data corresponding to the data source information, and generating the parsed data includes:
  • the parser needs to be bound to the corresponding Flink task, that is, the parser loaded from the distributed file system is bound to the corresponding Flink task to realize the parser and Flink
  • the task pipelines are interconnected, and then the Flink execution graph is generated (the data source of the Flink execution graph here has been expanded, and the data source of the data to be parsed has been added), thereby completing the expansion of the original Flink data source format.
  • the Flink task loads the parser (ie Jar package) from the distributed file system to complete this step.
  • the Flink execution graph obtained in the above steps is submitted to the operating environment to generate a task graph (ie Job graph), which can perfectly combine the Flink execution graph after expanding the data source with the Flink native execution graph (ie the data source is not available). Flink execution graph during expansion) for smooth switching, using the Flink execution graph after expanding the data source to replace the Flink native execution graph.
  • a task graph ie Job graph
  • S303 Analyze the to-be-analyzed data corresponding to the data source information that is pre-sent to the Flink data source according to the task graph, and generate analysis data.
  • the user will send the data to be parsed to the Flink data source in advance.
  • the data to be analyzed corresponding to the data source information of the parser is obtained from the Flink data source, and the analytical data is analyzed according to the task graph to obtain the analytical data.
  • the method before uploading the parser to the distributed file system, the method further includes:
  • the information of the parser is duplicated with the information of other parsers in the distributed file system, and if it is duplicated, the information of the parser is modified, and the information of the parser includes at least the name of the parser.
  • the information of the parser After generating the parser corresponding to the data to be parsed, before uploading the parser to the distributed file system, you can first check whether the information of the parser is duplicated with the information of other parsers in the distributed file system to prevent The same information corresponds to different parsers to avoid problems such as errors in subsequent calls. If it is verified that the information of the parser is duplicated with the information of other parsers in the distributed file system, the information of the parser needs to be modified.
  • the information of the parser may also include a description of the function of the parser, the path name of the parser, and so on.
  • the operation of modifying the information of the parser includes: renaming the parser, describing the function of the parser, and inputting the file name (that is, the path name) of the parser, and so on. If it is verified that the information of the parser is not duplicated with the information of other parsers in the distributed file system, there is no need to modify the information of the parser, and the parser can be directly uploaded to the distributed file system.
  • the method before uploading the parser to the distributed file system, the method further includes:
  • the parser may also be tested first.
  • a pre-prepared data sample can be input into the parser for analysis, to obtain the analysis result, and determine whether the configuration of the parser is correct according to the analysis result. If it is correct, upload the parser to the distributed file system; otherwise, the configuration of the parser needs to be adjusted until the obtained parsing result meets the requirements.
  • the parser obtained from the distributed system is used to pair the data to be parsed that is sent to the Flink data source in advance and corresponds to the data source information.
  • the method further includes:
  • the parser and the corresponding data to be parsed are verified to verify whether the parsing logic of the parser corresponds to the actual data to be parsed.
  • the parser can be reselected from the distributed file system for verification.
  • the method further includes:
  • the user selects the parser from the distributed file system and binds the data source node of the Flink platform according to the actual task to realize the expanded source data processing.
  • Fig. 3 is a schematic structural diagram of a data analysis device based on a Flink engine according to an exemplary embodiment. Referring to Fig. 3, the device includes:
  • the information receiving module is used to receive the analysis logic and data source information configured by the user through the external interface of the Flink platform;
  • a parser generation module configured to generate a parser according to the parsing logic and the data source information
  • the parser upload module is used to upload the parser to the distributed file system
  • a parser loading module configured to obtain the parser from the distributed system
  • the data analysis module is configured to use the parser obtained from the distributed system to analyze the to-be-analyzed data that is sent to the Flink data source in advance and corresponds to the data source information to generate analysis data.
  • the data analysis module includes:
  • the first generating unit is configured to bind the parser loaded from the distributed file system with the Flink task to generate a Flink execution graph
  • the second generating unit is used to submit the Flink execution graph to the running environment to generate a task graph
  • the data analysis unit is configured to analyze the to-be-analyzed data corresponding to the data source information that is sent to the Flink data source in advance according to the task graph to generate analysis data.
  • the device further includes:
  • the first verification module is configured to verify whether the information of the parser is duplicated with the information of other parsers in the distributed file system, and if it is duplicated, modify the information of the parser, and the parser
  • the information includes at least the resolver name.
  • the device further includes:
  • the parser test module inputs the data sample into the parser for parsing, obtains the parsing result, and judges whether the configuration of the parser is correct according to the parsing result.
  • the device further includes:
  • the second verification module is used to verify whether the data source information of the parser matches the data source information of the data to be parsed sent to the Flink data source in advance.
  • the data analysis method and device based on the Flink engine provided by the embodiments of the present invention replace the Flink native parser by generating a parser based on the parsing logic configured by the user and data source information, thereby being able to analyze data to be parsed in different formats. Meet a variety of business scenarios;
  • the Flink engine-based data analysis method and device provided by the embodiments of the present invention receive user-configured analysis logic and data source information through the development of an external interface of the Flink platform to generate a parser to realize the scalability of various services;
  • the Flink engine-based data analysis method and device provided by the embodiments of the present invention extend the format of Flink's original data source by binding the parser loaded from the distributed file system to the Flink task;
  • the task graph is generated by submitting the Flink execution graph to the running environment to complete smooth switching between the execution graph after expanding the data source and the Flink native execution graph.
  • the data analysis device based on the Flink engine provided in the above embodiment triggers the data analysis service
  • only the division of the above-mentioned functional modules is used as an example for illustration. In actual applications, the above-mentioned function allocation can be different according to needs.
  • the function module is completed, that is, the internal structure of the device is divided into different function modules to complete all or part of the functions described above.
  • the Flink engine-based data analysis device provided in the above embodiment and the Flink engine-based data analysis method embodiment belong to the same concept, that is, the device is based on the Flink engine-based data analysis method, and the specific implementation process is described in the method. The embodiments will not be repeated here.
  • the program can be stored in a computer-readable storage medium.
  • the storage medium mentioned can be a read-only memory, a magnetic disk or an optical disk, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种基于Flink引擎的数据解析方法及装置，该方法包括：通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；根据解析逻辑以及数据源信息生成解析器，并将解析器上传至分布式文件系统中；使用从分布式系统中获取的解析器对预先发送至Flink数据源的与数据源信息对应的待解析数据进行解析，生成解析数据。本发明通过根据用户配置的解析逻辑以及数据源信息生成解析器替代Flink原生解析器，从而能够对不同格式的待解析数据进行解析，满足多种业务场景，通过开发Flink平台对外接口来接收用户配置的解析逻辑以及数据源信息以生成解析器，实现对各种业务的拓展性。

Description

一种基于Flink引擎的数据解析方法及装置 技术领域
本发明涉及互联网技术领域，特别涉及一种基于Flink引擎的数据解析方法及装置。
背景技术
在如今的大数据时代，业务对实时的数据处理需求日趋增大，对于业务开发人员来说，了解和掌握一套实时计算引擎并用之开发完整的流程，无疑成本是巨大的。目前常用的数据源格式主要包含json和avro格式。但是对于一些特殊的业务场景，数据格式可能是用户自己定义的，并不是常规的格式，或者对于一些敏感信息，会对数据进行加密，对于此类特殊数据通过普通的解析是不能满足需求的，但是对于后续的数据处理计算逻辑又是相对统一，亟需提出一种新的方法以解决各种数据格式的问题。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种基于Flink引擎的数据解析方法及装置，以克服现有技术中现有的计算引擎不能满足多种数据格式等问题。
为解决上述一个或多个技术问题，本发明采用的技术方案是：
一方面，提供了一种基于Flink引擎的数据解析方法，该方法包括如下步骤：
通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；
根据所述解析逻辑以及所述数据源信息生成解析器，并将所述解析器上传至分布式文件系统中；
使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
进一步的，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据包括：
将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图；
将所述Flink执行图提交到运行环境，生成任务图；
根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
进一步的，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：
校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。
进一步的，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：
将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。
进一步的，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析前，所述方法还包括：
校验所述解析器的数据源信息与预先发送至Flink数据源的待解析数据的数据源信息是否匹配。
另一方面，提供了一种基于Flink引擎的数据解析装置，所述装置包括：
信息接收模块，用于通过Flink平台对外接口接收用户配置的解析逻辑以及 数据源信息；
解析器生成模块，用于根据所述解析逻辑以及所述数据源信息生成解析器；
解析器上传模块，用于将所述解析器上传至分布式文件系统中；
解析器加载模块，用于从所述分布式系统中获取所述解析器；
数据解析模块，用于使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
进一步的，所述数据解析模块包括：
第一生成单元，用于将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图；
第二生成单元，用于将所述Flink执行图提交到运行环境，生成任务图；
数据解析单元，用于根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
进一步的，所述装置还包括：
第一校验模块，用于校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。
进一步的，所述装置还包括：
解析器测试模块，将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。
进一步的，所述装置还包括：
第二校验模块，用于校验所述解析器的数据源信息与预先发送至Flink数据源的待解析数据的数据源信息是否匹配。
本发明实施例提供的技术方案带来的有益效果是：
1、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过根据用户配置的解析逻辑以及数据源信息生成解析器替代Flink原生解析器，从而能 够对不同格式的待解析数据进行解析，满足多种业务场景；
2、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过开发Flink平台对外接口来接收用户配置的解析逻辑以及数据源信息以生成解析器，实现对各种业务的拓展性；
3、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过将从分布式文件系统加载到的解析器与Flink任务进行绑定，扩展了Flink原有的数据源的格式；
4、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过将Flink执行图提交到运行环境生成任务图，完成将拓展数据源后的执行图与Flink原生执行图进行平滑切换。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的基于Flink引擎的数据解析方法的流程图；
图2是根据一示例性实施例示出的使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据的流程图；
图3是根据一示例性实施例示出的基于Flink引擎的数据解析装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描 述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于Flink引擎的数据解析方法及装置主要是对于真实的业务场景中数据格式的多样性进行拓展，对于Fink来说，现有的支持的数据源格式主要有json、avro等常规的格式。但是由于对于互联网企业来说，数据的安全性是十分重要的，因此会出现数据格式的多样性，比如用特殊符号链接、数据加密等，这些都是引起数据多样性的重要原因。所以为了增加平台的兼容性，本发明实施例中，将Flink计算平台的复杂数据逻辑解析对用户开发，可以让用户自己控制进入Flink数据源的数据类型，达到平台支持数据多样性的目的。
图1是根据一示例性实施例示出的基于Flink引擎的数据解析方法的流程图，参照图1所示，该方法包括如下步骤：
S1：通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息。
具体的，在Flink平台上开发一个Flink平台对外接口，开发时可以使用类SQL语言，类SQL语言是一种类似于MySql的语言。通过该Flink平台对外接口接收用户配置的解析逻辑以及数据源信息。其中，在配置解析逻辑以及数据源信息时，用户可以先获取待解析数据的数据源格式及其解析规则，然后对获取到待解析数据的数据源格式及其解析规则进行一个校验，校验两者是否对应，若是对应，则根据待解析数据的数据源格式及其解析规则进行解析逻辑以及数据源信息的配置。配置的数据源信息包括字段信息、数据类型、字段描述等。这里需要说明的是，本发明实施例中，不对解析逻辑做具体的限定，用户可以根据实际需求或实际需要解析的数据对解析逻辑进行修改或自定义。
S2：根据所述解析逻辑以及所述数据源信息生成解析器，并将所述解析器上传至分布式文件系统中。
具体的，将上述步骤获取到的解析逻辑以及数据源信息生成对应的解析器， 将解析器上传至解析器仓库中。这里需要说明的是，本发明实施例中，选定分布式文件系统(即HDFS)作为解析器仓库。因此，在生成解析器后，将解析器上传至分布式文件系统中。随着上传的解析器的数量的增加，解析器仓库会不断的得到扩展，并且解析的功能也将会不断的丰富，保证Flink引擎(即计算引擎)的健壮性。也就是说，随着用户定制的解析器不断增多，解析器的功能也会随之增加，可以解析更多的数据格式和数据规则，用户越多，任务执行的越多，解析器仓库就会越完善。作为一种较优的实施方式，本发明实施例中，可以将解析器以Jar包的格式上传至分布式文件系统。
S3：使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
具体的，在生成解析器前，用户可以先将待解析数据发送至Flink数据源。然后从分布式系统中获取与该待解析数据对应的解析器，使用该解析器对待解析数据进行解析，生成解析数据。其中，从分布式系统中获取与该待解析数据对应的解析器时，可以根据数据源信息来获取，即从分布式系统中获取数据源信息与待解析数据的数据源信息一致的解析器。
这里需要说明的是，本发明实施例中，设置Flink平台对外接口来接收用户配置的解析逻辑以及数据源信息以生成解析器，而解析逻辑以及数据源信息是根据待解析数据的数据源格式以及其解析规则配置的，因此生成的解析器是与待解析数据对应的，然后将解析器上传至分布式系统(这里的分布式系统是作为解析器仓库使用的)中，对分布式系统中的解析器以及解析功能进行扩展。因此，本发明实施例提供的方法可以实现解析逻辑完全不依赖于Flink提供的原生解析器，用户可以根据实际需求对解析逻辑进行修改或自定义，动态配置提供与待解析数据对应的解析器，引擎任务运行时加载该解析器，对待解析数据进行处理。
图2是根据一示例性实施例示出的使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析， 生成解析数据的流程图，参照图2所示，作为一种较优的实施方式，本发明实施例中，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据包括：
S301：将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图。
具体的，在对待解析数据进行解析前，需要将解析器与对应的Flink任务进行绑定，即将从分布式文件系统加载到的解析器与对应的Flink任务进行绑定，实现了解析器与Flink任务的管道互通，然后生成Flink执行图(这里的Flink执行图的数据源已经被扩展了，增加了待解析数据的数据源)，从而完成对Flink原有的数据源格式的扩展。具体实施时，只需Flink任务从分布式文件系统中加载解析器(即Jar包)即可完成该步骤。
S302：将所述Flink执行图提交到运行环境，生成任务图。
具体的，将上述步骤获取到Flink执行图提交到运行环境中，从而生成任务图(即Job图)，这样可以完美的将拓展数据源后的Flink执行图与Flink原生执行图(即数据源未扩展时的Flink执行图)进行平滑切换，使用拓展数据源后的Flink执行图替换了Flink原生执行图。
S303：根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
具体的，用户会预先将待解析数据发送至Flink数据源。在任务图生成后，从Flink数据源中获取与解析器的数据源信息对应的待解析数据，根据任务图对该解析数据进行解析，获取解析数据。
作为一种较优的实施方式，本发明实施例中，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：
校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。
具体的，在生成与待解析数据对应的解析器后，将解析器上传到分布式文件系统前，可以先校验该解析器的信息与分布式文件系统中其他解析器的信息是否重复，防止同一信息对应不同的解析器，避免后续调用时出现错误等问题。若是校验出该解析器的信息与分布式文件系统中其他解析器的信息重复，则需要对该解析器的信息进行修改。解析器的信息除了包括解析器名称之外，还可以包括对解析器的功能进行描述、解析器的路径名等。因此对解析器的信息的修改操作包括：对解析器进行重命名、对解析器的功能进行描述、输入解析器的文件名(即路径名)等。若是校验出该解析器的信息与分布式文件系统中其他解析器的信息不重复，则不需要对解析器的信息进行相关修改，可直接将该解析器上传至分布式文件系统。
作为一种较优的实施方式，本发明实施例中，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：
将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。
具体的，在用户将生成的解析器上传至分布式文件系统前，还可以先对该解析器进行测试。具体实施时，可以将预先准备好的数据样例输入到该解析器中进行解析，获取解析结果，根据该解析结果判断解析器的配置是否正确。若是正确，则将该解析器上传至分布式文件系统，否则，还需要对该解析器的配置进行调整，直至获取的解析结果满足要求。
作为一种较优的实施方式，本发明实施例中，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析前，所述方法还包括：
校验所述解析器的数据源信息与预先发送至Flink数据源的待解析数据的数据源信息是否匹配。
具体的，本发明实施例中，使用从分布式系统中获取的解析器对预先发送至Flink数据源的与数据源信息对应的待解析数据进行解析前(即在动态加载解 析器之前)，需要对解析器和对应的待解析数据进行校验，校验解析器的解析逻辑与实际的待解析数据能否对应。具体实施时，可以通过校验解析器的数据源信息与待解析数据的数据源信息是否匹配，若匹配，则说明解析器的解析逻辑与实际的待解析数据对应，否则不对应。作为一种示例，若是校验出解析器的解析逻辑与实际的待解析数据不对应，则可以从分布式文件系统中重新选择解析器来进行校验。
作为一种较优的实施方式，本发明实施例中，所述方法还包括：
用户根据实际任务从分布式文件系统中选择解析器和Flink平台的数据源节点进行绑定，实现拓展的源数据处理。
图3是根据一示例性实施例示出的基于Flink引擎的数据解析装置的结构示意图，参照图3所示，该装置包括：
信息接收模块，用于通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；
解析器生成模块，用于根据所述解析逻辑以及所述数据源信息生成解析器；
解析器上传模块，用于将所述解析器上传至分布式文件系统中；
解析器加载模块，用于从所述分布式系统中获取所述解析器；
数据解析模块，用于使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
作为一种较优的实施方式，本发明实施例中，所述数据解析模块包括：
第一生成单元，用于将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图；
第二生成单元，用于将所述Flink执行图提交到运行环境，生成任务图；
数据解析单元，用于根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
作为一种较优的实施方式，本发明实施例中，所述装置还包括：
第一校验模块，用于校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。
作为一种较优的实施方式，本发明实施例中，所述装置还包括：
解析器测试模块，将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。
作为一种较优的实施方式，本发明实施例中，所述装置还包括：
第二校验模块，用于校验所述解析器的数据源信息与预先发送至Flink数据源的待解析数据的数据源信息是否匹配。
综上所述，本发明实施例提供的技术方案带来的有益效果是：
1、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过根据用户配置的解析逻辑以及数据源信息生成解析器替代Flink原生解析器，从而能够对不同格式的待解析数据进行解析，满足多种业务场景；
2、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过开发Flink平台对外接口来接收用户配置的解析逻辑以及数据源信息以生成解析器，实现对各种业务的拓展性；
3、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过将从分布式文件系统加载到的解析器与Flink任务进行绑定，扩展了Flink原有的数据源的格式；
4、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过将Flink执行图提交到运行环境生成任务图，完成将拓展数据源后的执行图与Flink原生执行图进行平滑切换。
需要说明的是：上述实施例提供的基于Flink引擎的数据解析装置在触发数据解析业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例 提供的基于Flink引擎的数据解析装置与基于Flink引擎的数据解析方法实施例属于同一构思，即该装置是基于该基于Flink引擎的数据解析方法的，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种基于Flink引擎的数据解析方法，其特征在于，所述方法包括如下步骤：
    通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；
    根据所述解析逻辑以及所述数据源信息生成解析器，并将所述解析器上传至分布式文件系统中；
    使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
  2. 根据权利要求1所述的基于Flink引擎的数据解析方法，其特征在于，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据包括：
    将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图；
    将所述Flink执行图提交到运行环境，生成任务图；
    根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
  3. 根据权利要求1或2所述的基于Flink引擎的数据解析方法，其特征在于，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：
    校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。
  4. 根据权利要求1或2所述的基于Flink引擎的数据解析方法，其特征在于，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：
    将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。
  5. 根据权利要求1或2任一所述的基于Flink引擎的数据解析方法，其特征在于，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析前，所述方法还包括：
    校验所述解析器的数据源信息与预先发送至Flink数据源的待解析数据的数据源信息是否匹配。
  6. 一种基于Flink引擎的数据解析装置，其特征在于，所述装置包括：
    信息接收模块，用于通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；
    解析器生成模块，用于根据所述解析逻辑以及所述数据源信息生成解析器；
    解析器上传模块，用于将所述解析器上传至分布式文件系统中；
    解析器加载模块，用于从所述分布式系统中获取所述解析器；
    数据解析模块，用于使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
  7. 根据权利要求6所述的基于Flink引擎的数据解析装置，其特征在于，所述数据解析模块包括：
    第一生成单元，用于将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图；
    第二生成单元，用于将所述Flink执行图提交到运行环境，生成任务图；
    数据解析单元，用于根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。
  8. 根据权利要求6或7所述的基于Flink引擎的数据解析装置，其特征在于，所述装置还包括：
    第一校验模块，用于校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。
  9. 根据权利要求6或7所述的基于Flink引擎的数据解析装置，其特征在于，所述装置还包括：
    解析器测试模块，将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。
  10. 根据权利要求6或7所述的基于Flink引擎的数据解析装置，其特征在于，所述装置还包括：
    第二校验模块，用于校验所述解析器的数据源信息与预先发送至Fli nk数据源的待解析数据的数据源信息是否匹配。
PCT/CN2020/097920 2019-09-10 2020-06-24 一种基于Flink引擎的数据解析方法及装置 WO2021047240A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CA3154035A CA3154035A1 (en) 2019-09-10 2020-06-24 Flink engine-based data parsing method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910850475.2A CN110737631A (zh) 2019-09-10 2019-09-10 一种基于Flink引擎的数据解析方法及装置
CN201910850475.2 2019-09-10

Publications (1)

Publication Number Publication Date
WO2021047240A1 true WO2021047240A1 (zh) 2021-03-18

Family

ID=69267699

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/097920 WO2021047240A1 (zh) 2019-09-10 2020-06-24 一种基于Flink引擎的数据解析方法及装置

Country Status (3)

Country Link
CN (1) CN110737631A (zh)
CA (1) CA3154035A1 (zh)
WO (1) WO2021047240A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114070879A (zh) * 2021-11-26 2022-02-18 安天科技集团股份有限公司 一种数据采集器控制方法、装置及相关设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110737631A (zh) * 2019-09-10 2020-01-31 苏宁云计算有限公司 一种基于Flink引擎的数据解析方法及装置
CN113805851B (zh) * 2021-08-27 2024-10-01 上海得帆信息技术有限公司 一种Flink自动集成方法和系统
CN115756586B (zh) * 2022-11-25 2024-01-19 中电金信软件有限公司 Flink作业的执行方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299150A (zh) * 2018-10-24 2019-02-01 万惠投资管理有限公司 一种可配置多数据源适配规则引擎解决方法
CN109324793A (zh) * 2018-10-24 2019-02-12 北京奇虎科技有限公司 支持算法组件化的处理系统及方法
US20190266271A1 (en) * 2018-02-27 2019-08-29 Elasticsearch B.V. Systems and Methods for Converting and Resolving Structured Queries as Search Queries
CN110737631A (zh) * 2019-09-10 2020-01-31 苏宁云计算有限公司 一种基于Flink引擎的数据解析方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198298B2 (en) * 2015-09-16 2019-02-05 Salesforce.Com, Inc. Handling multiple task sequences in a stream processing framework
US10650008B2 (en) * 2016-08-26 2020-05-12 International Business Machines Corporation Parallel scoring of an ensemble model
CN110019651A (zh) * 2019-03-01 2019-07-16 广州亚美信息科技有限公司 一种流式规则引擎及业务数据处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190266271A1 (en) * 2018-02-27 2019-08-29 Elasticsearch B.V. Systems and Methods for Converting and Resolving Structured Queries as Search Queries
CN109299150A (zh) * 2018-10-24 2019-02-01 万惠投资管理有限公司 一种可配置多数据源适配规则引擎解决方法
CN109324793A (zh) * 2018-10-24 2019-02-12 北京奇虎科技有限公司 支持算法组件化的处理系统及方法
CN110737631A (zh) * 2019-09-10 2020-01-31 苏宁云计算有限公司 一种基于Flink引擎的数据解析方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114070879A (zh) * 2021-11-26 2022-02-18 安天科技集团股份有限公司 一种数据采集器控制方法、装置及相关设备
CN114070879B (zh) * 2021-11-26 2024-01-26 安天科技集团股份有限公司 一种数据采集器控制方法、装置及相关设备

Also Published As

Publication number Publication date
CN110737631A (zh) 2020-01-31
CA3154035A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
WO2021047240A1 (zh) 一种基于Flink引擎的数据解析方法及装置
WO2019153472A1 (zh) 接口自动化测试方法、装置、设备及存储介质
US9910941B2 (en) Test case generation
US10067863B1 (en) Feature targeting of test automation lab machines
US10261810B2 (en) System and method for providing cloud operating system validations for a domain-specific language for cloud services infrastructure
US20180322037A1 (en) Impersonation in test automation
US20090089039A1 (en) System and method of emulating functionality of a web service
US20190050213A1 (en) System and method for generating a domain-specific programming language program from a cloud-based computing system
US20190050210A1 (en) System and method for providing cloud operating system verifications for a domain-specific language for cloud services infrastructure
US11416386B2 (en) Behavior-based comparison of software
US20230305813A1 (en) Continuous integration and development of code in a secure environment
US20130067439A1 (en) Injecting faults into program for testing
US10459698B2 (en) Framework for generating adapters in an integrated development environment
CN111782207A (zh) 任务流代码生成方法、装置、设备及存储介质
US11599456B2 (en) Automated validation of a rest application programming interface
CN111176660A (zh) 一种面向分布式架构的微服务契约管理方法、装置、计算机设备、和可读存储介质
CN114610598A (zh) 测试方法、装置、电子设备及计算机可读存储介质
US10606569B2 (en) Declarative configuration elements
KR102111392B1 (ko) 테스트 통합 관리시스템 및 그 제어방법
US11740995B2 (en) Source quality check service
CN115599683A (zh) 自动化测试方法、装置、设备及存储介质
CN112328503A (zh) 一种软件开发工作平台任务验收方法
Springer et al. Accelerating SCA compliance testing with advanced development tools
CN117354114B (zh) 一种基于云原生架构的数据服务发布方法和系统
CN117493162B (zh) 一种接口测试的数据校验方法、系统、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20863468

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3154035

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20863468

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20863468

Country of ref document: EP

Kind code of ref document: A1