WO2019000628A1 - 源表结构解析方法、系统、应用服务器及计算机可读存储介质 - Google Patents

源表结构解析方法、系统、应用服务器及计算机可读存储介质 Download PDF

Info

Publication number
WO2019000628A1
WO2019000628A1 PCT/CN2017/100050 CN2017100050W WO2019000628A1 WO 2019000628 A1 WO2019000628 A1 WO 2019000628A1 CN 2017100050 W CN2017100050 W CN 2017100050W WO 2019000628 A1 WO2019000628 A1 WO 2019000628A1
Authority
WO
WIPO (PCT)
Prior art keywords
parsing
data
source
table structure
source table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/100050
Other languages
English (en)
French (fr)
Inventor
付军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2019000628A1 publication Critical patent/WO2019000628A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Definitions

  • the present invention relates to the field of computer information technology, and in particular, to a source table structure parsing method, system, application server, and computer readable storage medium.
  • the existing architecture is the server connection data source and the target platform (such as the internal data platform) that resolve the work.
  • the target platform such as the internal data platform
  • the architecture needs to open all the data sources to the internal data platform, and need to open all the data sources to the resolution server.
  • the architecture is complex and the efficiency is low. Therefore, the architecture for parsing the structure of the multi-data source table in the prior art is not reasonable enough and needs to be improved.
  • the present invention provides a source table structure parsing method, system, application server, and computer readable storage medium, which can simplify the architecture design of the application server and each data source, and also improve the parsing efficiency.
  • the present invention provides an application server including a memory, a processor, and a source table structure parsing system stored on the memory and operable on the processor, the source
  • the table structure parsing system is implemented by the processor to implement the following steps:
  • the present invention further provides a source table structure parsing method, which is applied to an application server, and the method includes:
  • the present invention also provides a computer readable storage medium storing an active list structure parsing system, the source table structure parsing system being executable by at least one processor, To achieve the following steps:
  • the present invention further provides a source table structure parsing system, the system comprising:
  • connection module configured to establish a first connection between the data platform and the at least one data source by using a data transmission tool in a data platform, and establish a second connection between the data platform and the application server;
  • a parsing module configured to run a parsing script file preset in the application server, and control the data transfer tool to execute a source table structure parsing task in the parsing script file by using the second connection;
  • a receiving module configured to receive a source table structure of each data source obtained by the data transmission tool and parsed from each data source by using the first connection.
  • the application server, the source table structure parsing method, the source table structure parsing system, and the computer readable storage medium proposed by the present invention establish a first connection between the data platform and each data source in advance, and establish the a second connection between the data platform and the application server, using the first connection to parse the source table structure of each data source from each data source, and returning the source table structure of each data source obtained by the parsing to the second connection to
  • the application server simplifies the architecture design of the application server and each data source, and also improves the parsing efficiency.
  • FIG. 1 is a schematic diagram of an optional application environment of each embodiment of the present invention.
  • FIG. 2 is a schematic diagram of an optional hardware architecture of the application server of FIG. 1;
  • FIG. 3 is a schematic diagram of functional modules of an embodiment of a source table structure analysis system according to the present invention.
  • FIG. 4 is a schematic flowchart of an implementation manner of an embodiment of a method for analyzing a source table structure according to the present invention.
  • first, second and the like in the present invention are for the purpose of description only, and are not to be construed as indicating or implying their relative importance or implicitly indicating the number of indicated technical features. .
  • features defining “first” and “second” may include at least one of the features, either explicitly or implicitly.
  • the technical solutions between the various embodiments may be combined with each other, but must be based on the realization of those skilled in the art, and when the combination of the technical solutions is contradictory or impossible to implement, it should be considered that the combination of the technical solutions does not exist. It is also within the scope of protection required by the present invention.
  • FIG. 1 it is a schematic diagram of an optional application environment according to various embodiments of the present invention.
  • the present invention is applicable to an application environment including, but not limited to, an application server 2, a network 3, a data platform 4, and a data source 5.
  • the application server 2 may be a computing device such as a rack server, a blade server, a tower server, or a rack server.
  • the application server 2 may be an independent server or a server cluster composed of multiple servers.
  • the network 3 may be an intranet, an Internet, a Global System of Mobile communication (GSM), a Wideband Code Division Multiple Access (WCDMA), a 4G network, Wireless or wired networks such as 5G networks, Bluetooth, Wi-Fi, etc.
  • GSM Global System of Mobile communication
  • WCDMA Wideband Code Division Multiple Access
  • 4G Wireless or wired networks
  • 5G networks Bluetooth, Wi-Fi, etc.
  • the application server 2 is communicably connected to the data platform 4 via the network 3, and the data platform 4 is communicably connected to each data source 5 through the network 3.
  • a first connection (or a first type of connection) is established between the data platform 4 and each data source 5, so that the data platform 4 can perform data transmission with each data source 5 through the first connection.
  • a second connection (or a second type of connection) is established between the data platform 4 and the application server 2, so that the data platform 4 can perform data transmission and interaction with the application server 2 through the second connection. .
  • the application server 2 may include, but is not limited to, a memory 21, a processor 22, and a network interface 23 that can communicate with each other through a system bus. It is noted that FIG. 2 only shows the application server 2 with components 21-23, but it should be understood that not all illustrated components may be implemented, and more or fewer components may be implemented instead.
  • the memory 21 includes at least one type of readable storage medium including a flash memory, a hard disk, a multimedia card, a card type memory (eg, SD or DX memory, etc.), and a random access memory (RAM). , static random access memory (SRAM), read only memory (ROM), electrically erasable programmable read only memory (EEPROM), programmable read only memory (PROM), magnetic memory, magnetic disk, optical disk, and the like.
  • the memory 21 may be an internal storage unit of the application server 2, such as a hard disk or memory of the application server 2.
  • the memory 21 may also be an external storage device of the application server 2, such as a plug-in hard disk equipped on the application server 2, a smart memory card (SMC), and a secure digital number. (Secure Digital, SD) card, flash card, etc.
  • the memory 21 may also include both the internal storage unit of the application server 2 and its external storage device.
  • the memory 21 is generally used to store an operating system and various types of application software installed in the application server 2, such as program code of the source table structure analysis system 20. Further, the memory 21 can also be used to temporarily store various types of data that have been output or are to be output.
  • the processor 22 may be a Central Processing Unit (CPU), controller, microcontroller, microprocessor, or other data processing chip in some embodiments.
  • the processor 22 is generally used to control the overall operation of the application server 2, such as executing and the application service.
  • the device 2 performs data interaction or communication related control and processing.
  • the processor 22 is configured to run program code or process data stored in the memory 21, such as running the source table structure analysis system 20 and the like.
  • the network interface 23 may comprise a wireless network interface or a wired network interface, which is typically used to establish a communication connection between the application server 2 and other electronic devices.
  • the network interface 23 is mainly used to connect the application server 2 to the data platform 4 through the network 3, and establish data transmission between the application server 2 and the data platform 4. Channel and communication connections.
  • the present invention proposes a source table structure analysis system 20.
  • the source table structure parsing system 20 may be divided into one or more modules, the one or more modules being stored in the memory 21 and being processed by one or more processors (this The embodiment is executed by the processor 22) to complete the present invention.
  • the source table structure parsing system 20 can be divided into a connection module 201, a parsing module 202, and a receiving module 203.
  • the functional module referred to in the present invention refers to a series of computer program instruction segments capable of performing a specific function, and is more suitable than the program to describe the execution process of the source table structure analysis system 20 in the application server 2.
  • the functions of the respective function modules 201-203 will be described in detail below.
  • the connection module 201 is configured to establish a first connection (or a first type of connection) between the data platform 4 and the at least one data source 5 through a data transmission tool in the data platform 4, and establish the data platform. 4 A second connection (or a second type of connection) to an application server 2 (such as a resolution server).
  • the data platform 4 adopts a Hadoop data platform
  • the data transmission tool is a Sqoop tool set in Hadoop.
  • the data platform and data transfer tool may be of other types.
  • the parsing module 202 is configured to run a parsing script file preset in the application server 2, and control the data transfer tool to perform a source table structure parsing task in the parsing script file by using the second connection.
  • each data source is provided with a corresponding parsing script file.
  • the parsing script file includes, but is not limited to, parsing the first type of data source (such as an MS SQL Server data source). Parse the script file, parse the second parsing script file of the second type data source (such as Oracle data source), parse the third parsing script file of the third type data source (such as MySQL data source), and the like.
  • the first type of data source such as an MS SQL Server data source
  • Parse the script file parse the second parsing script file of the second type data source (such as Oracle data source)
  • parse the third parsing script file of the third type data source such as MySQL data source
  • the data source is a first type of data source, controlling the data transmission tool to execute a source table structure parsing task in the first parsing script file; if the data source is a second class Controlling the data transfer tool to perform a source table structure parsing task in the second parsing script file; if the data source is a third type data source, controlling the data transfer tool to execute the first The source table structure parsing task in the third parsing script file.
  • the receiving module 203 is configured to receive a source table structure of each data source 5 obtained by the data transmission tool from each data source 5 through the first connection.
  • the source table structure of the data source includes, but is not limited to, a data type of each data source, field information included, and the like.
  • controlling the data transfer tool to execute the source table structure parsing task in the parsing script file comprises: when the source table structure parsing task in the parsing script file starts executing, controlling The data transmission tool parses the source table structure of each data source 5 through the first connection, and returns the source table structure of each data source 5 obtained by the parsing to the application server 2 through the second connection.
  • the data transmission tool is controlled to execute a source table structure parsing task in the first parsing script file, and the parsing is obtained by using the second connection.
  • the source table structure of the first type of data source is returned to the application server 2.
  • the data source 5 is a second type of data source, controlling the data transmission tool to perform a source table structure parsing task in the second parsing script file, and parsing the second type obtained by the second connection
  • the source table structure of the data source is returned to the application server 2.
  • the data source 5 is a third type of data source, controlling the data transmission tool to perform a source table structure parsing task in the third parsing script file, and parsing the third type obtained by the second connection
  • the source table structure of the data source is returned to the application server 2.
  • the specific steps of parsing the source table structure include:
  • the data transmission tool According to the type of each data source 5, the data transmission tool generates a script command corresponding to each data source, and sends the script command to the source database for execution.
  • the execution result is the source table structure information corresponding to each data source.
  • the data transmission tool if the data source 5 is a first type of data source, the data transmission tool generates a first script command corresponding to the first type of data source, and sends the first script command to the first type of data source.
  • the corresponding database is executed, and the execution result is the source table structure information corresponding to the first type of data source.
  • the data transmission tool If the data source 5 is a second type of data source, the data transmission tool generates a second script command corresponding to the second type of data source, and sends the second script command to a database corresponding to the second type of data source to execute
  • the execution result is the source table structure information corresponding to the second type of data source.
  • the data transmission tool If the data source 5 is a third type of data source, the data transmission tool generates a third script command corresponding to the third type of data source, and sends the third script command to a database corresponding to the third type of data source to execute
  • the execution result is the source table structure information corresponding to the third type data source.
  • the data platform 4 controls the data transmission tool to push the extracted source table structure information to the application server 2.
  • the application server 2 processes the source table structure information (such as data cleaning and normalization operations) and stores, and can be used for subsequent programs.
  • the application server 2 Since the application server 2 is connected to the data platform 4 only through the second connection, the connection between the application server 2 and each data source 5 is not required, so the architecture is simple and the efficiency of source table structure parsing can be improved.
  • the source table structure is returned to the application server 2.
  • the source table structure parsing system 20 of the present invention establishes a first connection between the data platform 4 and each data source 5 in advance, and establishes a second connection between the data platform 4 and the application server 2. Obtaining a source table structure of each data source by using the first connection from each data source 5, and returning the source table structure of each data source 5 obtained by the parsing to the application server 2 through the second connection, simplifying The architecture design of the application server 2 and each data source 5 also improves the parsing efficiency.
  • the present invention also proposes a source table structure parsing method.
  • FIG. 4 it is a schematic flowchart of an implementation process of an embodiment of a source table structure analysis method according to the present invention.
  • the order of execution of the steps in the flowchart shown in FIG. 4 may be changed according to different requirements, and some steps may be omitted.
  • Step S41 establishing a first connection (or a first type of connection) between the data platform 4 and the at least one data source 5 through a data transmission tool in the data platform 4, and establishing the data platform 4 and an application server. 2 (such as the resolution server) of the second connection (or called the second type of connection).
  • the data platform 4 adopts a Hadoop data platform
  • the data transmission tool is a Sqoop tool set in Hadoop.
  • the data platform and data transfer tool may be of other types.
  • Step S42 running a parsing script file preset in the application server 2, and controlling the data transfer tool to perform a source table structure parsing task in the parsing script file through the second connection.
  • each data source is provided with a corresponding parsing script file.
  • the parsing script file includes, but is not limited to, parsing the first type of data source (such as an MS SQL Server data source). Parse the script file, parse the second parsing script file of the second type data source (such as Oracle data source), parse the third parsing script file of the third type data source (such as MySQL data source), and the like.
  • the first type of data source such as an MS SQL Server data source
  • Parse the script file parse the second parsing script file of the second type data source (such as Oracle data source)
  • parse the third parsing script file of the third type data source such as MySQL data source
  • the data source is a first type of data source, controlling the data transmission tool to execute a source table structure parsing task in the first parsing script file; if the data source is a second type data source Controlling, by the data transfer tool, the source table structure parsing task in the second parsing script file; if the data source is a third type data source, controlling the data transfer tool to execute the third parsing script The source table structure parsing task in the file.
  • Step S43 receiving a source table structure of each data source 5 obtained by the data transmission tool from each data source 5 through the first connection.
  • the source table structure of the data source includes, but is not limited to, a data type of each data source, field information included, and the like.
  • controlling the data transfer tool to execute the source table structure parsing task in the parsing script file comprises: when the source table structure parsing task in the parsing script file starts executing, controlling The data transmission tool parses the source table structure of each data source 5 through the first connection, and returns the source table structure of each data source 5 obtained by the parsing to the application server 2 through the second connection.
  • the data transmission tool is controlled to execute a source table structure parsing task in the first parsing script file, and the parsing is obtained by using the second connection.
  • the source table structure of the first type of data source is returned to the application server 2.
  • the data source 5 is a second type of data source, controlling the data transmission tool to perform a source table structure parsing task in the second parsing script file, and parsing the second type obtained by the second connection
  • the source table structure of the data source is returned to the application server 2.
  • the data source 5 is a third type of data source, controlling the data transmission tool to perform a source table structure parsing task in the third parsing script file, and parsing the third type obtained by the second connection
  • the source table structure of the data source is returned to the application server 2.
  • the specific steps of parsing the source table structure include:
  • the data transmission tool According to the type of each data source 5, the data transmission tool generates a script command corresponding to each data source, and sends the script command to the source database for execution.
  • the execution result is the source table structure information corresponding to each data source.
  • the data transmission tool if the data source 5 is a first type of data source, the data transmission tool generates a first script command corresponding to the first type of data source, and sends the first script command to the first type of data source.
  • the corresponding database is executed, and the execution result is the source table structure information corresponding to the first type of data source.
  • the data transmission tool If the data source 5 is a second type of data source, the data transmission tool generates a second script command corresponding to the second type of data source, and sends the second script command to a database corresponding to the second type of data source to execute
  • the execution result is the source table structure information corresponding to the second type of data source.
  • the data transmission tool If the data source 5 is a third type of data source, the data transmission tool generates a third script command corresponding to the third type of data source, and sends the third script command to a database corresponding to the third type of data source to execute
  • the execution result is the source table structure information corresponding to the third type data source.
  • the data platform 4 controls the data transmission tool to push the extracted source table structure information to the application server 2.
  • the application server 2 processes the source table structure information (such as data cleaning and normalization operations) and stores, and can be used for subsequent programs.
  • the application server 2 Since the application server 2 is connected to the data platform 4 only through the second connection, the connection between the application server 2 and each data source 5 is not required, so the architecture is simple and the efficiency of source table structure parsing can be improved.
  • the method further comprises the steps of:
  • the source table structure is returned to the application server 2.
  • the source table structure parsing method proposed by the present invention establishes a first connection between the data platform 4 and each data source 5 in advance, and establishes a second connection between the data platform 4 and the application server 2, and utilizes
  • the first connection is parsed from each data source 5 to obtain a source table structure of each data source, and the source table structure of each data source 5 obtained by the parsing is returned to the application server 2 through the second connection, which simplifies the application.
  • the architecture design of the server 2 and each data source 5 also improves the parsing efficiency.
  • the present invention also provides a computer readable storage medium (such as a ROM/RAM, a magnetic disk, an optical disk), the computer readable storage medium storing an active table structure analysis system 20, the source
  • the table structure parsing system 20 can be executed by at least one processor 22 to cause the at least one processor 22 to perform the steps of the source table structure parsing method as described above.
  • the foregoing embodiment method can be implemented by means of software plus a necessary general hardware platform, and can also be implemented by hardware, but in many cases, the former is A better implementation.
  • the technical solution of the present invention which is essential or contributes to the prior art, may be embodied in the form of a software product stored in a storage medium (such as ROM/RAM, disk,
  • the optical disc includes a number of instructions for causing a terminal device (which may be a cell phone, a computer, a server, an air conditioner, or a network device, etc.) to perform the methods described in various embodiments of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)

Abstract

一种源表结构解析方法、系统、应用服务器及计算机可读存储介质，该方法包括步骤：通过一数据平台中的数据传输工具，建立该数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；运行所述应用服务器中预先设置的解析脚本文件，并通过所述第二连接控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务；接收所述数据传输工具通过所述第一连接从各数据源解析获得的各数据源的源表结构。本发明可以简化应用服务器与各数据源的架构设计，同时也提升了解析效率。

Description

源表结构解析方法、系统、应用服务器及计算机可读存储介质
本申请申明享有2017年6月25日递交的申请号为201710490452.6、名称为“源表结构解析方法、应用服务器及计算机可读存储介质”的中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本发明涉及计算机信息技术领域，尤其涉及一种源表结构解析方法、系统、应用服务器及计算机可读存储介质。
背景技术
在多数据源的数据同步工作中，如果要实现自动解析源表结构，现有的架构是解析工作的服务器连接数据源和目标平台(如内部数据平台)两端。在内部数据平台(如Hadoop平台)中，当多个数据源需要抽数到内部数据平台时，架构上需要打通所有数据源到内部数据平台的连接，同时需要打通所有数据源到解析服务器的连接，架构复杂，效率较低。故，现有技术中解析多数据源表结构的架构不够合理，亟需改进。
发明内容
有鉴于此，本发明提出一种源表结构解析方法、系统、应用服务器及计算机可读存储介质，能够简化应用服务器与各数据源的架构设计，同时也提升了解析效率。
首先，为实现上述目的，本发明提出一种应用服务器，所述应用服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的源表结构解析系统，所述源表结构解析系统被所述处理器执行时实现如下步骤：
通过一数据平台中的数据传输工具，建立该数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；
运行所述应用服务器中预先设置的解析脚本文件，并通过所述第二连接控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务；及
接收所述数据传输工具通过所述第一连接从各数据源解析获得的各数据源的源表结构。
此外，为实现上述目的，本发明还提供一种源表结构解析方法，该方法应用于应用服务器，所述方法包括：
通过一数据平台中的数据传输工具，建立该数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；
运行所述应用服务器中预先设置的解析脚本文件，并通过所述第二连接控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务；及
接收所述数据传输工具通过所述第一连接从各数据源解析获得的各数据源的源表结构。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有源表结构解析系统，所述源表结构解析系统可被至少一个处理器执行，以实现如下步骤：
通过一数据平台中的数据传输工具，建立该数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；
运行所述应用服务器中预先设置的解析脚本文件，并通过所述第二连接控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务；及
接收所述数据传输工具通过所述第一连接从各数据源解析获得的各数据源的源表结构。
更进一步地，为实现上述目的，本发明还提供一种源表结构解析系统，该系统包括：
连接模块，用于通过一数据平台中的数据传输工具，建立该数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；
解析模块，用于运行所述应用服务器中预先设置的解析脚本文件，并通过所述第二连接控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务；及
接收模块，用于接收所述数据传输工具通过所述第一连接从各数据源解析获得的各数据源的源表结构。
相较于现有技术，本发明所提出的应用服务器、源表结构解析方法、源表结构解析系统及计算机可读存储介质，通过预先建立数据平台与各数据源的第一连接，并建立该数据平台与应用服务器的第二连接，利用所述第一连接从各数据源解析获得各数据源的源表结构，并通过所述第二连接将解析获得的各数据源的源表结构返回至所述应用服务器，简化了应用服务器与各数据源的架构设计，同时也提升了解析效率。
附图说明
图1是本发明各个实施例一可选的应用环境示意图；
图2是图1中应用服务器一可选的硬件架构的示意图；
图3是本发明源表结构解析系统一实施例的功能模块示意图；
图4为本发明源表结构解析方法一实施例的实施流程示意图。
附图标记：
应用服务器 2
网络 3
数据平台 4
数据源 5
存储器 21
处理器 22
网络接口 23
源表结构解析系统 20
连接模块 201
解析模块 202
接收模块 203
流程步骤 S41-S43
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素 的过程、方法、物品或者装置中还存在另外的相同要素。
参阅图1所示，是本发明各个实施例一可选的应用环境示意图。
在本实施例中，本发明可应用于包括，但不限于，应用服务器2、网络3、数据平台4、及数据源5的应用环境中。其中，所述应用服务器2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等计算设备，该应用服务器2可以是独立的服务器，也可以是多个服务器所组成的服务器集群。所述网络3可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
其中，所述应用服务器2中通过所述网络3与数据平台4通信连接，所述数据平台4通过所述网络3分别与各数据源5通信连接。所述数据平台4与各数据源5之间建立有第一连接(或称其为第一类连接)，以使所述数据平台4能够通过所述第一连接与各数据源5进行数据传输和交互。所述数据平台4与应用服务器2之间建立有第二连接(或称其为第二类连接)，以使所述数据平台4能够通过所述第二连接与应用服务器2进行数据传输和交互。
参阅图2所示，是图1中应用服务器2一可选的硬件架构的示意图。本实施例中，所述应用服务器2可包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23。需要指出的是，图2仅示出了具有组件21-23的应用服务器2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，所述存储器21至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器21可以是所述应用服务器2的内部存储单元，例如该应用服务器2的硬盘或内存。在另一些实施例中，所述存储器21也可以是所述应用服务器2的外部存储设备，例如该应用服务器2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器21还可以既包括所述应用服务器2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器21通常用于存储安装于所述应用服务器2的操作系统和各类应用软件，例如所述源表结构解析系统20的程序代码等。此外，所述存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制所述应用服务器2的总体操作，例如执行与所述应用服务 器2进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器22用于运行所述存储器21中存储的程序代码或者处理数据，例如运行所述的源表结构解析系统20等。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述应用服务器2与其他电子设备之间建立通信连接。本实施例中，所述网络接口23主要用于通过所述网络3将所述应用服务器2与所述数据平台4相连，在所述应用服务器2与所述数据平台4之间的建立数据传输通道和通信连接。
至此，己经详细介绍了本发明各个实施例的应用环境和相关设备的硬件结构和功能。下面，将基于上述应用环境和相关设备，提出本发明的各个实施例。
首先，本发明提出一种源表结构解析系统20。
参阅图3所示，是本发明源表结构解析系统20一实施例的功能模块图。本实施例中，所述的源表结构解析系统20可以被分割成一个或多个模块，所述一个或者多个模块被存储于所述存储器21中，并由一个或多个处理器(本实施例中为所述处理器22)所执行，以完成本发明。例如，在图3中，所述的源表结构解析系统20可以被分割成连接模块201、解析模块202、以及接收模块203。本发明所称的功能模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述源表结构解析系统20在所述应用服务器2中的执行过程。以下将就各功能模块201-203的功能进行详细描述。
所述连接模块201，用于通过一数据平台4中的数据传输工具，建立该数据平台4与至少一个数据源5的第一连接(或称其为第一类连接)，并建立该数据平台4与一应用服务器2(如解析服务器)的第二连接(或称其为第二类连接)。
优选地，在本实施例中，所述数据平台4采用Hadoop数据平台，所述数据传输工具为Hadoop中设置的Sqoop工具。本领域技术人员应当可以理解，在其它实施例中，所述数据平台和数据传输工具也可以采用其它类型。
所述解析模块202，用于运行所述应用服务器2中预先设置的解析脚本文件，并通过所述第二连接控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务。
优选地，在本实施例中，各数据源设置有相应的解析脚本文件，例如，所述解析脚本文件包括，但不限于，解析第一类型数据源(如MS SQL Server数据源)的第一解析脚本文件，解析第二类型数据源(如Oracle数据源)的第二解析脚本文件，解析第三类型数据源(如MySQL数据源)的第三解析脚本文件等。本领域技术人员应当可以理解，在其它实施例中，根据数据源类型的数量，也可以增加其它类型的解析脚本文件。
具体而言，若所述数据源为第一类型数据源，则控制所述数据传输工具执行所述第一解析脚本文件中的源表结构解析任务；若所述数据源为第二类 型数据源，则控制所述数据传输工具执行所述第二解析脚本文件中的源表结构解析任务；若所述数据源为第三类型数据源，则控制所述数据传输工具执行所述第三解析脚本文件中的源表结构解析任务。
所述接收模块203，用于接收所述数据传输工具通过所述第一连接从各数据源5解析获得的各数据源5的源表结构。在本实施例中，所述数据源的源表结构包括，但不限于，各数据源的数据类型和包含的字段信息等。
优选地，在本实施例中，所述控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务包括：当所述解析脚本文件中的源表结构解析任务开始执行时，控制所述数据传输工具通过所述第一连接解析各数据源5的源表结构，并通过所述第二连接将解析获得的各数据源5的源表结构返回至所述应用服务器2。
具体而言，若所述数据源5为第一类型数据源，则控制所述数据传输工具执行所述第一解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第一类型数据源的源表结构返回至所述应用服务器2。
若所述数据源5为第二类型数据源，则控制所述数据传输工具执行所述第二解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第二类型数据源的源表结构返回至所述应用服务器2。
若所述数据源5为第三类型数据源，则控制所述数据传输工具执行所述第三解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第三类型数据源的源表结构返回至所述应用服务器2。
优选地，在本实施例中，所述解析源表结构的具体步骤包括：
A、根据各数据源5的类型，所述数据传输工具生成各数据源相应的脚本命令，并发送所述脚本命令至源数据库执行，执行结果即为各数据源对应的源表结构信息。
具体而言，若所述数据源5为第一类型数据源，则所述数据传输工具生成第一类型数据源相应的第一脚本命令，并发送所述第一脚本命令至第一类型数据源对应的数据库执行，执行结果即为第一类型数据源对应的源表结构信息。
若所述数据源5为第二类型数据源，则所述数据传输工具生成第二类型数据源相应的第二脚本命令，并发送所述第二脚本命令至第二类型数据源对应的数据库执行，执行结果即为第二类型数据源对应的源表结构信息。
若所述数据源5为第三类型数据源，则所述数据传输工具生成第三类型数据源相应的第三脚本命令，并发送所述第三脚本命令至第三类型数据源对应的数据库执行，执行结果即为第三类型数据源对应的源表结构信息。
B、控制所述数据传输工具将所述执行结果抽取至所述数据平台4。
C、所述数据平台4控制所述数据传输工具将抽取回来的源表结构信息推送至所述应用服务器2。
D、所述应用服务器2对所述源表结构信息进行加工(如数据清洗和归一化等操作)、存储，即可为后续程序使用。
由于本发明中所述应用服务器2只通过所述第二连接与所述数据平台4连接，无需建立应用服务器2与各数据源5的连接，因此架构简单且能提升源表结构解析的效率。
优选地，在其它实施例中，所述源表结构解析系统20被所述处理器22执行时还实现如下步骤：
通过并行调度机制，控制所述数据传输工具并行执行各解析脚本文件中的源表结构解析任务，解析获得各数据源的源表结构，并通过所述第二连接将解析获得的各数据源5的源表结构返回至所述应用服务器2。
通过上述功能模块201-203，本发明所提出的源表结构解析系统20，通过预先建立数据平台4与各数据源5的第一连接，并建立该数据平台4与应用服务器2的第二连接，利用所述第一连接从各数据源5解析获得各数据源的源表结构，并通过所述第二连接将解析获得的各数据源5的源表结构返回至所述应用服务器2，简化了应用服务器2与各数据源5的架构设计，同时也提升了解析效率。
此外，本发明还提出一种源表结构解析方法。
参阅图4所示，是本发明源表结构解析方法一实施例的实施流程示意图。在本实施例中，根据不同的需求，图4所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
步骤S41，通过一数据平台4中的数据传输工具，建立该数据平台4与至少一个数据源5的第一连接(或称其为第一类连接)，并建立该数据平台4与一应用服务器2(如解析服务器)的第二连接(或称其为第二类连接)。
优选地，在本实施例中，所述数据平台4采用Hadoop数据平台，所述数据传输工具为Hadoop中设置的Sqoop工具。本领域技术人员应当可以理解，在其它实施例中，所述数据平台和数据传输工具也可以采用其它类型。
步骤S42，运行所述应用服务器2中预先设置的解析脚本文件，并通过所述第二连接控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务。
优选地，在本实施例中，各数据源设置有相应的解析脚本文件，例如，所述解析脚本文件包括，但不限于，解析第一类型数据源(如MS SQL Server数据源)的第一解析脚本文件，解析第二类型数据源(如Oracle数据源)的第二解析脚本文件，解析第三类型数据源(如MySQL数据源)的第三解析脚本文件等。本领域技术人员应当可以理解，在其它实施例中，根据数据源类型的数量，也可以增加其它类型的解析脚本文件。
具体而言，若所述数据源为第一类型数据源，则控制所述数据传输工具执行所述第一解析脚本文件中的源表结构解析任务；若所述数据源为第二类型数据源，则控制所述数据传输工具执行所述第二解析脚本文件中的源表结构解析任务；若所述数据源为第三类型数据源，则控制所述数据传输工具执行所述第三解析脚本文件中的源表结构解析任务。
步骤S43，接收所述数据传输工具通过所述第一连接从各数据源5解析获得的各数据源5的源表结构。在本实施例中，所述数据源的源表结构包括，但不限于，各数据源的数据类型和包含的字段信息等。
优选地，在本实施例中，所述控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务包括：当所述解析脚本文件中的源表结构解析任务开始执行时，控制所述数据传输工具通过所述第一连接解析各数据源5的源表结构，并通过所述第二连接将解析获得的各数据源5的源表结构返回至所述应用服务器2。
具体而言，若所述数据源5为第一类型数据源，则控制所述数据传输工具执行所述第一解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第一类型数据源的源表结构返回至所述应用服务器2。
若所述数据源5为第二类型数据源，则控制所述数据传输工具执行所述第二解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第二类型数据源的源表结构返回至所述应用服务器2。
若所述数据源5为第三类型数据源，则控制所述数据传输工具执行所述第三解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第三类型数据源的源表结构返回至所述应用服务器2。
优选地，在本实施例中，所述解析源表结构的具体步骤包括：
A、根据各数据源5的类型，所述数据传输工具生成各数据源相应的脚本命令，并发送所述脚本命令至源数据库执行，执行结果即为各数据源对应的源表结构信息。
具体而言，若所述数据源5为第一类型数据源，则所述数据传输工具生成第一类型数据源相应的第一脚本命令，并发送所述第一脚本命令至第一类型数据源对应的数据库执行，执行结果即为第一类型数据源对应的源表结构信息。
若所述数据源5为第二类型数据源，则所述数据传输工具生成第二类型数据源相应的第二脚本命令，并发送所述第二脚本命令至第二类型数据源对应的数据库执行，执行结果即为第二类型数据源对应的源表结构信息。
若所述数据源5为第三类型数据源，则所述数据传输工具生成第三类型数据源相应的第三脚本命令，并发送所述第三脚本命令至第三类型数据源对应的数据库执行，执行结果即为第三类型数据源对应的源表结构信息。
B、控制所述数据传输工具将所述执行结果抽取至所述数据平台4。
C、所述数据平台4控制所述数据传输工具将抽取回来的源表结构信息推送至所述应用服务器2。
D、所述应用服务器2对所述源表结构信息进行加工(如数据清洗和归一化等操作)、存储，即可为后续程序使用。
由于本发明中所述应用服务器2只通过所述第二连接与所述数据平台4连接，无需建立应用服务器2与各数据源5的连接，因此架构简单且能提升源表结构解析的效率。
优选地，在其它实施例中，该方法还包括步骤：
通过并行调度机制，控制所述数据传输工具并行执行各解析脚本文件中的源表结构解析任务，解析获得各数据源的源表结构，并通过所述第二连接将解析获得的各数据源5的源表结构返回至所述应用服务器2。
通过上述步骤S41-S43，本发明所提出的源表结构解析方法，通过预先建立数据平台4与各数据源5的第一连接，并建立该数据平台4与应用服务器2的第二连接，利用所述第一连接从各数据源5解析获得各数据源的源表结构，并通过所述第二连接将解析获得的各数据源5的源表结构返回至所述应用服务器2，简化了应用服务器2与各数据源5的架构设计，同时也提升了解析效率。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质(如ROM/RAM、磁碟、光盘)，所述计算机可读存储介质存储有源表结构解析系统20，所述源表结构解析系统20可被至少一个处理器22执行，以使所述至少一个处理器22执行如上所述的源表结构解析方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。 凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (20)

  1. 一种应用服务器，其特征在于，所述应用服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的源表结构解析系统，所述源表结构解析系统被所述处理器执行时实现如下步骤：
    通过一数据平台中的数据传输工具，建立该数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；
    运行所述应用服务器中预先设置的解析脚本文件，并通过所述第二连接控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务；及
    接收所述数据传输工具通过所述第一连接从各数据源解析获得的各数据源的源表结构。
  2. 如权利要求1所述的应用服务器，其特征在于，所述解析脚本文件包括：解析第一类型数据源的第一解析脚本文件，解析第二类型数据源的第二解析脚本文件，及解析第三类型数据源的第三解析脚本文件。
  3. 如权利要求1所述的应用服务器，其特征在于，所述控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务包括：
    当所述解析脚本文件中的源表结构解析任务开始执行时，控制所述数据传输工具通过所述第一连接解析各数据源的源表结构，并通过所述第二连接将解析获得的各数据源的源表结构返回至所述应用服务器。
  4. 如权利要求3所述的应用服务器，其特征在于，所述控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务包括：
    若所述数据源为第一类型数据源，则控制所述数据传输工具执行所述第一解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第一类型数据源的源表结构返回至所述应用服务器；
    若所述数据源为第二类型数据源，则控制所述数据传输工具执行所述第二解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第二类型数据源的源表结构返回至所述应用服务器；及
    若所述数据源为第三类型数据源，则控制所述数据传输工具执行所述第三解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第三类型数据源的源表结构返回至所述应用服务器。
  5. 如权利要求3所述的应用服务器，其特征在于，所述解析源表结构的具体步骤包括：
    根据各数据源的类型，所述数据传输工具生成各数据源相应的脚本命令，并发送所述脚本命令至源数据库执行，执行结果即为各数据源对应的源表结构信息；
    控制所述数据传输工具将所述执行结果抽取至所述数据平台；
    所述数据平台控制所述数据传输工具将抽取回来的源表结构信息推送至所述应用服务器；
    所述应用服务器对所述源表结构信息进行加工和存储。
  6. 一种源表结构解析方法，应用于应用服务器，其特征在于，所述方法包括：
    通过一数据平台中的数据传输工具，建立该数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；
    运行所述应用服务器中预先设置的解析脚本文件，并通过所述第二连接控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务；及
    接收所述数据传输工具通过所述第一连接从各数据源解析获得的各数据源的源表结构。
  7. 如权利要求6所述的源表结构解析方法，其特征在于，所述解析脚本文件包括：解析第一类型数据源的第一解析脚本文件，解析第二类型数据源的第二解析脚本文件，及解析第三类型数据源的第三解析脚本文件。
  8. 如权利要求6所述的源表结构解析方法，其特征在于，所述控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务包括：
    当所述解析脚本文件中的源表结构解析任务开始执行时，控制所述数据传输工具通过所述第一连接解析各数据源的源表结构，并通过所述第二连接将解析获得的各数据源的源表结构返回至所述应用服务器。
  9. 如权利要求8所述的源表结构解析方法，其特征在于，所述控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务包括：
    若所述数据源为第一类型数据源，则控制所述数据传输工具执行所述第一解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第一类型数据源的源表结构返回至所述应用服务器；
    若所述数据源为第二类型数据源，则控制所述数据传输工具执行所述第二解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第二类型数据源的源表结构返回至所述应用服务器；及
    若所述数据源为第三类型数据源，则控制所述数据传输工具执行所述第三解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第三类型数据源的源表结构返回至所述应用服务器。
  10. 如权利要求8所述的源表结构解析方法，其特征在于，所述解析源表结构的具体步骤包括：
    根据各数据源的类型，所述数据传输工具生成各数据源相应的脚本命令， 并发送所述脚本命令至源数据库执行，执行结果即为各数据源对应的源表结构信息；
    控制所述数据传输工具将所述执行结果抽取至所述数据平台；
    所述数据平台控制所述数据传输工具将抽取回来的源表结构信息推送至所述应用服务器；
    所述应用服务器对所述源表结构信息进行加工和存储。
  11. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有源表结构解析系统，所述源表结构解析系统可被至少一个处理器执行，以实现如下步骤：
    通过一数据平台中的数据传输工具，建立该数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；
    运行所述应用服务器中预先设置的解析脚本文件，并通过所述第二连接控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务；及
    接收所述数据传输工具通过所述第一连接从各数据源解析获得的各数据源的源表结构。
  12. 如权利要求11所述的计算机可读存储介质，其特征在于，所述解析脚本文件包括：解析第一类型数据源的第一解析脚本文件，解析第二类型数据源的第二解析脚本文件，及解析第三类型数据源的第三解析脚本文件。
  13. 如权利要求11所述的计算机可读存储介质，其特征在于，所述控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务包括：
    当所述解析脚本文件中的源表结构解析任务开始执行时，控制所述数据传输工具通过所述第一连接解析各数据源的源表结构，并通过所述第二连接将解析获得的各数据源的源表结构返回至所述应用服务器。
  14. 如权利要求13所述的计算机可读存储介质，其特征在于，所述控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务包括：
    若所述数据源为第一类型数据源，则控制所述数据传输工具执行所述第一解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第一类型数据源的源表结构返回至所述应用服务器；
    若所述数据源为第二类型数据源，则控制所述数据传输工具执行所述第二解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第二类型数据源的源表结构返回至所述应用服务器；及
    若所述数据源为第三类型数据源，则控制所述数据传输工具执行所述第三解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第三类型数据源的源表结构返回至所述应用服务器。
  15. 如权利要求13所述的计算机可读存储介质，其特征在于，所述解析源表结构的具体步骤包括：
    根据各数据源的类型，所述数据传输工具生成各数据源相应的脚本命令，并发送所述脚本命令至源数据库执行，执行结果即为各数据源对应的源表结构信息；
    控制所述数据传输工具将所述执行结果抽取至所述数据平台；
    所述数据平台控制所述数据传输工具将抽取回来的源表结构信息推送至所述应用服务器；
    所述应用服务器对所述源表结构信息进行加工和存储。
  16. 一种源表结构解析系统，其特征在于，该系统包括：
    连接模块，用于通过一数据平台中的数据传输工具，建立该数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；
    解析模块，用于运行所述应用服务器中预先设置的解析脚本文件，并通过所述第二连接控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务；及
    接收模块，用于接收所述数据传输工具通过所述第一连接从各数据源解析获得的各数据源的源表结构。
  17. 如权利要求16所述的源表结构解析系统，其特征在于，所述解析脚本文件包括：解析第一类型数据源的第一解析脚本文件，解析第二类型数据源的第二解析脚本文件，及解析第三类型数据源的第三解析脚本文件。
  18. 如权利要求16所述的源表结构解析系统，其特征在于，所述控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务包括：
    当所述解析脚本文件中的源表结构解析任务开始执行时，控制所述数据传输工具通过所述第一连接解析各数据源的源表结构，并通过所述第二连接将解析获得的各数据源的源表结构返回至所述应用服务器。
  19. 如权利要求18所述的源表结构解析系统，其特征在于，所述控制所述数据传输工具执行所述解析脚本文件中的源表结构解析任务包括：
    若所述数据源为第一类型数据源，则控制所述数据传输工具执行所述第一解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第一类型数据源的源表结构返回至所述应用服务器；
    若所述数据源为第二类型数据源，则控制所述数据传输工具执行所述第二解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的第二类型数据源的源表结构返回至所述应用服务器；及
    若所述数据源为第三类型数据源，则控制所述数据传输工具执行所述第三解析脚本文件中的源表结构解析任务，并通过所述第二连接将解析获得的 第三类型数据源的源表结构返回至所述应用服务器。
  20. 如权利要求18所述的源表结构解析系统，其特征在于，所述解析源表结构的具体步骤包括：
    根据各数据源的类型，所述数据传输工具生成各数据源相应的脚本命令，并发送所述脚本命令至源数据库执行，执行结果即为各数据源对应的源表结构信息；
    控制所述数据传输工具将所述执行结果抽取至所述数据平台；
    所述数据平台控制所述数据传输工具将抽取回来的源表结构信息推送至所述应用服务器；
    所述应用服务器对所述源表结构信息进行加工和存储。
PCT/CN2017/100050 2017-06-25 2017-08-31 源表结构解析方法、系统、应用服务器及计算机可读存储介质 Ceased WO2019000628A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710490452.6 2017-06-25
CN201710490452.6A CN107688598B (zh) 2017-06-25 2017-06-25 源表结构解析方法、应用服务器及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2019000628A1 true WO2019000628A1 (zh) 2019-01-03

Family

ID=61152696

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/100050 Ceased WO2019000628A1 (zh) 2017-06-25 2017-08-31 源表结构解析方法、系统、应用服务器及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN107688598B (zh)
WO (1) WO2019000628A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915341A (zh) * 2014-03-10 2015-09-16 中国科学院沈阳自动化研究所 可视化多数据库etl集成方法和系统
CN105205105A (zh) * 2015-08-27 2015-12-30 浪潮集团有限公司 一种基于storm的数据ETL系统及处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915341A (zh) * 2014-03-10 2015-09-16 中国科学院沈阳自动化研究所 可视化多数据库etl集成方法和系统
CN105205105A (zh) * 2015-08-27 2015-12-30 浪潮集团有限公司 一种基于storm的数据ETL系统及处理方法

Also Published As

Publication number Publication date
CN107688598B (zh) 2021-02-09
CN107688598A (zh) 2018-02-13

Similar Documents

Publication Publication Date Title
JP6695984B2 (ja) マルチタスクスケジューリング方法、システム、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体
CN107689982B (zh) 多数据源数据同步方法、应用服务器及计算机可读存储介质
WO2019061991A1 (zh) 多元通用模型平台建模方法、电子设备及计算机可读存储介质
US9864876B2 (en) Live editing and publishing of documents within a content management system using a hybrid draft authorization workflow
WO2019140828A1 (zh) 电子装置、分布式系统日志查询方法及存储介质
WO2019134340A1 (zh) 薪资计算方法、应用服务器及计算机可读存储介质
WO2020215689A1 (zh) 一种列存储文件的查询方法及查询装置
WO2020248375A1 (zh) 数据库间数据同步方法、系统、计算机设备及存储介质
WO2019085334A1 (zh) 分布式存储方法、控制服务器及计算机可读存储介质
WO2019071891A1 (zh) 代码覆盖率分析方法及应用服务器
WO2019075970A1 (zh) 表格信息换行识别方法、电子设备及计算机可读存储介质
WO2019148722A1 (zh) 电子装置、数据迁移及调用方法及存储介质
CN106055630A (zh) 日志存储的方法及装置
WO2019056693A1 (zh) 接口代理方法及应用服务器
KR101357135B1 (ko) 로그 정보 수집 장치
WO2019095667A1 (zh) 数据库数据采集方法、应用服务器及计算机可读存储介质
US20160150015A1 (en) Methods for integrating applications with a data storage network and devices thereof
US10754748B2 (en) System and method for constructing extensible event log with javascript object notation (JSON) encoded payload data
CN107909486A (zh) 佣金管理方法、应用服务器及计算机可读存储介质
WO2019148657A1 (zh) 关联环境测试方法、电子装置及计算机可读存储介质
WO2019071968A1 (zh) 薪资计算方法、应用服务器及计算机可读存储介质
WO2019024231A1 (zh) 数据自动匹配方法、电子设备及计算机可读存储介质
CN108170551A (zh) 基于爬虫系统的前后端错误处理方法、服务器及存储介质
CN107566480B (zh) 移动终端应用的用户活动信息采集方法及装置、存储介质
WO2019071958A1 (zh) 基于云计算的薪资计算方法、应用服务器及计算机可读存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17915896

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17915896

Country of ref document: EP

Kind code of ref document: A1