WO2019223172A1 - Kettle任务调度方法、系统、计算机设备和存储介质 - Google Patents

Kettle任务调度方法、系统、计算机设备和存储介质 Download PDF

Info

Publication number
WO2019223172A1
WO2019223172A1 PCT/CN2018/104358 CN2018104358W WO2019223172A1 WO 2019223172 A1 WO2019223172 A1 WO 2019223172A1 CN 2018104358 W CN2018104358 W CN 2018104358W WO 2019223172 A1 WO2019223172 A1 WO 2019223172A1
Authority
WO
WIPO (PCT)
Prior art keywords
parameter
kettle
database
task
scheduling
Prior art date
Application number
PCT/CN2018/104358
Other languages
English (en)
French (fr)
Inventor
刘斌
黄涛
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019223172A1 publication Critical patent/WO2019223172A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs

Definitions

  • the present application relates to the field of computer technology, and in particular, to a Kettle task scheduling method, system, computer device, and storage medium.
  • Kettle is an open source ETL tool written in pure Java and can be run on Windows, Linux, Unix. Its data extraction is efficient and stable, and it allows management of data from different databases. Kettle contains two types of script files, transformation and job. Among them, transformation is used to complete the basic transformation of the data, and job is used to complete the control of the entire workflow.
  • Task scheduling is a collective term for task allocation and scheduling systems, which is a combination optimization problem. It is mainly divided into static allocation strategies and dynamic allocation strategies. Static scheduling has poor adaptability and scalability. It dynamically adapts to application changes, Scalable and other features.
  • the existing Kettle mainly uses a fixed Shell interface to perform task scheduling. Although this scheduling method can achieve Kettle's task scheduling to a certain extent, there are still some disadvantages. The disadvantages are as follows:
  • the shell interface supports a fixed number of parameters and fixed parameter names.
  • a Kettle task scheduling method includes:
  • Kettle create a database resource library, point to the database, said Kettle is a database tool for managing data from different databases;
  • Kettle triggers the Python scheduling process and matches the corresponding Paramiko package, which extracts the log from the server; determines whether the Paramiko package required for the log is idle, if it is occupied, it is placed in the waiting queue, and if it is idle, the Paramiko package is started
  • the logs are placed in the scheduling information configuration library, and the logs stored in the scheduling information configuration library are used for real-time query and log management through the web page.
  • a Kettle task scheduling system includes:
  • the startup unit is set to start Kettle, create a database resource library, and point to the database.
  • the Kettle is a database tool for managing data from different databases;
  • An obtaining unit configured to obtain a parameter item from a data file of a database, the parameter item including a parameter value and a parameter prefix, and performing data splicing according to the parameter value and the parameter prefix to generate a parameter list;
  • a configuration unit configured to use Python as a scripting language for automated configuration, said Python including a Paramiko package;
  • a setting unit configured to execute a Kettle task according to the parameter list, and set an identifier for a completion status of the Kettle task to mark a completion status of the Kettle task in the database;
  • the judging unit is set to trigger a Python scheduling process by Kettle and match the corresponding Paramiko package, which extracts the log from the server; determines whether the Paramiko package required for the log is idle, and if it is occupied, it is placed in a waiting queue, such as idle , Then start the Paramiko package to place the logs in the scheduling information configuration database, and the logs stored in the scheduling information configuration database are used for real-time query and log management through the Web page.
  • a computer device includes a memory and a processor.
  • the memory stores computer-readable instructions.
  • the processor causes the processor to perform the following steps:
  • Kettle create a database resource library, point to the database, said Kettle is a database tool for managing data from different databases;
  • Kettle triggers the Python scheduling process and matches the corresponding Paramiko package, which extracts the log from the server; determines whether the Paramiko package required for the log is idle, if it is occupied, it is placed in the waiting queue, and if it is idle, the Paramiko package is started
  • the logs are placed in the scheduling information configuration library, and the logs stored in the scheduling information configuration library are used for real-time query and log management through the web page.
  • a storage medium storing computer-readable instructions.
  • the one or more processors execute the following steps:
  • Kettle create a database resource library, point to the database, said Kettle is a database tool for managing data from different databases;
  • Kettle triggers the Python scheduling process and matches the corresponding Paramiko package, which extracts the log from the server; determines whether the Paramiko package required for the log is idle, if it is occupied, it is placed in the waiting queue, and if it is idle, the Paramiko package is started
  • the logs are placed in the scheduling information configuration library, and the logs stored in the scheduling information configuration library are used for real-time query and log management through the web page.
  • the above Kettle task scheduling method, system, computer equipment and storage medium by creating a database, starting Kettle, creating a database resource library, and pointing to the database, said Kettle is a data warehouse tool for managing data from different databases, from The data file of the database obtains parameter items, the parameter items including parameter values and parameter prefixes, data splicing according to the parameter values and parameter prefixes, generating parameter lists, and using Python as a scripting language for automatic configuration, the Python includes Paramiko packages Executing a Kettle task according to the parameter list, setting an identifier for the completion status of the Kettle task to mark the completion status of the Kettle task in the database, Kettle triggers a Python scheduling process, and matches the corresponding Paramiko package, The Paramiko package extracts the log from the server; determines whether the Paramiko package required for the log is idle, if it is occupied, it is placed in the waiting queue; if it is free, the Paramiko package is started to place the log in the scheduling information configuration database and stored in The log
  • FIG. 1 is a flowchart of a Kettle task scheduling method according to an embodiment
  • FIG. 2 is a flowchart of a method for starting Kettle to create a database resource library in an embodiment
  • FIG. 3 is a flowchart of a method for obtaining parameter items from a data file of a database in an embodiment
  • FIG. 5 is a structural block diagram of a startup unit in an embodiment
  • FIG. 6 is a structural block diagram of an obtaining unit in an embodiment.
  • a Kettle task scheduling method includes the following steps:
  • Step S101 creating a database
  • Configure parameter information for Kettle scheduling tasks select a scheduling platform, create a database on the scheduling platform, and set a parameter template table and a parameter routing table in the database.
  • the parameter template table is used to define and obtain basic scheduling information.
  • the parameter routing table is used to define the basic scheduling information, configure the required parameter information under the parameter item, complete the configuration of the parameter information of the Kettle task scheduling, and configure Kettle according to the needs of the Kettle scheduling task.
  • Basic scheduling information of the scheduling task Define the basic scheduling information according to the parameter template table, obtain the parameter item information of the Kettle scheduling task, configure the required parameter information under the parameter item according to the parameter routing table, and complete the parameter information of the Kettle task scheduling. Configuration.
  • Step S102 start Kettle, create a database resource library, and point to the database.
  • Kettle is a data warehouse tool for managing data from different databases
  • Kettle basic scheduling information can be configured.
  • the Kettle task contains requirements such as "time” and "source data”.
  • the time and source data it can be configured as the corresponding Kettle basic scheduling information, which are "time parameters" and "source database”, respectively.
  • the basic scheduling information is “time parameter” and “source database”, and the corresponding parameters are obtained according to "time parameter” and “source database”. Item information, "inc_time” and “target_db”, respectively.
  • the parameter routing table configure the parameter information required under the parameter item to complete the configuration of the parameter information for Kettle task scheduling; for example, the parameter item is "inc_time”, and you can know that "inc_time” contains two item categories according to "inc_time” , "Inc_start” and “inc_end”, respectively.
  • the scheduling platform includes linkdo and zookeeper.
  • the basic scheduling information includes the task name, program name, scheduling time, scheduling frequency, and the scheduling server to which it belongs.
  • the database uses Oracle, and the parameter information includes time, source, and target database.
  • Step S103 Obtain a parameter item from a data file of the database, the parameter item includes a parameter value and a parameter prefix, perform data splicing according to the parameter value and the parameter prefix, and generate a parameter list;
  • Kettle sends a task to generate a parameter list; according to the aforementioned task issued by Kettle, a runnable task is generated; the database will circularly filter each parameter entry in the aforementioned parameter routing table according to the task type issued by Kettle to obtain and Parameter items related to the task type; go to the parameter routing table to obtain the parameter value contained in each parameter item and the prefix of each parameter item according to the obtained parameter item; perform data according to the obtained parameter value and parameter prefix Concatenation to generate a list of parameters.
  • Step S104 use Python as a scripting language for automatic configuration, and Python includes a Paramiko package;
  • the Python program includes the Python Paramiko package and other required packages.
  • Step S105 According to the parameter list, execute the Kettle task, and set a flag for the completion status of the Kettle task to mark the completion status of the Kettle task in the database;
  • Step S106 Kettle triggers the Python scheduling process, matches the corresponding Paramiko package, and Paramiko package extracts the log from the server; determines whether the Paramiko package required for the log is idle, and if it is occupied, it is placed in the waiting queue.
  • the package places the logs in the scheduling information configuration library, and the logs stored in the scheduling information configuration library are used for real-time query and log management through the Web page.
  • a set of Kettle servers with the same configuration and a Python program corresponding to the Kettle server are selected.
  • the Kettle server and the Python program are deployed in a cluster manner.
  • the Kettle triggers a Python program to trigger a scheduling process and logs.
  • the Paramiko package corresponding to the Python program will be found through an algorithm.
  • the Paramiko package will take the log from the Kettle server. After the log is taken out, it is determined whether the Paramiko package required by the log is idle. If it is occupied, it will be temporarily placed in the waiting queue. If you are idle, you can start the Paramiko package to place the logs in the scheduling information configuration database.
  • the logs stored in the scheduling information configuration database can be used to query and manage the logs in real time through the form of Web pages.
  • Kettle is started, a database resource library is created, and the database is pointed.
  • the Kettle is a data warehouse tool for managing data from different databases including:
  • Step S201 Create a database resource library, and set a parameter template table and a parameter routing table in the resource library;
  • a parameter template table and a parameter routing table are set in a database.
  • the parameter template table is a table generated by using a parameter corresponding to a record according to a history of related parameters stored in the database, as shown in Table 1 below:
  • the parameter routing table includes how many items each parameter has and the path for obtaining information under each item.
  • the parameter routing table is shown in Table 2 below:
  • Step S202 Define scheduling information according to a parameter template table, and obtain parameter information of a Kettle scheduling task.
  • the Kettle task includes time and source data.
  • Kettle tasks include its task scheduling requirements.
  • Kettle basic scheduling information can be configured according to the foregoing requirements.
  • Kettle tasks include "time”, “Source data” and other requirements, according to the time and source data, it can be configured as the corresponding Kettle basic scheduling information, which are "time parameters" and "source database”, respectively.
  • the basic scheduling information is "time parameters" and "source database”. Refer to the parameter template table shown in Table 1 above, and refer to the "time Parameters "and” source database "to obtain the corresponding parameter item information," inc_time “and” target_db ", respectively.
  • Step S203 According to the parameter routing table, configure the required parameter information under the parameter item, and complete the configuration of the Kettle task scheduling parameter information.
  • the parameter routing table configure the parameter information required under the parameter item to complete the configuration of the parameter information for Kettle task scheduling; for example, the parameter item is "inc_time”, refer to the parameter routing table shown in Table 2 above, and according to "inc_time” It can be known that "inc_time” includes two item categories, "inc_start” and "inc_end”.
  • the scheduling platform described in the above steps includes linkdo and zookeeper.
  • Basic scheduling information includes task name, program name, scheduling time, scheduling frequency, and scheduling server.
  • the database uses Oracle, and parameter information includes time, source, and target database.
  • a parameter item is obtained from a data file in a database.
  • the parameter item includes a parameter value and a parameter prefix, and further includes:
  • Step S301 The data file of the database cyclically filters each parameter item in the parameter routing table according to the task type issued by Kettle, and obtains parameter items related to the task type;
  • a runnable task is generated, and the database cyclically filters each parameter entry in the aforementioned parameter routing table according to the type of the issued task to obtain parameter entries related to the task type.
  • step S302 according to the parameter items, the parameter value contained in each parameter item and the prefix of each parameter item are obtained from the parameter routing table.
  • the parameter value contained in each parameter item and the prefix of each parameter item are obtained from the parameter routing table, and data stitching is performed according to the obtained parameter value and parameter prefix to generate the Kettle task requirements.
  • Parameter list the parameter value contained in each parameter item and the prefix of each parameter item are obtained from the parameter routing table, and data stitching is performed according to the obtained parameter value and parameter prefix to generate the Kettle task requirements.
  • executing the Kettle task according to the parameter list further includes:
  • the Deamon program in Python is used to poll Kettle tasks that meet the scheduling conditions, and execute Kettle tasks according to the parameter list.
  • the python program contains the python Paramiko package and the required package. After the python program is installed, that is, python Paramiko The package is successfully installed.
  • the deamon program in the python program is used to poll the Kettle task that meets the scheduling conditions, and the Kettle task is executed according to the foregoing parameter list.
  • the identification includes a text identification and a symbol identification.
  • an identifier is set for its completion status to mark the completion status of the Kettle task in the database, and the identifier includes a text identifier and a symbol identifier.
  • a Kettle task scheduling system includes:
  • the startup unit is set to start Kettle, create a database resource library, and point to the database.
  • the Kettle is a data warehouse tool for managing data from different databases;
  • An obtaining unit configured to obtain a parameter item from a data file of a database, the parameter item including a parameter value and a parameter prefix, and performing data splicing according to the parameter value and the parameter prefix to generate a parameter list;
  • a configuration unit configured to use Python as a scripting language for automated configuration, said Python including a Paramiko package;
  • a setting unit configured to execute a Kettle task according to the parameter list, and set an identifier for a completion status of the Kettle task to mark a completion status of the Kettle task in the database;
  • the judging unit is set to trigger the Python scheduling process by Kettle and match the corresponding Paramiko package, which extracts the log from the server; determines whether the Paramiko package required for the log is idle, if it is occupied, it is placed in the waiting queue, such as idle , Then start the Paramiko package to place the logs in the scheduling information configuration database, and the logs stored in the scheduling information configuration database are used for real-time query and log management through the Web page.
  • the starting unit further includes:
  • a creating module configured to create a database resource library, and setting a parameter template table and a parameter routing table in the resource library;
  • the obtaining module is configured to define scheduling information according to a parameter template table, and obtain parameter information of a Kettle scheduling task, where the Kettle task includes time and source data;
  • the configuration module is configured to configure the parameter information required under the parameter item according to the parameter routing table to complete the configuration of the Kettle task scheduling parameter information.
  • the obtaining unit further includes:
  • a screening module where the data file set as the database cyclically filters each parameter item in the parameter routing table according to the task type issued by Kettle, and obtains the parameter items related to the task type;
  • the obtaining module is configured to obtain a parameter value and a prefix of each parameter item contained in each parameter item from the parameter routing table according to the parameter item.
  • the setting unit is further configured to use a Deamon program in Python to poll a Kettle task that satisfies a scheduling condition, and execute the Kettle task according to the parameter list.
  • the identification includes a text identification and a symbol identification.
  • a computer device in one embodiment, includes a memory and a processor.
  • the memory stores computer-readable instructions.
  • the processor causes the processor to execute the computer program. The steps in the Kettle task scheduling method in the above embodiments are implemented at all times.
  • a storage medium storing computer-readable instructions, and when the computer-readable instructions are executed by one or more processors, the one or more processors execute the Kettle tasks in the foregoing embodiments. Steps in a scheduling method.
  • the storage medium may be a non-volatile storage medium.
  • the program may be stored in a computer-readable storage medium.
  • the storage medium may include: Read-only memory (ROM, Read Only Memory), random access memory (RAM, Random Access Memory), magnetic disks or optical disks, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种Kettle任务调度方法、系统、计算机设备和存储介质，其中所述方法包括：创建数据库（S101）；启动Kettle，创建数据库资源库（S102）；从数据文件获取参数项，参数项包括参数值和参数前缀，根据参数值和参数前缀进行数据拼接（S103）；使用Python作为脚本语言进行自动化配置（S104）；对Kettle任务的完成状态设置标识，用于标记Kettle任务在数据库中的完成状态（S105）；匹配对应的Paramiko包，Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理（S106）。上述方法实现个性化定制参数，满足多种场景需求，提高任务调度的效率。

Description

Kettle任务调度方法、系统、计算机设备和存储介质
本申请要求于2018年05月21日提交中国专利局、申请号为201810487074.0、发明名称为“Kettle任务调度方法、系统、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，尤其涉及一种Kettle任务调度方法、系统、计算机设备和存储介质。
背景技术
Kettle是一款开源的ETL工具，采用纯Java进行编写，可以在Window、Linux、Unix上运行，其数据抽取高效稳定，能够允许管理来自不同数据库中的数据。Kettle蕴含两种脚本文件，即transformation和job，其中transformation用来完成针对数据的基础转换，job则用来完成控制整个工作流。任务调度则是任务分配和调度系统的统称，属于组合优化问题，主要分为静态分配策略和动态分配策略，静态调度的自适应性、可伸缩性等较差，动态适应了应用程序可变化、可伸缩等特点。现有的Kettle在进行任务调度时，主要是通过固定的SHELL接口来进行，此种调度方式虽能在一定程度上能够实现Kettle的任务调度，但是仍存在一些弊端，其弊端具体如下：
1、Kettle在进行任务调度时，主要通过固定的shell接口进行调度，shell接口进行支持固定的参数个数和固定的参数名称；
2、参数数量和参数名称的固定化，限制了参数开发、且无法满足多种开发场景的需求和个性化定制的需求；
3、在实际运行环境中，参数数量和参数名称的固定哈，无法实现LINKDO等各类调度平台的产品化和对外推广；
4、Kettle在投入生产环境进行使用时，动辄需要管理上百或者几百个job，造成管理难度大。
发明内容
基于此，有必要针对现有Kettle任务调度的弊端，提供一种Kettle任务调度方法、系统、计算机设备和存储介质。
一种Kettle任务调度方法，包括：
创建数据库；
启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据库工具，用于管理来自不同数据库中的数据；
从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀，根据所述参数值和参数前缀进行数据拼接，生成参数列表；
使用Python作为脚本语言进行自动化配置，所述Python包括Paramiko包；
根据所述参数列表，执行Kettle任务，对所述Kettle任务的完成状态设置标识，用于标记所述Kettle任务在所述数据库中的完成状态；
Kettle触发Python调度进程，匹配对应的Paramiko包，所述Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理。
一种Kettle任务调度系统，包括：
创建单元，设置为创建数据库；
启动单元，设置为启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据库工具，用于管理来自不同数据库中的数据；
获取单元，设置为从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀，根据所述参数值和参数前缀进行数据拼接，生成参数列表；
配置单元，设置为使用Python作为脚本语言进行自动化配置，所述Python包括Paramiko包；
设置单元，设置为根据所述参数列表，执行Kettle任务，对所述Kettle任务的完成状态设置标识，用于标记所述Kettle任务在所述数据库中的完成状态；
判断单元，设置为Kettle触发Python调度进程，匹配对应的Paramiko包， 所述Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤：
创建数据库；
启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据库工具，用于管理来自不同数据库中的数据；
从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀，根据所述参数值和参数前缀进行数据拼接，生成参数列表；
使用Python作为脚本语言进行自动化配置，所述Python包括Paramiko包；
根据所述参数列表，执行Kettle任务，对所述Kettle任务的完成状态设置标识，用于标记所述Kettle任务在所述数据库中的完成状态；
Kettle触发Python调度进程，匹配对应的Paramiko包，所述Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
创建数据库；
启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据库工具，用于管理来自不同数据库中的数据；
从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀，根据所述参数值和参数前缀进行数据拼接，生成参数列表；
使用Python作为脚本语言进行自动化配置，所述Python包括Paramiko包；
根据所述参数列表，执行Kettle任务，对所述Kettle任务的完成状态设 置标识，用于标记所述Kettle任务在所述数据库中的完成状态；
Kettle触发Python调度进程，匹配对应的Paramiko包，所述Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理。
上述Kettle任务调度方法、系统、计算机设备和存储介质，通过创建数据库，启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据仓库工具，用于管理来自不同数据库中的数据，从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀，根据所述参数值和参数前缀进行数据拼接，生成参数列表，使用Python作为脚本语言进行自动化配置，所述Python包括Paramiko包，根据所述参数列表，执行Kettle任务，对所述Kettle任务的完成状态设置标识，用于标记所述Kettle任务在所述数据库中的完成状态，Kettle触发Python调度进程，匹配对应的Paramiko包，所述Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理，实现个性化定制参数，满足多种场景需求，提高任务调度的效率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。
图1为一个实施例中Kettle任务调度方法的流程图；
图2为一个实施例中启动Kettle创建数据库资源库方法的流程图；
图3位一个实施例中从数据库的数据文件获取参数项方法的流程图；
图4为一个实施例中Kettle任务调度系统的结构框图；
图5为一个实施例中启动单元的结构框图；
图6为一个实施例中获取单元的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
作为一个较好的实施例，如图1所示，一种Kettle任务调度方法，所述Kettle任务调度方法包括以下步骤：
步骤S101，创建数据库；
配置Kettle调度任务的参数信息，选定一调度平台，在所述调度平台上创建数据库，在所述数据库中设置参数模板表和参数路由表，参数模板表用来对基本调度信息进行定义，获取Kettle调度任务的基本调度信息，参数路由表用来对基本调度信息进行定义，配置参数项下所需的参数信息，完成对Kettle任务调度的参数信息的配置，根据Kettle调度任务的需求来配置Kettle调度任务的基本调度信息，根据参数模板表对基本调度信息进行定义，获取Kettle调度任务的参数项信息，根据参数路由表，配置参数项下所需的参数信息，完成对Kettle任务调度的参数信息的配置。
步骤S102，启动Kettle，创建数据库资源库，指向数据库，Kettle是一种数据仓库工具，用于管理来自不同数据库中的数据；
根据Kettle任务需求来配置Kettle基本调度信息，启动Kettle任务，所述Kettle任务中包含有其任务调度的需求，根据前述需求即可配置Kettle的基本调度信息。例如，Kettle任务包含有“时间”、“源数据”等要求，根据时间和源数据，即可将其配置为对应的Kettle基本调度信息，分别为“时间参数”和“源数据库”。根据参数模板表对基本调度信息进行定义，获取Kettle调度 任务的参数项信息，例如，基本调度信息为“时间参数”和“源数据库”，根据“时间参数”和“源数据库”获取对应的参数项信息，分别为“inc_time”和“target_db”。根据参数路由表，配置参数项下所需的参数信息，完成对Kettle任务调度的参数信息的配置；例如，参数项为“inc_time”，根据“inc_time”即可知晓“inc_time”包含两个项目类别，分别为“inc_start”和“inc_end”。调度平台包括linkdo、zookeeper，基本调度信息包括任务名称、程序名称、调度时间、调度频度和所属调度服务器，数据库采用Oracle，参数信息包括时间、源、目标数据库等。
步骤S103，从数据库的数据文件获取参数项，参数项包括参数值和参数前缀，根据参数值和参数前缀进行数据拼接，生成参数列表；
Kettle下发任务以生成参数列表；根据前述Kettle下发的任务，生成一条可运行的任务；数据库会根据Kettle下发的任务类型来循环筛选前述参数路由表中的每一个参数项，以获取与所述任务类型相关的参数项；根据获取的参数项去所述参数路由表中获取每个参数项下包含的参数值，以及每个参数项的前缀；根据获取的参数值和参数前缀进行数据拼接，以生成参数列表。
步骤S104,使用Python作为脚本语言进行自动化配置，Python包括Paramiko包；
部署python程序并执行任务；选定一支持python程序运行的操作系统，在所述操作系统上安装好Python程序，所述Python程序中包含有Python Paramiko包以及其他需要的包。
步骤S105，根据参数列表，执行Kettle任务，对Kettle任务的完成状态设置标识，用于标记Kettle任务在数据库中的完成状态；
利用Python程序中的Deamon程序轮询满足调度条件的Kettle任务，根据前述参数列表，执行所述Kettle任务；对所述Kettle任务的完成状态设置一标识，用于标记所述Kettle任务在所述数据库中的完成状态。
步骤S106，Kettle触发Python调度进程，匹配对应的Paramiko包，Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库 中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理。
选定一组配置相同的Kettle服务器和与所述Kettle服务器相对应的Python程序，所述Kettle服务器和所述Python程序均采用集群的方式进行部署，所述Kettle中触发Python程序触发调度进程，日志将会通过算法找到与Python程序相对应的Paramiko包，所述Paramiko包会从Kettle服务器上取出日志，日志取出之后，判断日志所需的Paramiko包是否空闲，如果被占用，则暂时放置在等待队列中，如果空闲，则启动Paramiko包将日志放置调度信息配置库中，存储在调度信息配置库中的日志，则可通过Web网页的形式进行实时查询和管理日志。
如图2所示，在一个实施例中，启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据仓库工具，用于管理来自不同数据库中的数据包括：
步骤S201，创建数据库资源库，在资源库中设置参数模板表和参数路由表；
在数据库中设置参数模板表和参数路由表，所述参数模板表是根据存储在数据库中的有关参数的历史记录，采用一个参数对应一条记录的方式而生成的表格，如下表1所示：
Figure PCTCN2018104358-appb-000001
表1
所述参数路由表包含有每个参数其有多少个项目以及每个项下信息的获取路径，所述参数路由表如下表2所示：
  TEMPLET_NAME PARAM_ITEM FIELD_KEY TABLE_NAME PARAM_LIST_NAME
1 COM_KTL inc_time Inc_start Etl_inc_time_config Param:incStart
2 COM_KTL inc_time Inc_end Etl_inc_time_config Param:IncEnd
3 COM_KTL Source_job host Etl_db_config Param:Ssname
4 COM_KTL Source_job port Etl_db_config Param:sdbport
5 COM_KTL Source_job Db_sid Etl_db_config Param:Sdbname
6 COM_KTL Source_job Db_user Etl_db_config Param:Suser
7 COM_KTL Source_job Db_pwd Etl_db_config Param:Spwd
8 COM_KTL Target_db host Etl_db_config Param:Tsname
9 COM_KTL Target_db port Etl_db_config Param:Tdbport
10 COM_KTL Target_db Db_sid Etl_db_config Param:Tdbname
11 COM_KTL Target_db Db_user Etl_db_config Param:Tuser
12 COM_KTL Target_db Db_pwd Etl_db_config Param:Tpwd
表2
步骤S202，根据参数模板表对调度信息进行定义，获取Kettle调度任务的参数项信息，Kettle任务包含时间和源数据；
根据Kettle任务需求来配置Kettle基本调度信息，启动Kettle任务，所述Kettle任务中包含有其任务调度的需求，根据前述需求即可配置Kettle的基本调度信息，例如，Kettle任务包含有“时间”、“源数据”等要求，根据时间和源数据，即可将其配置为对应的Kettle基本调度信息，分别为“时间参数”和“源数据库”。根据参数模板表对基本调度信息进行定义，获取Kettle调度任务的参数项信息；例如，基本调度信息为“时间参数”和“源数据库”，参考上述表1所展示的参数模板表，根据“时间参数”和“源数据库”获取对应的参数项信息，分别为“inc_time”和“target_db”。
步骤S203，根据参数路由表，配置参数项下所需的参数信息，完成对Kettle任务调度参数信息的配置。
根据参数路由表，配置参数项下所需的参数信息，完成对Kettle任务调度的参数信息的配置；例如，参数项为“inc_time”，参考上述表2所展示的参数路由表，根据“inc_time”即可知晓“inc_time”包含两个项目类别，分别为“inc_start”和“inc_end”。上述步骤所述调度平台包括linkdo、zookeeper，基本调度信息包括任务名称、程序名称、调度时间、调度频度和所属调度服务器，数据库采用Oracle，参数信息包括时间、源、目标数据库等。
如图3所示，在一个实施例中，从数据库的数据文件获取参数项，参数项包括参数值和参数前缀，进一步包括：
步骤S301，数据库的数据文件根据Kettle下发的任务类型循环筛选参数路由表中的每一个参数项，获取与任务类型相关的参数项；
根据前述Kettle下发的任务，生成一条可运行的任务，数据库根据下发的任务类型来循环筛选前述参数路由表中的每一个参数项，获取与所述任务类型相关的参数项。
步骤S302，根据参数项，从参数路由表中获取每个参数项下包含的参数值以及每个参数项的前缀。
根据所述参数项，从所述参数路由表中获取每个参数项下包含的参数值以及每个参数项的前缀，根据获取的参数值和参数前缀进行数据拼接，生成满足所述Kettle任务要求的参数列表。
在一个实施例中，根据参数列表，执行Kettle任务进一步包括：
利用Python中的Deamon程序轮询满足调度条件的Kettle任务，根据参数列表，执行Kettle任务。
选定一支持python程序运行的操作系统，在所述操作系统上安装好python程序，所述python程序中包含有python Paramiko包以及需要的包，在所述python程序安装完成之后，也即python Paramiko包安装成功，利用python程序中的deamon程序轮询满足调度条件的Kettle任务，根据前述参数列表，执行所述Kettle任务。
在一个实施例中，标识包括文字标识和符号标识。
在Kettle任务执行完毕之后，则对其完成状态设置一标识，用于标记所述Kettle任务在所述数据库中的完成状态，标识包括文字标识、符号标识。
如图4所示，在一个实施例中，提供一种Kettle任务调度系统，该调度系统包括：
创建单元，设置为创建数据库；
启动单元，设置为启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据仓库工具，用于管理来自不同数据库中的数据；
获取单元，设置为从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀，根据所述参数值和参数前缀进行数据拼接，生成参数列表；
配置单元，设置为使用Python作为脚本语言进行自动化配置，所述Python包括Paramiko包；
设置单元，设置为根据所述参数列表，执行Kettle任务，对所述Kettle任务的完成状态设置标识，用于标记所述Kettle任务在所述数据库中的完成状态；
判断单元，设置为Kettle触发Python调度进程，匹配对应的Paramiko包，所述Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理。
如图5所示，在一个实施例中，所述启动单元还包括：
创建模块，设置为创建数据库资源库，在所述资源库中设置参数模板表和参数路由表；
获取模块，设置为根据参数模板表对调度信息进行定义，获取Kettle调度任务的参数项信息，所述Kettle任务包含时间和源数据；
配置模块，设置为根据参数路由表，配置参数项下所需的参数信息，完成对Kettle任务调度参数信息的配置。
如图6所示，在一个实施例中，，所述获取单元还包括：
筛选模块，设置为数据库的数据文件根据Kettle下发的任务类型循环筛选参数路由表中的每一个参数项，获取与所述任务类型相关的参数项；
获取模块，设置为根据所述参数项，从所述参数路由表中获取每个参数项下包含的参数值以及每个参数项的前缀。
在一个实施例中，所述设置单元还设置为利用Python中的Deamon程序轮询满足调度条件的Kettle任务，根据所述参数列表，执行Kettle任务。
在一个实施例中，所述标识包括文字标识和符号标识。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行所述计算机程序时实现上述各实施例里Kettle任务调度方法中的步骤。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例里Kettle任务调度方法中的步骤。其中，存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

  1. 一种Kettle任务调度方法，包括：
    创建数据库；
    启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据库工具，用于管理来自不同数据库中的数据；
    从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀，根据所述参数值和参数前缀进行数据拼接，生成参数列表；
    使用Python作为脚本语言进行自动化配置，所述Python包括Paramiko包；
    根据所述参数列表，执行Kettle任务，对所述Kettle任务的完成状态设置标识，用于标记所述Kettle任务在所述数据库中的完成状态；
    Kettle触发Python调度进程，匹配对应的Paramiko包，所述Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理。
  2. 根据权利要求1所述的Kettle任务调度方法，其中，所述启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据库工具，用于管理来自不同数据库中的数据包括：
    创建数据库资源库，在所述资源库中设置参数模板表和参数路由表；
    根据参数模板表对调度信息进行定义，获取Kettle调度任务的参数项信息，所述Kettle任务包含时间和源数据；
    根据参数路由表，配置参数项下所需的参数信息，完成对Kettle任务调度参数信息的配置。
  3. 根据权利要求1所述的Kettle任务调度方法，其中，所述从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀，包括：
    数据库的数据文件根据Kettle下发的任务类型循环筛选参数路由表中的每一个参数项，获取与所述任务类型相关的参数项；
    根据所述参数项，从所述参数路由表中获取每个参数项下包含的参数值以及每个参数项的前缀。
  4. 根据权利要求1所述的Kettle任务调度方法，其中，所述根据所述参 数列表，执行Kettle任务包括：
    利用Python中的Deamon程序轮询满足调度条件的Kettle任务，根据所述参数列表，执行Kettle任务。
  5. 根据权利要求1所述的Kettle任务调度方法，其中，所述标识包括文字标识和符号标识。
  6. 一种Kettle任务调度系统，包括：
    创建单元，设置为创建数据库；
    启动单元，设置为启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据库工具，用于管理来自不同数据库中的数据；
    获取单元，设置为从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀，根据所述参数值和参数前缀进行数据拼接，生成参数列表；
    配置单元，设置为使用Python作为脚本语言进行自动化配置，所述Python包括Paramiko包；
    设置单元，设置为根据所述参数列表，执行Kettle任务，对所述Kettle任务的完成状态设置标识，用于标记所述Kettle任务在所述数据库中的完成状态；
    判断单元，设置为Kettle触发Python调度进程，匹配对应的Paramiko包，所述Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理。
  7. 根据权利要求6所述的Kettle任务调度系统，其中，所述启动单元还包括：
    创建模块，设置为创建数据库资源库，在所述资源库中设置参数模板表和参数路由表；
    获取模块，设置为根据参数模板表对调度信息进行定义，获取Kettle调度任务的参数项信息，所述Kettle任务包含时间和源数据；
    配置模块，设置为根据参数路由表，配置参数项下所需的参数信息，完成 对Kettle任务调度参数信息的配置。
  8. 根据权利要求6所述的Kettle任务调度系统，其中，所述获取单元还包括：
    筛选模块，设置为数据库的数据文件根据Kettle下发的任务类型循环筛选参数路由表中的每一个参数项，获取与所述任务类型相关的参数项；
    获取模块，设置为根据所述参数项，从所述参数路由表中获取每个参数项下包含的参数值以及每个参数项的前缀。
  9. 根据权利要求6所述的Kettle任务调度系统，其中，所述设置单元还设置为利用Python中的Deamon程序轮询满足调度条件的Kettle任务，根据所述参数列表，执行Kettle任务。
  10. 根据权利要求6所述的Kettle任务调度系统，其中，所述标识包括文字标识和符号标识。
  11. 一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤：
    创建数据库；
    启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据库工具，用于管理来自不同数据库中的数据；
    从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀，根据所述参数值和参数前缀进行数据拼接，生成参数列表；
    使用Python作为脚本语言进行自动化配置，所述Python包括Paramiko包；
    根据所述参数列表，执行Kettle任务，对所述Kettle任务的完成状态设置标识，用于标记所述Kettle任务在所述数据库中的完成状态；
    Kettle触发Python调度进程，匹配对应的Paramiko包，所述Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理。
  12. 根据权利要求11所述的计算机设备，其中，所述启动Kettle，创建数 据库资源库，指向数据库，所述Kettle是一种数据库工具，用于管理来自不同数据库中的数据时，使得所述处理器执行以下步骤：
    创建数据库资源库，在所述资源库中设置参数模板表和参数路由表；
    根据参数模板表对调度信息进行定义，获取Kettle调度任务的参数项信息，所述Kettle任务包含时间和源数据；
    根据参数路由表，配置参数项下所需的参数信息，完成对Kettle任务调度参数信息的配置。
  13. 根据权利要求11所述的计算机设备，其中，所述从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀时，使得所述处理器执行以下步骤：
    数据库的数据文件根据Kettle下发的任务类型循环筛选参数路由表中的每一个参数项，获取与所述任务类型相关的参数项；
    根据所述参数项，从所述参数路由表中获取每个参数项下包含的参数值以及每个参数项的前缀。
  14. 根据权利要求11所述的计算机设备，其中，所述根据所述参数列表，执行Kettle任务时，使得所述处理器执行以下步骤：
    利用Python中的Deamon程序轮询满足调度条件的Kettle任务，根据所述参数列表，执行Kettle任务。
  15. 根据权利要求11所述的计算机设备，其中，所述标识包括文字标识和符号标识。
  16. 一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
    创建数据库；
    启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据库工具，用于管理来自不同数据库中的数据；
    从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀，根据所述参数值和参数前缀进行数据拼接，生成参数列表；
    使用Python作为脚本语言进行自动化配置，所述Python包括Paramiko包；
    根据所述参数列表，执行Kettle任务，对所述Kettle任务的完成状态设置标识，用于标记所述Kettle任务在所述数据库中的完成状态；
    Kettle触发Python调度进程，匹配对应的Paramiko包，所述Paramiko包从服务器上提取日志；判断日志所需的Paramiko包是否空闲，如被占用，则放置于等待队列中，如空闲，则启动Paramiko包将日志放置于调度信息配置库中，存储于调度信息配置库中的日志通过Web网页进行实时查询和日志管理。
  17. 根据权利要求16所述的存储介质，其中，所述启动Kettle，创建数据库资源库，指向数据库，所述Kettle是一种数据库工具，用于管理来自不同数据库中的数据时，使得一个或多个处理器执行以下步骤：
    创建数据库资源库，在所述资源库中设置参数模板表和参数路由表；
    根据参数模板表对调度信息进行定义，获取Kettle调度任务的参数项信息，所述Kettle任务包含时间和源数据；
    根据参数路由表，配置参数项下所需的参数信息，完成对Kettle任务调度参数信息的配置。
  18. 根据权利要求16所述的存储介质，其中，所述从数据库的数据文件获取参数项，所述参数项包括参数值和参数前缀时，使得一个或多个处理器执行以下步骤：
    数据库的数据文件根据Kettle下发的任务类型循环筛选参数路由表中的每一个参数项，获取与所述任务类型相关的参数项；
    根据所述参数项，从所述参数路由表中获取每个参数项下包含的参数值以及每个参数项的前缀。
  19. 根据权利要求16所述的存储介质，其中，所述根据所述参数列表，执行Kettle任务时，使得一个或多个处理器执行以下步骤：
    利用Python中的Deamon程序轮询满足调度条件的Kettle任务，根据所述参数列表，执行Kettle任务。
  20. 根据权利要求16所述的存储介质，其中，所述标识包括文字标识和符号标识。
PCT/CN2018/104358 2018-05-21 2018-09-06 Kettle任务调度方法、系统、计算机设备和存储介质 WO2019223172A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810487074.0 2018-05-21
CN201810487074.0A CN108629052B (zh) 2018-05-21 2018-05-21 Kettle任务调度方法、系统、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
WO2019223172A1 true WO2019223172A1 (zh) 2019-11-28

Family

ID=63693762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/104358 WO2019223172A1 (zh) 2018-05-21 2018-09-06 Kettle任务调度方法、系统、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN108629052B (zh)
WO (1) WO2019223172A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204419A (zh) * 2021-05-26 2021-08-03 深圳市领星网络科技有限公司 一种超大规模任务调度分发处理方法、系统及计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176856A (zh) * 2018-11-09 2020-05-19 商派软件有限公司 一种智能控制消费脚本通道的方法
CN110196876A (zh) * 2019-06-05 2019-09-03 浪潮软件股份有限公司 一种基于Web管理和调度Kettle抽数工具的方法
CN113297312A (zh) * 2021-06-22 2021-08-24 中关村科学城城市大脑股份有限公司 一种基于bs和cs架构的数据etl构建方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100280990A1 (en) * 2009-04-30 2010-11-04 Castellanos Maria G Etl for process data warehouse
CN106446144A (zh) * 2016-09-21 2017-02-22 郑州云海信息技术有限公司 一种基于kettle的大数据平台数据抽取和统计方法
CN107045538A (zh) * 2017-02-07 2017-08-15 山东浪潮云服务信息科技有限公司 一种基于kettle的web端交换管理方法
CN107992552A (zh) * 2017-11-28 2018-05-04 南京莱斯信息技术股份有限公司 一种数据交换平台及数据交换方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430505B2 (en) * 2011-04-18 2016-08-30 Infosys Limited Automated data warehouse migration
CN107368503B (zh) * 2016-05-13 2021-04-30 北京京东尚科信息技术有限公司 基于Kettle的数据同步方法和系统
CN107463589A (zh) * 2016-08-24 2017-12-12 上海幸福九号网络科技有限公司 一种数据仓库系统及使用方法
CN107193903A (zh) * 2017-05-11 2017-09-22 上海斐讯数据通信技术有限公司 高效处理ip地址区域定位的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100280990A1 (en) * 2009-04-30 2010-11-04 Castellanos Maria G Etl for process data warehouse
CN106446144A (zh) * 2016-09-21 2017-02-22 郑州云海信息技术有限公司 一种基于kettle的大数据平台数据抽取和统计方法
CN107045538A (zh) * 2017-02-07 2017-08-15 山东浪潮云服务信息科技有限公司 一种基于kettle的web端交换管理方法
CN107992552A (zh) * 2017-11-28 2018-05-04 南京莱斯信息技术股份有限公司 一种数据交换平台及数据交换方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204419A (zh) * 2021-05-26 2021-08-03 深圳市领星网络科技有限公司 一种超大规模任务调度分发处理方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN108629052B (zh) 2023-06-02
CN108629052A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
WO2019223172A1 (zh) Kettle任务调度方法、系统、计算机设备和存储介质
US9558218B2 (en) Truncating data associated with objects in a multi-tenant database
US9851989B2 (en) Methods and apparatus to manage virtual machines
CN107784026B (zh) 一种etl数据处理方法及装置
US8875120B2 (en) Methods and apparatus for providing software bug-fix notifications for networked computing systems
WO2019000630A1 (zh) 多任务调度方法、系统、应用服务器及计算机可读存储介质
US8869111B2 (en) Method and system for generating test cases for a software application
US9473356B2 (en) Automatic configuration of applications based on host metadata using application-specific templates
CN105893225A (zh) 一种错误自动处理方法及装置
US9460109B1 (en) Centralized provisioning process leveraging network attached storage
WO2020015191A1 (zh) 业务规则的发布管理方法、电子装置及可读存储介质
US9766881B2 (en) Social project management system and marketplace
CN109918432B (zh) 提取任务关系链的方法、装置、计算机设备和存储介质
US9875140B2 (en) System, method, and apparatus for coordinating distributed electronic discovery processing
CN113330419A (zh) 一种设备应用安装方法和装置
CN117693734A (zh) 前端项目处理方法、装置、设备、管理系统及存储介质
CN108399095B (zh) 支持动态管理定时任务的方法、系统、设备和存储介质
US20200304383A1 (en) Generation of templates for cloud computing platforms
CN111324373B (zh) 多个工程文件上传代码仓库的方法及装置、计算设备
CN107247904B (zh) 一种安全基线项目同步方法及装置
US10277615B2 (en) Maintenance of distributed computing systems
EP2605127B1 (en) Processing Framework For Generating Pre-Configuration Packages
JP6705482B2 (ja) システム構築パラメータ管理装置、システム構築パラメータ管理システム、システム構築パラメータ管理方法、及び、システム構築パラメータ管理プログラム
CN110321132B (zh) 一种代码发布方法和装置
CN106708606B (zh) 基于MapReduce的数据处理方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18919744

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18919744

Country of ref document: EP

Kind code of ref document: A1