WO2022252629A1 - 基于云平台的脚本自动化执行方法、系统、设备及介质 - Google Patents
基于云平台的脚本自动化执行方法、系统、设备及介质 Download PDFInfo
- Publication number
- WO2022252629A1 WO2022252629A1 PCT/CN2022/071835 CN2022071835W WO2022252629A1 WO 2022252629 A1 WO2022252629 A1 WO 2022252629A1 CN 2022071835 W CN2022071835 W CN 2022071835W WO 2022252629 A1 WO2022252629 A1 WO 2022252629A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- script
- execution
- information
- scheduling
- host
- Prior art date
Links
- 238000013515 script Methods 0.000 title claims abstract description 586
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000012795 verification Methods 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000013500 data storage Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Abstract
本申请公开了基于云平台的脚本自动化执行方法、系统、设备及介质,方法包括:调度服务器对接收到的登录信息进行验证,若验证通过则接收上传的脚本执行项目并生成调度任务,到达调度任务的执行时间点,调度服务器根据调度任务将对应待执行脚本分配至云平台执行主机,以使云平台执行主机执行待执行脚本而对脚本执行项目的源数据处理得到数据处理结果,调度服务器整合数据处理结果得到项目执行结果并反馈至用户终端。
Description
本申请要求于2021年06月01日提交中国专利局、申请号为202110610442.8,发明名称为“基于云平台的脚本自动化执行方法、系统、设备及介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请涉及云计算技术领域,属于智慧城市中基于云平台对脚本进行自动化执行的应用场景,尤其涉及一种基于云平台的脚本自动化执行方法、系统、设备及介质。
为完成数据处理、数据分析等过程,用户通常需通过执行相应程序脚本以实现上述数据处理或数据分析,首先在本地主机部署执行环境,再将数据及程序脚本导入执行环境进行执行,然而发明人发现,整个安装部署及参数配置过程较为繁琐,且本地主机通常为用户个人购买的笔记本、台式电脑等终端设备,受限于终端设备的性能,导致程序脚本的执行效率较低,且在对执行环境进行维护的过程中需要对执行环境进行更新、系统资源重新分配等操作,维护过程需要用户自己手动完成,而升级过程或资源重分配过程中中易因电脑环境原因,导致维护后的执行环境兼容性差或执行环境不可用的问题。因此,现有的技术方法中对程序脚本进行执行的过程中存在执行效率较低及可维护性较差的问题。
发明内容
本申请实施例提供了一种基于云平台的脚本自动化执行方法、系统、设备及介质,旨在解决现有技术方法中对程序脚本进行执行的过程中所存在的执行效率较低的问题。
第一方面,本申请实施例提供了一种基于云平台的脚本自动化执行方法,应用于基于云平台的脚本自动化执行系统中的调度服务器,其中,所述基于云平台的脚本自动化执行系统还包括多台云平台执行主机,用户终端与所述调度服务器通过网络连接进行数据信息的传输,所述方法包括:
若接收到所述用户终端输入的登录信息,验证所述登录信息得到是否验证通过的验证结果;
若所述验证结果为通过,接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成对应的调度任务;
若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果;
对与所述脚本执行项目的所述数据处理结果进行整合,得到对应的项目执行结果并反馈至所述用户终端。
第二方面,本申请实施例提供了一种基于云平台的脚本自动化执行系统,其中,所述基于云平台的脚本自动化执行系统包括调度服务器及多台云平台执行主机,所述调度服务器包括:
登录信息验证单元,用于若接收到所述用户终端输入的登录信息,验证所述登录信息得到是否验证通过的验证结果;
调度任务生成单元,用于若所述验证结果为通过,接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成对应的调度任务;
脚本分配单元,用于若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果;
项目执行结果反馈单元,用于对与所述脚本执行项目的所述数据处理结果进行整合,得 到对应的项目执行结果并反馈至所述用户终端。
第三方面,本申请实施例又提供了一种计算机设备,其中,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述第一方面所述的基于云平台的脚本自动化执行方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被处理器执行时实现上述第一方面所述的基于云平台的脚本自动化执行方法。
本申请实施例提供了一种基于云平台的脚本自动化执行方法、系统、设备及介质。调度服务器对接收到的登录信息进行验证,若验证通过则接收上传的脚本执行项目并生成调度任务,到达调度任务的执行时间点,调度服务器根据调度任务将对应待执行脚本分配至云平台执行主机,以使云平台执行主机执行待执行脚本而对脚本执行项目中的源数据进行处理得到数据处理结果,调度服务器整合数据处理结果得到项目执行结果并反馈至用户终端。通过上述方法,调度服务器统一接收脚本执行项目并生成调度任务,同时根据调度任务分配待执行脚本以实现对云平台执行主机进行统一调度及维护,基于高性能的云平台执行主机执行脚本,可大幅提高脚本的执行效率,且无需用户进行部署、参数配置及维护,大幅提高了云平台执行主机的可维护性。
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于云平台的脚本自动化执行方法的流程示意图;
图2为本申请实施例提供的基于云平台的脚本自动化执行方法的应用场景示意图;
图3为本申请实施例提供的基于云平台的脚本自动化执行方法的子流程示意图;
图4为本申请实施例提供的基于云平台的脚本自动化执行方法的另一子流程示意图;
图5为本申请实施例提供的基于云平台的脚本自动化执行方法的另一子流程示意图;
图6为本申请实施例提供的基于云平台的脚本自动化执行方法的另一流程示意图;
图7为本申请实施例提供的基于云平台的脚本自动化执行方法的另一子流程示意图;
图8为本申请实施例提供的基于云平台的脚本自动化执行方法的另一子流程示意图;
图9为本申请实施例提供的基于云平台的脚本自动化执行系统的示意性框图;
图10为本申请实施例提供的计算机设备的示意性框图。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1及图2,图1是本申请实施例提供的基于云平台的脚本自动化执行方法的流 程示意图,图2为本申请实施例提供的基于云平台的脚本自动化执行方法的应用场景示意图;该基于云平台的脚本自动化执行方法应用于基于云平台的脚本自动化执行系统中的调度服务器10,基于云平台的脚本自动化执行系统还包括多台云平台执行主机20及数据存储器30,该基于云平台的脚本自动化执行方法通过安装于调度服务器10中的应用软件进行执行,调度服务器10即是用于对云平台执行主机20进行调度以及对数据存储器30中存储的数据信息进行管理的服务器端,云平台执行主机20即是基于云桌面构建的处理终端,云平台执行主机20用于执行程序脚本以对数据信息进行处理得到相应的数据处理结果,数据存储器30即是用于对数据信息进行存储的存储终端,调度服务器10可对数据存储器30中存储的数据信息进行读取、修改、添加或删除等操作,云平台执行主机20仅能读取数据存储器30中存储的数据信息,用户终端40与调度服务器10通过网络连接进行数据信息的传输,用户终端40即是供用户进行使用以输入登录信息、上传脚本执行项目及接收项目执行结果的终端设备,例如台式电脑、笔记本电脑、平板电脑或手机等。图2中仅仅示意出调度服务器10与一台用户终端40进行信息传输,在实际应用中,该调度服务器10也可同时与多台用户终端40建立通信连接以实现数据信息的传输。
如图1所示,该方法包括步骤S110~S140。
S110、若接收到所述用户终端输入的登录信息,验证所述登录信息得到是否验证通过的验证结果。
若接收到所述用户终端输入的登录信息,验证所述登录信息得到是否验证通过的验证结果。用户可通过用户终端输入登录信息,登录信息包含账户名及登录密码,账户名即可作为用户的标识信息与一个用户唯一对应。数据存储器30中配置有NAS(Network Attached Storage,网络附属存储)存储单元,用户进行注册后的注册信息均存储于NAS存储单元中,则调度服务器10接收用户终端40输入的登录信息,并对NAS存储单元中的注册信息进行检索,得到注册信息中与登录信息的账户名相对应的密码验证信息,验证该密码验证信息是否与登录信息中的登录密码相同,即可实现对登录信息进行验证。若登录密码与密码验证信息相同,则验证结果为验证通过,否则验证结果为验证不通过,若验证结果为验证不通过,则调度服务器反馈验证不通过的提示信息至该用户终端。
S120、若所述验证结果为通过,接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成对应的调度任务。
若所述验证结果为通过,接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成对应的调度任务。调度服务器接收用户终端上传的脚本执行项目,其中,脚本执行项目包括源数据及脚本指向信息,或者是脚本执行项目包括源数据及脚本文件,源数据即为所需进行处理的数据,源数据可以是文本、图像、视频或音频等数据信息,脚本文件即为对数据信息进行实际处理的程序脚本,脚本文件可由一个或多个脚本组成,脚本中包含具体的程序代码,脚本执行项目可以包含脚本文本或至少一个脚本指向信息,其中,一个脚本指向信息即可作为脚本的标识信息与一个脚本唯一对应,调度服务器可基于脚本执行项目中所包含的具体信息生成对应的调度任务。
在一实施例中,如图3所示,步骤S120包括子步骤S121、S122和S123。
S121、将所述脚本执行项目中的源数据存储至与已登录用户对应的存储空间。
调度服务器可对脚本执行项目中的源数据进行存储,具体的,调度服务器首先在NAS存储单元中为该已登录的用户分配存储空间,则分配的存储空间与该已登录用户相对应,之后将脚本执行项目中的源数据存储至已分配的存储空间内,其中,NAS存储单元中包含与每一用户对应的存储空间,一个已登录用户可对应一个存储空间,则该用户每次上传的脚本执行项目中的源数据均存储于该存储空间内;一个已登录用户也可对应多个存储空间,则该用户上传一份脚本执行项目即对应分配一个存储空间对当前上传的脚本执行项目包含的源数据进 行存储,该用户后续上传另一份脚本执行项目则再分配与该用户对应的另一存储空间。
S122、判断所述脚本执行项目中是否包含调度配置信息;S123、若所述脚本执行项目中包含调度配置信息,根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务。
脚本执行项目中可以包含调度配置信息,调度配置信息中包括时间点配置信息及调度规则配置信息,可通过时间点配置信息对执行时间点进行配置,通过调度规则配置信息对调度规则进行配置,具体的,时间点配置信息可分为立即执行和延迟执行两种类型,若时间点配置信息为立即执行,则可将执行时间点配置为调度任务生成完毕的时间点,则调度任务生成即立即执行;若时间点配置信息为延迟执行,则时间点配置信息中还包含延迟时间,可将执行时间点配置为调度任务生成完毕的时间点与该延迟时间相加的时间点。
调度规则配置信息中包括并发数量和主机指定信息,可根据并发数量和主机指定信息对调度规则进行配置,其中,并发数量即为对同一脚本类型进行并发执行的云平台执行主机的数量,主机指定信息即为指定云平台执行主机进行脚本执行的信息,若主机指定信息为空,则表示未指定云平台执行主机,若主机指定信息不为空,则需结合主机指定信息中指定的云平台执行主机的信息对应分配待执行脚本至相应服务器。
根据脚本执行项目中的脚本指向信息及脚本属性信息对执行信息进行配置,其中,脚本属性信息即为对每一脚本的具体属性信息进行记载的信息,脚本属性信息中可以包括每一脚本的脚本类型、每一脚本的执行优先级及每一脚本的占用空间等具体信息,脚本类型即为对脚本具体类型进行记载的信息,执行优先级即为对脚本执行的优先级进行标识的信息,通过脚本的执行优先级可以明确哪些脚本能够被优先执行,占用空间即为对脚本所占用的存储空间进行记载的信息。
例如,某一脚本执行项目中所包含的脚本属性信息如表1所示。
表1
分别对执行时间点、调度规则及执行信息进行配置后,即可生成与脚本执行项目对应的调度任务。
在一实施例中,如图4所示,步骤S122之后还包括步骤S124和S125。
S124、若所述脚本执行项目中不包含调度配置信息,获取所述脚本执行项目中的脚本属性信息进行统计得到所述脚本执行项目的项目特征信息。
用户可以不在脚本执行项目中设置调度配置信息,则可获取脚本执行项目中的脚本属性信息以生成该脚本执行项目的项目特征信息,项目特征信息即为对该脚本执行项目中包含的脚本属性信息进行统计后所得到的特征信息,项目特征信息中可以包括该脚本执行项目中的脚本总数及每一脚本类型的脚本占比。
S125从预存的调度模板库中获取与所述项目特征信息相匹配的一个调度模板作为所述脚本执行项目的调度配置信息;执行所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务的步骤。
调度服务器预先存储有调度模板库,调度模板库即是用于对调度模板进行存储的数据库,调度模板库中存储有多个调度模板,可根据项目特征信息从调度模板库中获取一个调度模板作为对应的调度配置信息,并执行生成调度任务的步骤,也即是执行步骤S123。具体的,可先根据项目特征信息中的脚本总数获取与该脚本总数相匹配的多个调度模板,再根据每一脚 本类型的脚本占比获取多个调度模板中相匹配的一个调度模板。
例如,某一项目特征信息为:脚本总数7,“区块链计算”脚本类型的脚本占比0.7142,“文本识别”脚本类型的脚本占比0.1429,“语音识别”脚本类型的脚本占比0.1429;某一调度模板的匹配信息为,脚本总数为5-11,“区块链计算”脚本类型的脚本占比0.6-0.9,“文本识别”脚本类型的脚本占比0-0.25,“语音识别”脚本类型的脚本占比0-0.25,则该调度模板即为与上述项目特征信息相匹配的调度模板。
在一实施例中,如图5所示,步骤S120还包括步骤S126、S127和S128。
S126、判断所述脚本执行项目中是否包含脚本文件;若所述脚本执行项目中不包含脚本文件,执行所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务的步骤;S127、若所述脚本执行项目中包含脚本文件,将所述脚本文件存储至预置的脚本数据库后获取已存储脚本文件的脚本指向信息;S128、根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本属性信息及所述脚本指向信息配置执行信息以生成调度任务。
若判断得到脚本执行项目中不包含脚本文件,则执行生成调度任务的步骤,也即是执行步骤S123;若判断得到脚本执行项目中包含脚本文件,则获取脚本执行项目中的脚本文件存储至脚本数据库中。具体的,脚本数据库可以是数据存储器30所配置的IOBs(Input/Output Blocks)数据库中,IOBs数据库即为专用于对脚本文件进行存储的数据库,管理员可对脚本数据库中存储的脚本进行统一维护和修改。脚本数据库对脚本文件进行存储后即可获取对应每一脚本对应的脚本执行项目,脚本指向信息可以是每一脚本的存储地址或每一脚本唯一对应的脚本编码。若脚本指向信息为脚本的存储地址,则调度服务器将脚本文件存储至脚本数据库后即获取每一脚本的存储地址作为脚本指向信息;若脚本指向信息为脚本编码,则调度服务器获取脚本文件中包含的脚本并生成与每一脚本对应的脚本编码,将脚本编码及脚本存储至脚本数据库,并获取脚本编码作为对应的脚本指向信息。
在一实施例中,如图6所示,步骤S130之前还包括步骤S1301和S1302。
S1301、判断预存的主机数据表中是否包含与已登录用户相匹配的私有主机信息;S1302、若所述主机数据表中包含与所述已登录用户相匹配的私有主机信息,到达所述调度任务中的执行时间点将所述待执行脚本分配至与所述私有主机信息对应的私有云平台执行主机;若所述主机数据表中不包含与所述已登录用户相匹配的私有主机信息,执行若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果的步骤。
具体的,云平台执行主机可根据类型分为私有云平台执行主机及公有云平台执行主机,则基于云平台的脚本自动化执行系统中至少配置有一台私有云平台执行主机及一台公有云平台执行主机。调度服务器中预先存储有主机数据表,主机数据表中包含每一云平台执行主机的主机标识信息、主机类型、及所属用户,主机类型即为对云平台执行主机为“私有”类型或“公有”类型进行标识的信息,所属用户即为私有云平台执行主机所属的具体用户信息,每一私有云平台执行主机仅对应属于一个用户,也即私有云平台执行主机为所属用户个人所有,其它用户不能使用;公有云平台执行主机为所有用户均能使用的云平台执行主机。
可获取主机数据表中主机类型为“私有”的私有云平台执行主机,并根据每一私有云平台执行主机的所属用户判断其中是否包含所属用户与已登录用户相匹配的私有主机信息,则可以得到主机数据表中包含与已登录用户相匹配的私有主机信息的判断结果,或者得到主机数据表中不包含与已登录用户相匹配的私有主机信息的判断结果。若主机数据表中包含与已登录用户相匹配的私有主机信息,可获取所属用户与已登录用户相匹配的私有云平台执行主机的主机标识信息作为私有主机信息,则调度服务器根据与已登录用户相匹配的私有主机信 息将相应待执行脚本直接分配至与私有主机信息对应的私有云平台执行主机。若主机数据表中不包含与已登录用户相匹配的私有主机信息,则执行步骤S130。
S130、若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果。
若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果。调度任务中配置有执行时间点、调度规则及执行信息,若到达该执行时间点,即可根据调度任务将对应的待执行脚本分配至公有云平台执行主机进行执行。执行信息中包含脚本指向信息及脚本属性信息,可根据脚本指向信息从脚本数据库中获取对应脚本作为待执行脚本,并根据调度任务对与脚本指向信息对应的待执行脚本进行分配。
在一实施例中,如图7所示,步骤S130包括子步骤S131、S132、S133和S134。
S131、根据所述执行信息中的脚本属性信息确定所述调度任务包含的脚本类型。
根据脚本属性信息即可确定调度任务包含的脚本类型,例如,脚本属性信息中包含的脚本分别对应“区块链计算”、“文本识别”及“语音识别”这三种脚本类型,则可以确定调度任务对应包含上述三种脚本类型。
S132、根据所述调度任务包含的脚本类型及预存的主机数据表确定每一所述脚本类型对应的备选主机信息。
主机数据表中还包含脚本执行类型信息,脚本执行类型信息即为每一云平台执行主机适用的脚本类型,为提高云平台执行主机对脚本的执行效率,可构造针对不同脚本类型进行执行的云平台执行主机,则与每一脚本类型对应的云平台执行主机可专用于执行该脚本类型对应的脚本,根据主机数据表中的脚本执行类型信息,可将适用于调度任务中每一脚本类型的云平台执行主机的主机标识信息,确定为调度任务包含的每一脚本类型对应的备选主机信息。
例如,可针对“区块链计算”脚本类型专门构造基于GPU(Graphics Processing Unit,图形处理器)架构的云平台执行主机,可针对“图像识别”脚本类型专门构建基于AI芯片的云平台执行主机,则基于GPU架构的云平台执行主机执行“区块链计算”的脚本时、基于AI芯片的云平台执行主机执行“图像识别”的脚本时,均能够最大化地发挥该云平台执行主机的计算力,提高相应脚本的执行效率。
在一实施例中,如图8所示,所述基于云平台的脚本自动化执行方法还包括:S1310、对每一所述调度任务对应的待执行脚本的执行过程进行监控得到调度任务监控信息;S1320、对每一所述云平台执行主机的运行状态进行监控得到运行监控信息;S1330、根据调度任务监控信息及运行监控信息生成云平台运行日志。
调度服务器可对调度任务进行监控得到调度任务监控信息,其中对调度任务的监控可在调度任务生成完毕之后进行;还可对每一云平台执行主机的运行状态进行监控得到运行监控信息,对云平台执行主机的监控可在云平台执行主机中运行环境部署完成之后进行。调度任务监控信息即为对调度任务的任务状态、任务耗时、异常信息、调度任务所包含脚本的执行进度等进行监控所得到的信息,运行监控信息即为对云平台执行主机的系统资源占用比率、故障详细信息、故障间隔时间、待执行队列等进行监控所得到的信息。调度服务器可基于运行监控信息及调度任务监控信息生成云平台运行日志,数据存储器30中还配置有Pg SQL数据库(PostgreStructured Query Language,对象-关系型数据库),PgSQL数据库可用于对调度服务器的运行数据、系统数据进行存储,也即是PgSQL数据库可用于存储云平台运行日志、调度模板库、主机数据表等信息,以供调度服务器在运行时进行读取使用。用户可通过用户终端发送日志获取请求至调度服务器,则调度服务器根据日志获取请求将相应云平台运行日 志反馈至用户终端进行显示,也即是用户可用过这一方式获取并查看云平台运行日志。
S133、根据所述云平台执行主机的运行监控信息、每一所述脚本类型对应的备选主机信息及所述调度规则,确定与所述执行信息中的每一脚本指向信息相匹配的目标主机信息。
调度服务器可从云平台运行日志中获取对云平台执行主机进行监控所得到的运行监控信息,基于运行监控信息、每一脚本类型对应的备选主机信息及调度规则,确定与执行信息中包含的每一脚本指向信息相匹配的目标主机信息。具体的,备选主机信息中包含多台备选主机,根据运行监控信息可获取每一备选主机的待执行队列,调度服务器分配至相应云平台执行主机的待执行脚本均进入该云平台执行主机的待执行队列中,则待执行队列中包含即将被该云平台执行主机执行的脚本,待执行队列中的脚本遵循先进先出原则,根据待执行队列即可获取每一云平台执行主机的待执行脚本数量。
调度规则配置信息中包括并发数量和主机指定信息,若主机指定信息不为空,则根据主机指定信息从备选主机信息中筛选出指定主机信息,指定主机信息中包含多台指定主机,根据指定主机的待执行脚本数量对与执行信息中的每一脚本类型对应的指定主机进行排序,待执行脚本数据较少的指定主机排序靠前,并根据并发数量及指定主机的排序结果获取排序靠前的多台指定主机的主机信息作为与所述执行信息中的每一脚本指向信息相匹配的目标主机信息;若主机指定信息为空,则直接根据备选主机的待执行脚本数量对与执行信息中的每一脚本类型对应的备选主机进行排序,并根据并发数量及备选主机的排序结果获取排序靠前的多台备选主机的主机信息作为与所述执行信息中的每一脚本指向信息相匹配的目标主机信息。
例如,调度配置信息中并发数量为“3”,主机指定信息为空,则根据备选主机的排序结果,获取与执行信息中每一脚本类型排序靠前的前三的三台备选主机的主机信息作为目标主机信息,也即目标主机信息中包含与执行信息中每一脚本类型分别对应的三台云平台执行主机。
S134、从预置的脚本数据库读取与每一所述脚本指向信息对应的待执行脚本并分配至与所述目标主机信息相匹配的云平台执行主机。
脚本数据库即为对脚本进行存储的数据库,可根据脚本指向信息分别读取每一脚本类型对应的待执行脚本发送至目标主机信息中与相应脚本类型相匹配的云平台执行主机进行执行。若调度服务器根据调度任务监控信息监控到调度任务中某一待执行脚本的执行过程出现异常,调度服务器会及时将该待执行脚本重新分配至其它云平台执行主机进行执行。
例如,目标主机信息中与“区块链计算”脚本类型相匹配的云平台执行主机包括“主机A”、“主机B”及“主机C”,则根据脚本指向信息一次读取与“区块链计算”脚本类型对应的三个待执行脚本并分别发送至“主机A”、“主机B”及“主机C”这三台云平台执行主机进行执行,完成分配后再读取与“区块链计算”脚本类型对应另外三个待执行脚本并按上述方式进行分配。
更具体的,在对待执行脚本进行分配时,可先根据脚本属性信息中的执行优先级对每一脚本类型的多个待执行脚本进行优先级排序,基于优先级排序顺序读取每一脚本类型对应的待执行脚本,并发送至目标主机信息中与相应脚本类型相匹配的云平台执行主机进行执行,则执行优先级较高的待执行脚本被优先发送至云平台主机进行执行,执行优先级较低的待执行脚本被置于最后发送至云平台执行主机进行执行。
所述云平台执行主机执行所述待执行脚本以对所述脚本执行项目中的源数据进行处理得到数据处理结果并输出至调度服务器。具体的,云平台执行主机对待执行脚本进行执行的具体过程包括:从已登录用户对应的存储空间读取源数据;执行所述待执行脚本对已读取的源数据进行处理得到数据处理结果并输出至调度服务器。云平台执行主机从待执行队列中获取待执行脚本,并从数据存储器30所配置的与已登录用户相对应的存储空间中读取源数据进行处理,每一云平台执行主机对一个待执行脚本进行处理均会得到一份数据处理结果,云平台 执行主机将与每一待执行脚本对应的数据处理结果输出至调度服务器。
S140、对与所述脚本执行项目的所述数据处理结果进行整合,得到对应的项目执行结果并反馈至所述用户终端。
对与所述脚本执行项目的所述数据处理结果进行整合,得到对应的项目执行结果并反馈至所述用户终端。调度服务器对与脚本执行项目中每一待执行脚本对应的数据处理结果进行整合,得到与该脚本执行项目对应的项目执行结果并反馈至用户终端,也即是一个脚本执行项目对应一个项目执行结果,用户可通过用户终端可接收并查看该项目执行结果。
在本实施例中,可通过调度服务器对云平台执行主机进行统一维护及管理,具体的,在需要对云平台执行主机进行安装部署、参数配置、执行环境更新、系统资源分配等维护操作时,管理员可通过调度服务器对云平台执行主机统一进行维护及管理,无需用户进行任何维护相关的操作,因此大幅提高了云平台执行主机的可维护性及稳定性。
本申请中的技术方法可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通等包含基于云平台对脚本进行自动化执行的应用场景中,从而推动智慧城市的建设。
在本申请实施例所提供的基于云平台的脚本自动化执行方法中,调度服务器对接收到的登录信息进行验证,若验证通过则接收上传的脚本执行项目并生成调度任务,到达调度任务的执行时间点,调度服务器根据调度任务将对应待执行脚本分配至云平台执行主机,以使云平台执行主机执行待执行脚本而对脚本执行项目中的源数据进行处理得到数据处理结果,调度服务器整合数据处理结果得到项目执行结果并反馈至用户终端。通过上述方法,调度服务器统一接收脚本执行项目并生成调度任务,同时根据调度任务分配待执行脚本以实现对云平台执行主机进行统一调度及维护,基于高性能的云平台执行主机执行脚本,可大幅提高脚本的执行效率,且无需用户进行部署、参数配置及维护,大幅提高了云平台执行主机的可维护性。
本申请实施例还提供一种基于云平台的脚本自动化执行系统100,该基于云平台的脚本自动化执行系统中的调度服务器10用于执行前述的基于云平台的脚本自动化执行方法的任一实施例。具体地,请参阅图9,图9为本申请实施例提供的基于云平台的脚本自动化执行系统的示意性框图,该基于云平台的脚本自动化执行系统100包括调度服务器10及多台云平台执行主机20。
如图9所示,所述调度服务器10包括登录信息验证单元101、调度任务生成单元102、脚本分配单元103及项目执行结果反馈单元104。
所述登录信息验证单元101,用于若接收到所述用户终端输入的登录信息,验证所述登录信息得到是否验证通过的验证结果。
所述调度任务生成单元102,用于若所述验证结果为通过,接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成对应的调度任务。
在一实施例中,所述调度任务生成单元102包括子单元:源数据存储单元,用于将所述脚本执行项目中的源数据存储至与已登录用户对应的存储空间;脚本执行项目判断单元,用于判断所述脚本执行项目中是否包含调度配置信息;生成单元,用于若所述脚本执行项目中包含调度配置信息,根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务。
在一实施例中,所述调度任务生成单元102还包括子单元:项目特征信息获取单元,用于若所述脚本执行项目中不包含调度配置信息,获取所述脚本执行项目中的脚本属性信息进行统计得到所述脚本执行项目的项目特征信息;调度模板匹配单元,用于从预存的调度模板库中获取与所述项目特征信息相匹配的一个调度模板作为所述脚本执行项目的调度配置信息;执行所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的 脚本指向信息及脚本属性信息配置执行信息以生成调度任务的步骤。
在一实施例中,所述调度任务生成单元102还包括子单元:判断单元,用于判断所述脚本执行项目中是否包含脚本文件;若所述脚本执行项目中不包含脚本文件,执行所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务的步骤;脚本指向信息获取单元,用于若所述脚本执行项目中包含脚本文件,将所述脚本文件存储至预置的脚本数据库后获取已存储脚本文件的脚本指向信息;任务生成单元,用于根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本属性信息及所述脚本指向信息配置执行信息以生成调度任务。
在一实施例中,所述调度服务器10还包括子单元:判断单元,用于判断预存的主机数据表中是否包含与已登录用户相匹配的私有主机信息;分配单元,用于若所述主机数据表中包含与所述已登录用户相匹配的私有主机信息,到达所述调度任务中的执行时间点将所述待执行脚本分配至与所述私有主机信息对应的私有云平台执行主机;若所述主机数据表中不包含与所述已登录用户相匹配的私有主机信息,执行若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果的步骤。
所述脚本分配单元103,用于若到达所述调度任务中的执行时间点,根据所述调度任务分配待执行脚本至所述云平台执行主机。
在一实施例中,所述脚本分配单元103包括子单元:脚本类型确定单元,用于根据所述执行信息中的脚本属性信息确定所述调度任务包含的脚本类型;备选主机信息确定单元,用于根据所述调度任务包含的脚本类型及预存的主机数据表确定每一所述脚本类型对应的备选主机信息;目标主机信息确定单元,用于根据所述云平台执行主机的运行监控信息、每一所述脚本类型对应的备选主机信息及所述调度规则,确定与所述执行信息中的每一脚本指向信息相匹配的目标主机信息;待执行脚本分配单元,用于从预置的脚本数据库读取与每一所述脚本指向信息对应的待执行脚本并分配至与所述目标主机信息相匹配的云平台执行主机。
在一实施例中,所述调度服务器10还包括子单元:调度任务监控信息获取单元,用于对每一所述调度任务对应的待执行脚本的执行过程进行监控得到调度任务监控信息;运行监控信息获取单元,用于对每一所述云平台执行主机的运行状态进行监控得到运行监控信息;云平台日志生成单元,用于根据调度任务监控信息及运行监控信息生成云平台运行日志。
所述项目执行结果反馈单元104,用于对与所述脚本执行项目的所述数据处理结果进行整合,得到对应的项目执行结果并反馈至所述用户终端。
在本申请实施例所提供的基于云平台的脚本自动化执行系统应用上述基于云平台的脚本自动化执行方法,调度服务器对接收到的登录信息进行验证,若验证通过则接收上传的脚本执行项目并生成调度任务,到达调度任务的执行时间点,调度服务器根据调度任务将对应待执行脚本分配至云平台执行主机,以使云平台执行主机执行待执行脚本而对脚本执行项目中的源数据进行处理得到数据处理结果,调度服务器整合数据处理结果得到项目执行结果并反馈至用户终端。通过上述方法,调度服务器统一接收脚本执行项目并生成调度任务,同时根据调度任务分配待执行脚本以实现对云平台执行主机进行统一调度及维护,基于高性能的云平台执行主机执行脚本,可大幅提高脚本的执行效率,且无需用户进行部署、参数配置及维护,大幅提高了云平台执行主机的可维护性。
上述基于云平台的脚本自动化执行方法可以实现为计算机程序的形式,该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10,图10是本申请实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行基于云平台的脚本自动化执行方法以对待执行脚本进行分配的调度服务器10。
参阅图10,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行基于云平台的脚本自动化执行方法,其中,存储介质503可以为易失性的存储介质或非易失性的存储介质。
该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。
该内存储器504为存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行基于云平台的脚本自动化执行方法。
该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现上述的基于云平台的脚本自动化执行方法中对应的功能。
本领域技术人员可以理解,图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图10所示实施例一致,在此不再赘述。
应当理解,在本申请实施例中,处理器502可以是中央处理单元(Central Processing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为易失性或非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,当所述计算机程序被处理器执行时实现上述的基于云平台的脚本自动化执行方法。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (20)
- 一种基于云平台的脚本自动化执行方法,应用于基于云平台的脚本自动化执行系统中的调度服务器,所述基于云平台的脚本自动化执行系统还包括多台云平台执行主机,用户终端与所述调度服务器通过网络连接进行数据信息的传输,所述方法包括:若接收到所述用户终端输入的登录信息,验证所述登录信息得到是否验证通过的验证结果;若所述验证结果为通过,接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成对应的调度任务;若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果;对与所述脚本执行项目的所述数据处理结果进行整合,得到对应的项目执行结果并反馈至所述用户终端。
- 根据权利要求1所述的基于云平台的脚本自动化执行方法,其中,所述接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成调度任务,包括:将所述脚本执行项目中的源数据存储至与已登录用户对应的存储空间;判断所述脚本执行项目中是否包含调度配置信息;若所述脚本执行项目中包含调度配置信息,根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务。
- 根据权利要求2所述的基于云平台的脚本自动化执行方法,其中,所述判断所述脚本执行项目中是否包含调度配置信息之后,还包括:若所述脚本执行项目中不包含调度配置信息,获取所述脚本执行项目中的脚本属性信息进行统计得到所述脚本执行项目的项目特征信息;从预存的调度模板库中获取与所述项目特征信息相匹配的一个调度模板作为所述脚本执行项目的调度配置信息;执行所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务的步骤。
- 根据权利要求2所述的基于云平台的脚本自动化执行方法,其中,所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务之前,还包括:判断所述脚本执行项目中是否包含脚本文件;若所述脚本执行项目中不包含脚本文件,执行所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务的步骤;若所述脚本执行项目中包含脚本文件,将所述脚本文件存储至预置的脚本数据库后获取已存储脚本文件的脚本指向信息;根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本属性信息及所述脚本指向信息配置执行信息以生成调度任务。
- 根据权利要求3所述的基于云平台的脚本自动化执行方法,其中,所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务之前,还包括:判断所述脚本执行项目中是否包含脚本文件;若所述脚本执行项目中不包含脚本文件,执行所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以 生成调度任务的步骤;若所述脚本执行项目中包含脚本文件,将所述脚本文件存储至预置的脚本数据库后获取已存储脚本文件的脚本指向信息;根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本属性信息及所述脚本指向信息配置执行信息以生成调度任务。
- 根据权利要求1所述的基于云平台的脚本自动化执行方法,其中,所述云平台执行主机包含私有云平台执行主机,所述根据所述调度任务分配待执行脚本至所述云平台执行主机之前,还包括:判断预存的主机数据表中是否包含与已登录用户相匹配的私有主机信息;若所述主机数据表中包含与所述已登录用户相匹配的私有主机信息,到达所述调度任务中的执行时间点将所述待执行脚本分配至与所述私有主机信息对应的私有云平台执行主机;若所述主机数据表中不包含与所述已登录用户相匹配的私有主机信息,执行若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果的步骤。
- 根据权利要求1所述的基于云平台的脚本自动化执行方法,其中,所述调度任务包括执行信息及调度规则,所述根据所述调度任务分配待执行脚本至所述云平台执行主机,包括:根据所述执行信息中的脚本属性信息确定所述调度任务包含的脚本类型;根据所述调度任务包含的脚本类型及预存的主机数据表确定每一所述脚本类型对应的备选主机信息;根据所述云平台执行主机的运行监控信息、每一所述脚本类型对应的备选主机信息及所述调度规则,确定与所述执行信息中的每一脚本指向信息相匹配的目标主机信息;从预置的脚本数据库读取与每一所述脚本指向信息对应的待执行脚本并分配至与所述目标主机信息相匹配的云平台执行主机。
- 根据权利要求1所述的基于云平台的脚本自动化执行方法,其中,所述方法还包括:对每一所述调度任务对应的待执行脚本的执行过程进行监控得到调度任务监控信息;对每一所述云平台执行主机的运行状态进行监控得到运行监控信息;根据调度任务监控信息及运行监控信息生成云平台运行日志。
- 一种基于云平台的脚本自动化执行系统,所述基于云平台的脚本自动化执行系统包括调度服务器及多台云平台执行主机,用户终端与所述调度服务器通过网络连接进行数据信息的传输,所述调度服务器包括:登录信息验证单元,用于若接收到所述用户终端输入的登录信息,验证所述登录信息得到是否验证通过的验证结果;调度任务生成单元,用于若所述验证结果为通过,接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成对应的调度任务;脚本分配单元,用于若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果;项目执行结果反馈单元,用于对与所述脚本执行项目的所述数据处理结果进行整合,得到对应的项目执行结果并反馈至所述用户终端。
- 一种计算机设备,其中,所述计算机设备配置于基于云平台的脚本自动化执行系统的调度服务器中,所述系统还包括多台云平台主执行主机,用户终端与所述调度服务器通过网络连接进行数据信息的传输,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现以下步骤:若接收到所述用户终端输入的登录信息,验证所述登录信息得到是否验证通过的验证结果;若所述验证结果为通过,接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成对应的调度任务;若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果;对与所述脚本执行项目的所述数据处理结果进行整合,得到对应的项目执行结果并反馈至所述用户终端。
- 根据权利要求10所述的计算机设备,其中,所述接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成调度任务,包括:将所述脚本执行项目中的源数据存储至与已登录用户对应的存储空间;判断所述脚本执行项目中是否包含调度配置信息;若所述脚本执行项目中包含调度配置信息,根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务。
- 根据权利要求11所述的计算机设备,其中,所述判断所述脚本执行项目中是否包含调度配置信息之后,还包括:若所述脚本执行项目中不包含调度配置信息,获取所述脚本执行项目中的脚本属性信息进行统计得到所述脚本执行项目的项目特征信息;从预存的调度模板库中获取与所述项目特征信息相匹配的一个调度模板作为所述脚本执行项目的调度配置信息;执行所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务的步骤。
- 根据权利要求11所述的计算机设备,其中,所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务之前,还包括:判断所述脚本执行项目中是否包含脚本文件;若所述脚本执行项目中不包含脚本文件,执行所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务的步骤;若所述脚本执行项目中包含脚本文件,将所述脚本文件存储至预置的脚本数据库后获取已存储脚本文件的脚本指向信息;根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本属性信息及所述脚本指向信息配置执行信息以生成调度任务。
- 根据权利要求12所述的计算机设备,其中,所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务之前,还包括:判断所述脚本执行项目中是否包含脚本文件;若所述脚本执行项目中不包含脚本文件,执行所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务的步骤;若所述脚本执行项目中包含脚本文件,将所述脚本文件存储至预置的脚本数据库后获取已存储脚本文件的脚本指向信息;根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本属性信息及所述脚本指向信息配置执行信息以生成调度任务。
- 根据权利要求10所述的计算机设备,其中,所述云平台执行主机包含私有云平台执行主机,所述根据所述调度任务分配待执行脚本至所述云平台执行主机之前,还包括:判断预存的主机数据表中是否包含与已登录用户相匹配的私有主机信息;若所述主机数据表中包含与所述已登录用户相匹配的私有主机信息,到达所述调度任务中的执行时间点将所述待执行脚本分配至与所述私有主机信息对应的私有云平台执行主机;若所述主机数据表中不包含与所述已登录用户相匹配的私有主机信息,执行若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果的步骤。
- 根据权利要求10所述的计算机设备,其中,所述调度任务包括执行信息及调度规则,所述根据所述调度任务分配待执行脚本至所述云平台执行主机,包括:根据所述执行信息中的脚本属性信息确定所述调度任务包含的脚本类型;根据所述调度任务包含的脚本类型及预存的主机数据表确定每一所述脚本类型对应的备选主机信息;根据所述云平台执行主机的运行监控信息、每一所述脚本类型对应的备选主机信息及所述调度规则,确定与所述执行信息中的每一脚本指向信息相匹配的目标主机信息;从预置的脚本数据库读取与每一所述脚本指向信息对应的待执行脚本并分配至与所述目标主机信息相匹配的云平台执行主机。
- 根据权利要求10所述的计算机设备,其中,所述方法还包括:对每一所述调度任务对应的待执行脚本的执行过程进行监控得到调度任务监控信息;对每一所述云平台执行主机的运行状态进行监控得到运行监控信息;根据调度任务监控信息及运行监控信息生成云平台运行日志。
- 一种计算机可读存储介质,其中,所述计算机可读存储介质在基于云平台的脚本自动化执行系统的调度服务器中执行,所述系统还包括多台云平台主执行主机,用户终端与所述调度服务器通过网络连接进行数据信息的传输,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被处理器执行时执行以下操作:若接收到所述用户终端输入的登录信息,验证所述登录信息得到是否验证通过的验证结果;若所述验证结果为通过,接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成对应的调度任务;若到达所述调度任务中的执行时间点,根据所述调度任务将对应的待执行脚本分配至所述云平台执行主机,以使所述云平台执行主机执行所述待执行脚本而对所述脚本执行项目中的源数据进行处理得到数据处理结果;对与所述脚本执行项目的所述数据处理结果进行整合,得到对应的项目执行结果并反馈至所述用户终端。
- 根据权利要求1所述的计算机可读存储介质,其中,所述接收所述用户终端上传的脚本执行项目并根据所述脚本执行项目生成调度任务,包括:将所述脚本执行项目中的源数据存储至与已登录用户对应的存储空间;判断所述脚本执行项目中是否包含调度配置信息;若所述脚本执行项目中包含调度配置信息,根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务。
- 根据权利要求19所述的计算机可读存储介质,其中,所述判断所述脚本执行项目中是否包含调度配置信息之后,还包括:若所述脚本执行项目中不包含调度配置信息,获取所述脚本执行项目中的脚本属性信息进行统计得到所述脚本执行项目的项目特征信息;从预存的调度模板库中获取与所述项目特征信息相匹配的一个调度模板作为所述脚本执行项目的调度配置信息;执行所述根据所述调度配置信息配置执行时间点及调度规则,并根据所述脚本执行项目中的脚本指向信息及脚本属性信息配置执行信息以生成调度任务的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110610442.8A CN113238851A (zh) | 2021-06-01 | 2021-06-01 | 基于云平台的脚本自动化执行方法、系统、设备及介质 |
CN202110610442.8 | 2021-06-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022252629A1 true WO2022252629A1 (zh) | 2022-12-08 |
Family
ID=77136241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2022/071835 WO2022252629A1 (zh) | 2021-06-01 | 2022-01-13 | 基于云平台的脚本自动化执行方法、系统、设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113238851A (zh) |
WO (1) | WO2022252629A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113238851A (zh) * | 2021-06-01 | 2021-08-10 | 平安科技(深圳)有限公司 | 基于云平台的脚本自动化执行方法、系统、设备及介质 |
CN115543588B (zh) * | 2022-11-30 | 2023-03-10 | 成都中星世通电子科技有限公司 | 基于脚本编排的电磁感知任务执行方法、系统及终端 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180165122A1 (en) * | 2016-12-09 | 2018-06-14 | Vmware, Inc. | Methods and apparatus to automate deployments of software defined data centers |
CN109800145A (zh) * | 2018-12-13 | 2019-05-24 | 深圳壹账通智能科技有限公司 | 脚本执行方法、装置、计算机设备及存储介质 |
CN111400179A (zh) * | 2020-03-13 | 2020-07-10 | 苏宁云计算有限公司 | 终端应用程序交互的方法、装置、计算机设备和存储介质 |
CN113238851A (zh) * | 2021-06-01 | 2021-08-10 | 平安科技(深圳)有限公司 | 基于云平台的脚本自动化执行方法、系统、设备及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014084846A1 (en) * | 2012-11-30 | 2014-06-05 | Hewlett-Packard Development Company, L.P. | Running agents to execute automation tasks in cloud systems |
CN112433899A (zh) * | 2020-11-27 | 2021-03-02 | 中国建设银行股份有限公司 | 一种云服务器批量检测方法、装置、设备及存储介质 |
-
2021
- 2021-06-01 CN CN202110610442.8A patent/CN113238851A/zh active Pending
-
2022
- 2022-01-13 WO PCT/CN2022/071835 patent/WO2022252629A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180165122A1 (en) * | 2016-12-09 | 2018-06-14 | Vmware, Inc. | Methods and apparatus to automate deployments of software defined data centers |
CN109800145A (zh) * | 2018-12-13 | 2019-05-24 | 深圳壹账通智能科技有限公司 | 脚本执行方法、装置、计算机设备及存储介质 |
CN111400179A (zh) * | 2020-03-13 | 2020-07-10 | 苏宁云计算有限公司 | 终端应用程序交互的方法、装置、计算机设备和存储介质 |
CN113238851A (zh) * | 2021-06-01 | 2021-08-10 | 平安科技(深圳)有限公司 | 基于云平台的脚本自动化执行方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113238851A (zh) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11275593B2 (en) | Leveraging microservice containers to provide tenant isolation in a multi-tenant API gateway | |
WO2022252629A1 (zh) | 基于云平台的脚本自动化执行方法、系统、设备及介质 | |
US11036696B2 (en) | Resource allocation for database provisioning | |
US8677318B2 (en) | Management of composite software services | |
TWI512494B (zh) | 本端備份之基於雲端儲存 | |
US8104038B1 (en) | Matching descriptions of resources with workload requirements | |
TWI624794B (zh) | 使在使用者的群組中能夠協同作業之電腦實施方法、計算裝置及電腦可讀媒體 | |
CN111279319A (zh) | 容器组的动态迁移 | |
US9003389B2 (en) | Generating an encoded package profile based on executing host processes | |
US20100138540A1 (en) | Method of managing organization of a computer system, computer system, and program for managing organization | |
US11962599B2 (en) | Techniques for automatically configuring minimal cloud service access rights for container applications | |
US8660996B2 (en) | Monitoring files in cloud-based networks | |
WO2022105337A1 (zh) | 一种任务调度方法与系统 | |
AU2017327824B2 (en) | Data integration job conversion | |
CN111491037B (zh) | 通过sftp数据流与对象存储服务器的通信方法 | |
CN111679911B (zh) | 云环境中gpu卡的管理方法、装置、设备及介质 | |
WO2023093197A1 (zh) | 一种应用管理方法及相关系统 | |
CN112134950B (zh) | 维护Linux集群的方法、装置、维护服务器及介质 | |
US8353013B2 (en) | Authorized application services via an XML message protocol | |
US20230033059A1 (en) | System and methods for dynamic log indexing and processing | |
CN114500268B (zh) | chart资源的部署方法、装置、服务器及存储介质 | |
CN118012572A (zh) | 用于自动配置用于容器应用的最小云服务访问权限的技术 | |
JP2021051461A (ja) | システム実行支援方法および装置 | |
WO2017080177A1 (zh) | 服务器进程管理方法及系统 | |
CN111062011A (zh) | 一种客户端注册方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22814682 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |