WO2023241616A1 - 一种基于云管理平台的数据处理方法以及云管理平台 - Google Patents

一种基于云管理平台的数据处理方法以及云管理平台 Download PDF

Info

Publication number
WO2023241616A1
WO2023241616A1 PCT/CN2023/100159 CN2023100159W WO2023241616A1 WO 2023241616 A1 WO2023241616 A1 WO 2023241616A1 CN 2023100159 W CN2023100159 W CN 2023100159W WO 2023241616 A1 WO2023241616 A1 WO 2023241616A1
Authority
WO
WIPO (PCT)
Prior art keywords
management platform
operator
client
cloud management
data
Prior art date
Application number
PCT/CN2023/100159
Other languages
English (en)
French (fr)
Inventor
张洪
张珊铭
杨明雄
裴名明
Original Assignee
华为云计算技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为云计算技术有限公司 filed Critical 华为云计算技术有限公司
Publication of WO2023241616A1 publication Critical patent/WO2023241616A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Definitions

  • the embodiments of this application relate to the field of cloud technology, and in particular, to a data processing method based on a cloud management platform and a cloud management platform.
  • the size of the object storage bucket in the cloud service system continues to expand, and the number and type of data stored in the object storage bucket also continue to increase.
  • users not only have data storage needs, but also data processing needs. Based on this, developers of cloud service systems can deploy cloud instances with data processing capabilities in the cloud service system through self-research to meet users' data processing needs.
  • the first aspect of the embodiments of this application provides a data processing method based on a cloud management platform.
  • the method includes:
  • the cloud management platform can provide a management interface to the first client used by the user. Therefore, the user can send the user's own data processing needs to the management interface through the first client, so that the cloud management platform can pass
  • the management interface receives the data processing requirements sent by the first client, that is, the cloud management platform receives the user's data processing requirements through the management interface.
  • the cloud management platform After the cloud management platform obtains the data processing requirements sent by the first client, that is, after the cloud management platform obtains the user's data processing requirements, the cloud management platform can choose to cooperate with the user in the independent software vendors (ISV) resource pool.
  • ISV independent software vendors
  • the second client used by the ISV is the second client that matches the data processing requirements sent by the first client.
  • the method further includes: the cloud management platform provides a registration interface, and registers The interface is used to receive information of at least one operator from the second client; the cloud management platform deploys at least one operator based on the information.
  • the cloud management platform can provide a registration interface to the second client used by the ISV, so the ISV can send at least one to the registration interface through the second client. Operator information, so that the cloud management platform receives the information of at least one operator through the registration interface, thereby registering the at least one operator on the cloud management platform.
  • the cloud management platform can complete the deployment of the at least one operator in a virtual instance based on the information of the at least one operator, so that the cloud management platform can subsequently directly call the at least one operator.
  • the cloud management platform if the cloud management platform does not receive any request or any instruction from the third client used by the operation and maintenance personnel within the preset time period, it can be determined that the functional test for at least one operator is successful. It can be seen that the operators provided by ISV can be tested by the operation and maintenance personnel of the cloud service system, thereby further ensuring the reliability of these operators.
  • the target data is stored in the object storage bucket corresponding to the first client.
  • the cloud management platform calls at least one operator to process the target data according to the order. After obtaining the processed target data, the method It also includes: the cloud management platform stores the processed target data in the object storage bucket.
  • the cloud management platform since the target data to be processed is stored in the object storage bucket corresponding to the first client, after obtaining the processed target data, the cloud management platform can store the processed target data in the first client. corresponding object storage bucket to ensure user data security.
  • the data processing requirements sent by the first client include at least one of the following: the type of data that the first client needs to process, that is, the type of data that the user needs to process; The type of processing that needs to be implemented on the data, that is, the type of processing that the user needs to implement on the data; the amount of data that the first client needs to process, that is, the amount of data that the user needs to process; the services that the first client meets Level agreement, that is, the service level agreement required by users.
  • the second aspect of the embodiment of the present application provides a cloud management platform, which includes: a determining module for determining a second client that matches the data processing requirements of the first client; a first providing module for Provide a sorting interface, the sorting interface is used to receive the sorting of at least one operator from the first client, and the at least one operator is provided by the second client; the receiving module is used to receive data processing of the target data from the first client Request; the first processing module is used to call at least one operator to process the target data according to the sorting, obtain the processed target data, and process The final target data is sent to the first client.
  • the cloud management platform in the cloud service system can call at least one ready-made operator to process the target data according to the order, and the obtained processed data can be used by the user. It can be seen that developers of cloud service systems do not need to develop their own operators with data processing capabilities, which can save a lot of labor costs and physical resources, and can provide users with specific operators to meet various needs of users. Various data processing needs.
  • the cloud management platform also includes: a second provision module, used to provide a registration interface, the registration interface is used to receive information from at least one operator of the second client; a deployment module, used to based on the information Deploy at least one counter.
  • the cloud management platform also includes: a third provision module, used to provide an audit interface, the audit interface is used to receive the audit pass result for the information from the third client; a deployment module, used to based on the audit Deploy at least one operator through the results and information.
  • the cloud management platform further includes: a fourth provision module, used to provide a test interface, the test interface is used to receive test data from the third client; a second processing module, used to call at least one algorithm The sub-processor processes the test data, obtains the processed test data, and sends the processed test data to the third client.
  • the target data is stored in an object storage bucket corresponding to the first client
  • the cloud management platform further includes: a storage module configured to store the processed target data in the object storage bucket.
  • the data processing requirements include at least one of the following: the type of data that the first client needs to process, the type of data processing that the first client needs to implement, the type of data that the first client needs to process. The amount of data processed and the service level agreement the first client complies with.
  • the information of at least one operator includes at least one of the following: attribute information of at least one operator, code of at least one operator, usage instructions of at least one operator, at least one operator conforms to Service level agreement, open source information of at least one operator, and test report of at least one operator.
  • the third aspect of the embodiment of the present application provides a cloud management platform.
  • the cloud management platform includes a memory and a processor; the memory stores code, and the processor is configured to execute the code.
  • the cloud management platform executes: The method described in the first aspect or any possible implementation manner of the first aspect.
  • a fourth aspect of the embodiments of the present application provides a computer storage medium.
  • the computer storage medium stores one or more instructions. When executed by one or more computers, the instructions cause one or more computers to implement the first aspect or the third aspect. The method described in any possible implementation manner in one aspect.
  • the fifth aspect of the embodiments of the present application provides a computer program product.
  • the computer program product stores instructions. When the instructions are executed by a computer, the computer implements the implementation as described in the first aspect or any possible implementation manner of the first aspect. method described.
  • the cloud management platform can receive the ranking of at least one operator from the first client through the ranking interface.
  • the at least one operator Provided by the second client.
  • the cloud management platform can call at least one operator to process the target data according to the order of the at least one operator, and obtain the processed target data. and send the processed target data to the first client.
  • users using the first client can customize at least one operator developed by the ISV using the second client according to their own data processing needs.
  • the cloud management platform in the cloud service system can call at least one ready-made operator to process the target data according to the order, and the obtained processed data can be used by the user. It can be seen that developers of cloud service systems do not need to develop their own operators with data processing capabilities, which can save a lot of labor costs and physical resources, and can provide users with specific operators to meet various needs of users. Various data processing needs.
  • Figure 1 is a schematic structural diagram of the cloud service system provided by the embodiment of the present application.
  • Figure 2 is a schematic flow chart of the data processing method based on the cloud management platform provided by the embodiment of the present application;
  • FIG. 3 is a schematic diagram of the registration interface provided by the embodiment of the present application.
  • Figure 4 is a schematic diagram of the review interface provided by the embodiment of this application.
  • Figure 5 is a schematic diagram of the test interface provided by the embodiment of the present application.
  • Figure 6 is a schematic diagram of the sorting interface provided by the embodiment of the present application.
  • Figure 7 is a schematic structural diagram of the cloud management platform provided by the embodiment of the present application.
  • Figure 8 is another schematic structural diagram of a cloud management platform provided by an embodiment of the present application.
  • the embodiments of this application provide a data processing method and cloud management platform based on a cloud management platform, which can save a large amount of labor costs and physical resources, and can meet various data processing needs of users.
  • a storage bucket also called an OBS bucket.
  • the cloud management platform of the cloud service system can deploy an object storage bucket for the user to store the In order to meet the user's data processing needs, the cloud management platform can deploy a virtual machine (which can also be a container or physical machine, etc.) with data processing capabilities for the user.
  • the cloud management platform can issue instructions to the virtual machine so that the virtual machine pulls data from the object storage bucket, processes the data, and then Return processed data to the cloud management platform. Finally, the cloud management platform can return the processed data to the user's client for use by the user.
  • FIG. 1 is a schematic structural diagram of a cloud service system provided by an embodiment of the present application.
  • the cloud service system includes: a cloud management platform, a plurality of first physical nodes and a plurality of second physical nodes, which will be discussed respectively below. Introduce the cloud management platform, the first physical node and the second physical node:
  • the cloud management platform can authenticate the user's client, the ISV's client, and the operation and maintenance personnel's client through the login interface. After passing the authentication, the client can be allowed to log in to the cloud management platform.
  • the cloud management platform can also allow ISV clients to register the operators provided by the ISV on the cloud management platform through the registration interface.
  • the cloud management platform can also review and test the operators provided by the ISV through the audit interface and test interface to ensure the reliability, security and trustworthiness of these operators.
  • the cloud management platform can also display the operators provided by the ISV through the sorting interface, and allow the user's client to sort its selected operators, thereby realizing the user's customized process for data processing.
  • the cloud management platform when the user has data processing needs, can provide a management interface (for example, the demand input field of the user interface) to the first client used by the user (for example, the browser used by the user, etc.) etc.), so the user can send the user's own data processing requirements to the management interface through the first client, so that the cloud management platform receives the data processing requirements sent by the first client through the management interface, that is, the cloud management platform receives the data processing requirements through the management interface. Meet the user’s data processing needs.
  • a management interface for example, the demand input field of the user interface
  • the cloud management platform After the cloud management platform obtains the data processing requirements sent by the first client, that is, after the cloud management platform obtains the user's data processing requirements, the cloud management platform can select the user's data processing requirements from the ISV resource pool (including multiple candidate ISVs). An ISV that matches the needs (that is, the ISV can meet the user's data processing needs). Then, the second client used by the ISV is the second client that matches the data processing requirements sent by the first client.
  • the cloud management platform is oriented to customers used by operation and maintenance personnel.
  • the terminal for example, the browser used by operation and maintenance personnel, etc.
  • the operator review interface displays the information of operator 1, the information of operator 2,..., the information of operator N,
  • the operator review interface includes an review result input column.
  • the operator review interface can be displayed by the client to the operation and maintenance personnel. Therefore, the operation and maintenance personnel can browse the operator review interface to review the information of each operator provided by the ISV. If the review is passed, the operation and maintenance personnel can The client enters the audit pass result in the audit result input field, so the cloud management platform can determine that each operator provided by the ISV is available based on the result.
  • the cloud management platform can provide a login interface (for example, the account input field and password input field of the login interface, etc.) to the third client used by the operation and maintenance personnel.
  • Personnel can enter the operation and maintenance personnel account and operation and maintenance personnel password (the account and password that have been registered on the cloud management platform) into the login interface through the third client. Therefore, the cloud management platform can authenticate the identity of this information. After passing the verification, the personnel can Allow third clients to log in to the cloud management platform.
  • the cloud management platform deploys at least one operator based on the audit result and the information of at least one operator.
  • the cloud management platform can determine that the at least one operator is available, and then deploy the at least one operator based on the information of the at least one operator (for example, the code of the at least one operator, etc.) On a certain virtual instance, the at least one operator can be subsequently run on the virtual instance to implement data processing.
  • the cloud management platform receives test data from the third client through the test interface.
  • the third client can display the processed test data to the operation and maintenance personnel for viewing, and the operation and maintenance personnel can judge whether the processed test data is qualified. If the processed test data is qualified, there is no need to By performing any operation, the cloud management platform may determine that the functional test for at least one operator is successful.
  • the cloud management platform receives the sorting for at least one operator from the first client through the sorting interface.
  • the cloud management platform is oriented to the client used by the user (for example, the browser used by the user, etc.) provides an operator sorting interface.
  • the operator sorting interface includes an operator selection area. This area contains icons of operator 1, operator 2,..., operator N. These Images can be selected and pulled by users, and the operator test interface includes a sorting input field.
  • the operator sorting interface can be displayed to the user by the client, so the user can select the icon of operator 1 in the operator selection area through the client, and pull the icon of operator 1 into the sorting input field, and then, The user can continue to select the icon of operator 3 in the operator selection area through this client, and drag the icon of operator 3 into the sorting input field (in the sorting input field, the position of the icon of operator 3 is connected to the operator 1),... until the icons of these N operators in the operator selection area are pulled into the sorting input field. At this point, the user has successfully entered the sorting of these N operators into the sorting input field through the client, that is, operator 1 ⁇ operator 3 ⁇ operator 2 ⁇ ... ⁇ operator N.
  • the cloud management platform calls at least one operator to process the target data according to the sorting, obtains the processed target data, and sends the processed target data to the first client.
  • the cloud management platform is also equipped with a double-end fixing mechanism between the virtual private cloud (VPC) and the OBS bucket. Since the target data to be processed is stored in the OBS bucket corresponding to the first client, the After obtaining the processed target data, the cloud management platform stores the processed target data in the OBS bucket corresponding to the first client, thereby ensuring the security of the user's data.
  • VPC virtual private cloud
  • the cloud management platform can receive the ranking of at least one operator from the first client through the ranking interface.
  • the at least one operator Provided by the second client.
  • the cloud management platform can call at least one operator to process the target data according to the order of the at least one operator, and obtain the processed target data, and send the processed target data to the first client.
  • users using the first client can customize at least one operator developed by the ISV using the second client according to their own data processing needs.
  • the operators provided by ISVs often have high-quality and professional data processing capabilities, so the cloud management platform can quickly and high-quality complete the user's data processing needs, thereby improving the efficiency of the entire cloud service system. Data processing efficiency, thereby improving user experience.
  • the operators provided by the ISV can be reviewed and tested by the operation and maintenance personnel of the cloud service system, and can also be tested by users themselves (the testing process is similar to the aforementioned steps 208 and 209, here (no further details will be given) to ensure the reliability of these operators.
  • the cloud service system can ensure the security of user data through the dual-end fixing mechanism between VPC and OBS buckets. In this way, users' trust in the cloud service system can be gained, which is conducive to the implementation of the cloud service system.
  • FIG. 7 is a schematic structural diagram of the cloud management platform provided by the embodiment of the present application. As shown in Figure 7, the cloud management platform includes:
  • Determining module 701 used to determine a second client that matches the data processing requirements of the first client
  • the first providing module 702 is used to provide a sorting interface.
  • the sorting interface is used to receive a sorting for at least one operator from the first client, and the at least one operator is provided by the second client;
  • the receiving module 703 is used to receive a data processing request for target data from the first client;
  • the first processing module 704 is configured to call at least one operator to process the target data according to the order, obtain the processed target data, and send the processed target data to the first client.
  • the cloud management platform can receive the ranking of at least one operator from the first client through the ranking interface.
  • the at least one operator Provided by the second client.
  • the cloud management platform can call at least one operator to process the target data according to the order of the at least one operator, and obtain the processed target data. and send the processed target data to the first client.
  • users using the first client can customize at least one operator developed by the ISV using the second client according to their own data processing needs.
  • the cloud management platform in the cloud service system can call at least one ready-made operator to process the target data according to the order, and the obtained processed data can be used by the user. It can be seen that developers of cloud service systems do not need to develop their own operators with data processing capabilities, which can save a lot of labor costs and physical resources, and can provide users with specific operators to meet various needs of users. Various data processing needs.
  • the cloud management platform also includes: a second provision module, used to provide a registration interface, the registration interface is used to receive information from at least one operator of the second client; a deployment module, used to based on the information Deploy at least one counter.
  • the cloud management platform also includes: a third provision module, used to provide an audit interface, the audit interface is used to receive the audit pass result for the information from the third client; a deployment module, used to based on the audit pass As a result and information, at least one operator is deployed.
  • a third provision module used to provide an audit interface, the audit interface is used to receive the audit pass result for the information from the third client
  • a deployment module used to based on the audit pass As a result and information, at least one operator is deployed.
  • the cloud management platform further includes: a fourth provision module, used to provide a test interface, the test interface is used to receive test data from the third client; a second processing module, used to call at least one algorithm The sub-processor processes the test data, obtains the processed test data, and sends the processed test data to the third client.
  • the target data is stored in an object storage bucket corresponding to the first client
  • the cloud management platform further includes: a storage module configured to store the processed target data in the object storage bucket.
  • the data processing requirements include at least one of the following: the type of data that the first client needs to process, the type of data processing that the first client needs to implement, the type of data that the first client needs to process. The amount of data processed and the service level agreement the first client complies with.
  • the information includes at least one of the following: attribute information of at least one operator, code of at least one operator, usage instructions of at least one operator, service level agreement that at least one operator complies with, Open source information of at least one operator and test report of at least one operator.
  • Memory 802 may be ephemeral storage or persistent storage. Furthermore, the central processing unit 801 may be configured to communicate with the memory 802 and execute a series of instruction operations in the memory 802 on the cloud management platform.
  • Embodiments of the present application also relate to a computer storage medium.
  • the computer-readable storage medium stores a program for performing signal processing. When the program is run on a computer, it causes the computer to perform the steps in the embodiment shown in FIG. 2 .
  • the disclosed systems, devices and methods can be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the units is only a logical function division. In actual implementation, there may be other division methods.
  • multiple units or components may be combined or can be integrated into another system, or some features can be ignored, or not implemented.
  • the coupling or direct coupling or communication connection between each other shown or discussed may be through some interfaces, and the indirect coupling or communication connection of the devices or units may be in electrical, mechanical or other forms.
  • each functional unit in each embodiment of the present application can be integrated into one processing unit, each unit can exist physically alone, or two or more units can be integrated into one unit.
  • the above integrated units can be implemented in the form of hardware or software functional units.
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it may be stored in a computer-readable storage medium.
  • the technical solution of the present application is essentially or contributes to the existing technology, or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , including several instructions to cause a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the methods described in various embodiments of this application.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (ROM), random access memory (RAM), magnetic disk or optical disk and other media that can store program code. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于云管理平台的数据处理方法以及云管理平台，可以节省大量的人力成本以及物理资源，且可满足用户各种各样的数据处理需求。本申请的方法包括：云管理平台确定与第一客户端的数据处理需求匹配的第二客户端；云管理平台提供排序接口，排序接口用于接收来自第一客户端的针对至少一个算子的排序，至少一个算子由第二客户端提供；云管理平台接收来自第一客户端的针对目标数据的数据处理请求；云管理平台按照排序，调用至少一个算子对目标数据进行处理，得到处理后的目标数据，并将处理后的目标数据发送至第一客户端。

Description

一种基于云管理平台的数据处理方法以及云管理平台
本申请要求于2022年6月14日提交中国专利局、申请号为202210667087.2、发明名称为“一种基于云管理平台的数据处理方法以及云管理平台”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及云技术领域，尤其涉及一种基于云管理平台的数据处理方法以及云管理平台。
背景技术
随着云存储技术的发展和推广，越来越多的用户(例如，企业用户与个人用户等等)选择云服务系统提供的对象存储服务(object storage service，OBS)，即用户可将数据存储于云服务系统部署的对象存储桶中。
由于用户的数量日益增加，云服务系统中对象存储桶的规模也随之不断扩大，对象存储桶所存储的数据的数量和类型也不断增加。对于云服务系统，用户不仅存在数据存储的需求，还存在数据处理的需求。基于此，云服务系统的开发商可通过自研的方式，在云服务系统中部署具备数据处理能力的云实例，以实现用户的数据处理需求。
然而，由于用户的数据处理需求越来越多，开发商往往需要消耗大量的人力成本和资源去研发和提供数据处理能力，且用户通常存在各种各样的数据处理需求，开发商往往难以全面兼顾，从而无法满足用户所存在的不同类型的数据处理需求。
发明内容
本申请实施例提供了一种基于云管理平台的数据处理方法以及云管理平台，可以节省大量的人力成本以及物理资源，且可满足用户各种各样的数据处理需求。
本申请实施例的第一方面提供了一种基于云管理平台的数据处理方法，该方法包括：
当用户存在数据处理需求时，云管理平台可向用户所使用的第一客户端提供管理接口，故用户可通过第一客户端向管理接口发送用户自身的数据处理需求，以使得云管理平台通过管理接口接收第一客户端发送的数据处理需求，即云管理平台通过管理接口接收到了用户的数据处理需求。
云管理平台得到第一客户端发送的数据处理需求后，即云管理平台得到用户的数据处理需求后，云管理平台可在独立软件开发商(independent software vendors，ISV)资源池中，选择与用户的数据处理需求匹配的ISV。那么，该ISV所使用的第二客户端，则为与第一客户端发送的数据处理需求匹配的第二客户端。
该ISV可使用第二客户端在云管理平台上注册至少一个算子，这至少一个算子由该ISV研发，在该ISV研发的这至少一个算子中，每个算子能够实现某种特定的数据处理，故云管理平台完成这至少一个算子的部署(例如，将这至少一个算子部署在某个虚拟实例中)，以供云管理平台后续直接调用这至少一个算子。
基于此，云管理平台可向用户所使用的第一客户端提供排序接口，故用户可通过第一客 户端向排序接口发送用户针对这至少一个算子的排序(也可以理解为执行顺序)，以使得云管理平台通过排序接口接收第一客户端发送的针对这至少一个算子的排序。
得到到针对这至少一个算子的排序后，云管理平台可记录第一客户端发送的针对这至少一个算子的排序。那么，当云管理平台接收第一客户端发送的针对目标数据的数据处理请求时，云管理平台可向部署有这至少一个算子的虚拟实例发送指令。接着，该虚拟实例基于该指令，从第一客户端对应的对象存储桶获取目标数据，并按照这至少一个算子的排序，依次运行这至少一个算子对目标数据进行处理，从而得到处理后的目标数据。然后，该虚拟实例可将处理后的目标数据发送至云管理平台，以使得云管理平台将处理后的测试数据作为数据处理响应，返回给用户所使用的第一客户端。至此，则实现了用户的数据处理需求。
从上述方法可以看出：在确定与第一客户端的数据处理需求匹配的第二客户端后，云管理平台可通过排序接口接收来自第一客户端的针对至少一个算子的排序，这至少一个算子由第二客户端提供。那么，在接收来自第一客户端的针对目标数据的数据处理请求后，云管理平台可按照针对这至少一个算子的排序，调用至少一个算子对目标数据进行处理，得到处理后的目标数据，并将处理后的目标数据发送至第一客户端。前述过程中，使用第一客户端的用户，可将使用第二客户端的ISV研发的至少一个算子，按照自身的数据处理需求进行自定义排序。当用户存在待处理的目标数据时，云服务系统中的云管理平台可按照该排序，来调用现成的这至少一个算子对目标数据进行处理，得到的处理后的数据可供用户使用。由此可见，云服务系统的开发商不需要自研具备数据处理能力的算子，可以节省大量的人力成本以及物理资源，且可针对性地为用户提供特定的算子，从而满足用户各种各样的数据处理需求。
在一种可能的实现方式中，云管理平台确定与第一客户端的数据处理需求匹配的第二客户端之后，云管理平台提供排序接口之前，该方法还包括：云管理平台提供注册接口，注册接口用于接收来自第二客户端的至少一个算子的信息；云管理平台基于信息部署至少一个算子。前述实现方式中，确定与用户的数据处理需求匹配的ISV后，云管理平台可向该ISV所使用的第二客户端提供注册接口，故该ISV可通过第二客户端向注册接口发送至少一个算子的信息，以使得云管理平台通过注册接口接收至少一个算子的信息，从而在云管理平台上注册这至少一个算子。完成注册后，云管理平台可基于这至少一个算子的信息，在某个虚拟实例中完成这至少一个算子的部署，以供云管理平台后续直接调用这至少一个算子。
在一种可能的实现方式中，云管理平台提供注册接口之后，云管理平台基于信息部署至少一个算子之前，该方法还包括：云管理平台提供审核接口，审核接口用于接收来自第三客户端的针对信息的审核通过结果；云管理平台基于信息部署至少一个算子包括：云管理平台基于审核通过结果以及信息，部署至少一个算子。前述实现方式中，得到这至少一个算子的信息后，云管理平台可向运维人员所使用的第三客户端提供这至少一个算子的信息，以供运维人员审核，并向第三客户端提供审核接口。那么，运维人员可对第三客户端显示的信息进行审核，若审核通过，运维人员可通过第三客户端向审核接口输入针对这至少一个算子的信息的审核通过结果，以使得云管理平台通过审核接口该接收审核通过结果。得到审核通过结果后，云管理平台可确定这至少一个算子是可用的，则基于这至少一个算子的信息，将这至少一个算子部署在某个虚拟实例上，故后续可在该虚拟实例上运行这至少一个算子，以实现数据处理。由此可见，ISV所提供的算子，可由云服务系统的运维人员来审核，从而保证这 些算子的可靠性。
在一种可能的实现方式中，云管理平台基于审核通过结果以及信息，部署至少一个算子之后，云管理平台提供排序接口之前，该方法还包括：云管理平台提供测试接口，测试接口用于接收来自第三客户端的测试数据；云管理平台调用至少一个算子对测试数据进行处理，得到处理后的测试数据，并将处理后的测试数据发送至第三客户端。前述实现方式中，部署这至少一个算子后，云管理平台可向运维人员所使用的第三客户端提供测试接口，故运维人员可通过第三客户端向测试接口发送测试数据，以使得云管理平台通过测试接口接收测试数据。接收到测试数据后，云管理平台可向部署由这至少一个算子的虚拟实例发送测试请求，该测试请求包含测试数据。接着，该虚拟实例可运行这至少一个算子，以对测试数据进行处理，从而得到处理后的测试数据。然后，该虚拟实例可将处理后的测试数据发送至云管理平台，以使得云管理平台将处理后的测试数据作为测试响应，返回给运维人员所使用的第三客户端。此后，第三客户端可将处理后的测试数据显示给运维人员观看，运管人员可判断处理后的测试数据是否合格，若处理后的测试数据是合格的，则不需要再执行任何操作，云管理平台在预置的时长内未接收到运维人员所使用的第三客户端的任何请求或任何指令，可确定针对这至少一个算子的功能测试是成功的。由此可见，ISV所提供的算子，可由云服务系统的运维人员来测试，从而进一步保证这些算子的可靠性。
在一种可能的实现方式中，目标数据存储于第一客户端对应的对象存储桶中，云管理平台按照排序，调用至少一个算子对目标数据进行处理，得到处理后的目标数据之后，方法还包括：云管理平台将处理后的目标数据存储于对象存储桶中。前述实现方式中，由于待处理的目标数据存储在第一客户端对应的对象存储桶中，故在得到处理后的目标数据之后，云管理平台可将处理后的目标数据存储于第一客户端对应的对象存储桶中，从而保证用户的数据安全。
在一种可能的实现方式中，第一客户端发送的数据处理需求包括以下至少一项：第一客户端所需处理的数据的类型，即用户所需处理的数据的类型；第一客户端对数据所需实现的处理的类型，即用户对数据所需实现的处理的类型；第一客户端所需处理的数据量，即用户所需处理的数据量；第一客户端所符合的服务等级协议，即用户所要求的服务等级协议。
在一种可能的实现方式中，至少一个算子的信息包括以下至少一项：这至少一个算子的属性信息，包含这至少一个算子的名称、大小、图标和所能实现的数据处理等等；这至少一个算子的代码，可用于部署和运行这至少一个算子；这至少一个算子的使用说明，可用于介绍这至少一个算子的具体使用方式以及数据处理能力等等；至少一个算子所符合的服务等级协议；至少一个算子的开源信息，用于表明这至少一个算子是基于开源的软件库实现的；至少一个算子的测试报告，包含这至少一个算子的功能测试、性能测试以及可靠性测试等等，用于描述这至少一个算子的功能稳定性以及可靠性等等。
本申请实施例的第二方面提供了一种云管理平台，该云管理平台包括：确定模块，用于确定与第一客户端的数据处理需求匹配的第二客户端；第一提供模块，用于提供排序接口，排序接口用于接收来自第一客户端的针对至少一个算子的排序，至少一个算子由第二客户端提供；接收模块，用于接收来自第一客户端的针对目标数据的数据处理请求；第一处理模块，用于按照排序，调用至少一个算子对目标数据进行处理，得到处理后的目标数据，并将处理 后的目标数据发送至第一客户端。
从上述云管理平台可以看出：在确定与第一客户端的数据处理需求匹配的第二客户端后，云管理平台可通过排序接口接收来自第一客户端的针对至少一个算子的排序，这至少一个算子由第二客户端提供。那么，在接收来自第一客户端的针对目标数据的数据处理请求后，云管理平台可按照针对这至少一个算子的排序，调用至少一个算子对目标数据进行处理，得到处理后的目标数据，并将处理后的目标数据发送至第一客户端。前述过程中，使用第一客户端的用户，可将使用第二客户端的ISV研发的至少一个算子，按照自身的数据处理需求进行自定义排序。当用户存在待处理的目标数据时，云服务系统中的云管理平台可按照该排序，来调用现成的这至少一个算子对目标数据进行处理，得到的处理后的数据可供用户使用。由此可见，云服务系统的开发商不需要自研具备数据处理能力的算子，可以节省大量的人力成本以及物理资源，且可针对性地为用户提供特定的算子，从而满足用户各种各样的数据处理需求。
在一种可能的实现方式中，云管理平台还包括：第二提供模块，用于提供注册接口，注册接口用于接收来自第二客户端的至少一个算子的信息；部署模块，用于基于信息部署至少一个算子。
在一种可能的实现方式中，云管理平台还包括：第三提供模块，用于提供审核接口，审核接口用于接收来自第三客户端的针对信息的审核通过结果；部署模块，用于基于审核通过结果以及信息，部署至少一个算子。
在一种可能的实现方式中，云管理平台还包括：第四提供模块，用于提供测试接口，测试接口用于接收来自第三客户端的测试数据；第二处理模块，用于调用至少一个算子对测试数据进行处理，得到处理后的测试数据，并将处理后的测试数据发送至第三客户端。
在一种可能的实现方式中，目标数据存储于第一客户端对应的对象存储桶中，云管理平台还包括：存储模块，用于将处理后的目标数据存储于对象存储桶中。
在一种可能的实现方式中，数据处理需求包括以下至少一项：第一客户端所需处理的数据的类型、第一客户端对数据所需实现的处理的类型、第一客户端所需处理的数据量以及第一客户端所符合的服务等级协议。
在一种可能的实现方式中，至少一个算子的信息包括以下至少一项：至少一个算子的属性信息，至少一个算子的代码，至少一个算子的使用说明，至少一个算子所符合的服务等级协议，至少一个算子的开源信息以及至少一个算子的测试报告。
本申请实施例的第三方面提供了一种云管理平台，云管理平台包括存储器和处理器；存储器存储有代码，所处理器被配置为执行代码，当代码被执行时，云管理平台执行如第一方面或第一方面中任意一种可能的实现方式所述的方法。
本申请实施例的第四方面提供了一种计算机存储介质，计算机存储介质存储有一个或多个指令，指令在由一个或多个计算机执行时使得一个或多个计算机实施如第一方面或第一方面中任意一种可能的实现方式所述的方法。
本申请实施例的第五方面提供了一种计算机程序产品，计算机程序产品存储有指令，指令在由计算机执行时，使得计算机实施如第一方面或第一方面中任意一种可能的实现方式所述的方法。
本申请实施例中，在确定与第一客户端的数据处理需求匹配的第二客户端后，云管理平台可通过排序接口接收来自第一客户端的针对至少一个算子的排序，这至少一个算子由第二客户端提供。那么，在接收来自第一客户端的针对目标数据的数据处理请求后，云管理平台可按照针对这至少一个算子的排序，调用至少一个算子对目标数据进行处理，得到处理后的目标数据，并将处理后的目标数据发送至第一客户端。前述过程中，使用第一客户端的用户，可将使用第二客户端的ISV研发的至少一个算子，按照自身的数据处理需求进行自定义排序。当用户存在待处理的目标数据时，云服务系统中的云管理平台可按照该排序，来调用现成的这至少一个算子对目标数据进行处理，得到的处理后的数据可供用户使用。由此可见，云服务系统的开发商不需要自研具备数据处理能力的算子，可以节省大量的人力成本以及物理资源，且可针对性地为用户提供特定的算子，从而满足用户各种各样的数据处理需求。
附图说明
图1为本申请实施例提供的云服务系统的一个结构示意图；
图2为本申请实施例提供的基于云管理平台的数据处理方法的一个流程示意图；
图3为本申请实施例提供的注册接口的一个示意图；
图4为本申请实施例提供的审核接口的一个示意图；
图5为本申请实施例提供的测试接口的一个示意图；
图6为本申请实施例提供的排序接口的一个示意图；
图7为本申请实施例提供的云管理平台的一个结构示意图；
图8为本申请实施例提供的云管理平台的另一结构示意图。
具体实施方式
本申请实施例提供了一种基于云管理平台的数据处理方法以及云管理平台，可以节省大量的人力成本以及物理资源，且可满足用户各种各样的数据处理需求。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
随着云存储技术的发展和推广，越来越多的用户(例如，企业用户与个人用户等等)选择云服务系统提供的对象存储服务，即用户可将数据存储于云服务系统部署的对象存储桶(也可以称为OBS桶)中。
由于用户的数量日益增加，云服务系统中对象存储桶的规模也随之不断扩大，对象存储桶所存储的数据的数量和类型也不断增加。对于云服务系统，用户不仅存在数据存储的需求，还存在数据处理的需求。基于此，云服务系统的开发商可通过自研的方式，在云服务系统中部署具备数据处理能力(功能)的云实例，以实现用户的数据处理需求。例如，为了满足某个用户的数据存储需求，云服务系统的云管理平台可为该用户部署对象存储桶，用于存储该 用户的数据，为了满足该用户的数据处理需求，云管理平台可为该用户部署具备数据处理能力的虚拟机(也可以是容器或物理机等等)。那么，在接收该用户使用的客户端发送的数据处理请求后，云管理平台可向该虚拟机下发指令，以使得该虚拟机从该对象存储桶拉取数据，并对数据进行处理，再向云管理平台返回处理后的数据。最后，云管理平台可将处理后的数据返回给该用户的客户端，以供该用户使用。
然而，由于用户的数据处理需求越来越多，开发商往往需要消耗大量的人力成本去研发数据处理能力(以及需耗费大量的物理资源去额外部署具备数据处理能力的云实例)，且用户通常存在各种各样的数据处理需求，开发商往往难以全面考虑和兼顾，无法研发和提供各种类型的数据处理能力，从而无法满足用户的不同类型的数据处理需求。
进一步地，开发商提供的数据处理能力往往不是最优质和最专业的，无法快速且高质量地完成用户的数据处理需求，导致整个云服务系统的数据处理效率低下，进而导致用户体验不佳。
更进一步地，开发商提供的数据处理能力对于用户而言，是不可见的，如何令用户相信开发商提供的数据处理能力是可靠且安全的，从而保证云服务系统的稳定落地，也是一个亟待解决的问题。
为了解决上述问题，本申请实施例提供了一种数据处理方法，该方法可通过云服务系统实现。图1为本申请实施例提供的云服务系统的一个结构示意图，如图1所示，该云服务系统包括：云管理平台、多个第一物理节点以及多个第二物理节点，下文将分别对云管理平台、第一物理节点以及第二物理节点进行介绍：
云管理平台，可对整个云服务系统中多个物理节点进行统筹管理，也可对系统外的用户、独立软件供应商(independent software vendor，ISV)以及云服务系统的运维人员开放，并响应他们的请求。例如，云管理平台可在第一物理节点上创建OBS桶，用于存储用户的客户端上传的数据。又如，云管理平台还可在第二物理节点上创建虚拟实例，用于部署ISV提供的算子(也可以称为函数)，故这些虚拟实例可实现数据处理。又如，云管理平台可提供各种接口(如，登录接口、注册接口、审核接口、测试接口以及排序接口等等)，以供用户的客户端、ISV的客户端以及运维人员的客户端接入，其中，云管理平台可通过登录接口，对用户的客户端、ISV的客户端以及运维人员的客户端进行身份验证，验证通过后可允许客户端登录云管理平台。云管理平台还可通过注册接口，允许ISV的客户端在云管理平台上注册ISV提供的算子。云管理平台还可通过审核接口以及测试接口，对ISV提供的算子进行审核和测试，以确保这些算子的可靠性和安全可信。云管理平台还可通过排序接口显示ISV提供的算子，并允许用户的客户端对其选中的算子进行排序，从而实现用户针对数据处理的自定义流程。
第一物理节点，为物理服务器。该物理节点基于虚拟化技术，可部署有一个或多个OBS桶，在云管理平台的调配下，这些OBS桶可用于存储用户的客户端上传的数据，从而满足用户的数据存储需求。
第二物理节点，为物理服务器。该物理节点基于虚拟化技术，可部署有一个或多个虚拟实例(例如，虚拟机(virtual machine，VM)或容器等等)，在云管理平台的调配下，这些虚拟实例可用于部署ISV提供的算子，由于这些算子可实现数据处理，故可满足用户的数据 处理需求。
为了进一步了解上述云服务系统的工作流程，下文将结合图2对该工作流程进行介绍，为了便于说明，下文将用户的客户端称为第一客户端，将ISV的客户端称为第二客户端，将云服务系统的运维人员的客户端称为第三客户端。图2为本申请实施例提供的基于云管理平台的数据处理方法的一个流程示意图，如图2所示，该方法包括：
201、云管理平台确定与第一客户端的数据处理需求匹配的第二客户端。
本实施例中，当用户存在数据处理需求时，云管理平台可向用户所使用的第一客户端(例如，用户所使用的浏览器等等)提供管理接口(例如，用户界面的需求输入栏等等)，故用户可通过第一客户端向管理接口发送用户自身的数据处理需求，以使得云管理平台通过管理接口接收第一客户端发送的数据处理需求，即云管理平台通过管理接口接收到了用户的数据处理需求。
具体地，第一客户端发送的数据处理需求包括以下信息的一项或多项：(1)第一客户端所需处理的数据的类型，即用户所需处理的数据的类型，例如，用户所需处理的数据为图像数据等等。(2)第一客户端对数据所需实现的处理的类型，即用户对数据所需实现的处理的类型，例如，用户对图像所需实现的处理为放大操作等等。(3)第一客户端所需处理的数据量，即用户所需处理的数据量，例如，用户所需放大的图像数据量为1G等等。(4)第一客户端所符合的服务等级协议，即用户所要求的服务等级协议(service level agreement，SLA)。
云管理平台得到第一客户端发送的数据处理需求后，即云管理平台得到用户的数据处理需求后，云管理平台可在ISV资源池(包含多个候选ISV)中，选择与用户的数据处理需求匹配的ISV(即该ISV可以满足用户的数据处理需求)。那么，该ISV所使用的第二客户端，则为与第一客户端发送的数据处理需求匹配的第二客户端。
应理解，在用户发送数据处理需求之前，云管理平台可向用户所使用的第一客户端提供登录接口(例如，登录界面的账户输入栏和密码输入栏等等)，用户可通过第一客户端向登录接口输入用户账号和用户密码(已在云管理平台注册过的账号和密码)，故云管理平台可对这些信息进行身份验证，验证通过后可允许第一客户端登录云管理平台。
202、云管理平台通过注册接口接收来自第二客户端的至少一个算子的信息。
确定与用户的数据处理需求匹配的ISV后，云管理平台可向该ISV所使用的第二客户端提供注册接口(例如，算子注册界面的算子信息输入栏等等)，故该ISV可通过第二客户端向注册接口发送至少一个算子(即一个或多个算子)的信息，以使得云管理平台通过注册接口接收至少一个算子的信息，从而在云管理平台上注册这至少一个算子。需要说明的是，这至少一个算子由该ISV研发，在该ISV研发的这至少一个算子中，每个算子能够实现某种特定的数据处理(例如，图像放大、图像识别等等)。
具体地，这至少一个算子的信息包括以下信息的一项或多项：(1)这至少一个算子的属性信息，包含这至少一个算子的名称、大小、图标和所能实现的数据处理等等。(2)这至少一个算子的代码(也可以称为算子包)，可用于部署和运行这至少一个算子。(3)这至少一个算子的使用说明，可用于介绍这至少一个算子的具体使用方式以及数据处理能力等等。(4)至少一个算子所符合(满足)的服务等级协议。(5)至少一个算子的开源信息(也可以称为开源申明)，用于表明这至少一个算子是基于可信的开源软件库实现的。(6)至少一个算子的 测试报告，包含这至少一个算子的功能测试、性能测试以及可靠性测试等等，用于描述这至少一个算子的功能稳定性以及可靠性等等。
为了进一步理解云管理平台提供的注册接口，下文结合一个具体例子对注册接口作进一步的介绍。例如，如图3所示(图3为本申请实施例提供的注册接口的一个示意图)，云管理平台面向某个ISV所使用的客户端(例如，ISV1所使用的浏览器等等)提供算子注册界面，该算子注册界面可被该客户端显示给该ISV观看和操作。该算子注册界面包含属性信息输入栏、算子包输入栏、使用说明输入栏、服务等级协议输入栏、开源申明输入栏以及测试报告输入栏等算子信息输入栏。当该ISV需要注册算子1时，可通过该客户端在属性信息输入栏处输入算子1的属性信息，在算子包输入栏处输入算子1的代码，在使用说明输入栏处输入算子1的使用说明，在服务等级协议输入栏处输入算子1满足的服务等级协议，在开源申明输入栏处输入算子1的开源申明，以及在测试报告输入栏处输入算子1的测试报告等等，从而将算子1的信息上传到云管理平台。若该ISV还需要注册算子2，算子3，...，算子N，也可执行如同对算子1执行的操作，此处不再赘述。
应理解，在该ISV发送这至少一个算子的信息之前，云管理平台可向该ISV所使用的第二客户端提供登录接口(例如，登录界面的账户输入栏和密码输入栏等等)，该ISV可通过第二客户端向登录接口输入ISV账号和ISV密码(已在云管理平台注册过的账号和密码)，故云管理平台可对这些信息进行身份验证，验证通过后可允许第二客户端登录云管理平台。
203、云管理平台通过审核接口接收来自第三客户端的针对至少一个算子的信息的审核通过结果。
得到这至少一个算子的信息后，云管理平台可向运维人员所使用的第三客户端提供这至少一个算子的信息(例如，云管理平台可提供算子审核界面，该算子审核界面可显示算子的信息等等)，以供运维人员审核，并向第三客户端提供审核接口(例如，算子审核界面中的审核结果输入栏等等)。那么，运维人员可对第三客户端显示的信息进行审核，若审核通过，运维人员可通过第三客户端向审核接口输入针对这至少一个算子的信息的审核通过结果，以使得云管理平台通过审核接口该接收审核通过结果，如此一来，云管理平台可基于该审核通过结果确定这至少一个算子具备一定的功能稳定性以及可靠性，是可用的。
为了进一步理解云管理平台提供的审核接口，下文结合一个具体例子对审核接口作进一步的介绍。依旧如上述例子，如图4所示(图4为本申请实施例提供的审核接口的一个示意图，图4是在图3的基础上绘制的)，云管理平台面向运维人员所使用的客户端(例如，运维人员所使用的浏览器等等)提供算子审核界面，该算子审核界面展示有算子1的信息，算子2的信息，...，算子N的信息，且该算子审核界面包含审核结果输入栏。该算子审核界面可被该客户端显示给运维人员观看，故运维人员可浏览该算子审核界面以审核该ISV提供的各个算子的信息，若审核通过，运维人员可通过该客户端在审核结果输入栏输入审核通过结果，故云管理平台基于该结果可确定该ISV提供的各个算子是可用的。
应理解，在运维人员发送审核通过结果之前，云管理平台可向运维人员所使用的第三客户端提供登录接口(例如，登录界面的账户输入栏和密码输入栏等等)，运维人员可通过第三客户端向登录接口输入运维人员账号和运维人员密码(已在云管理平台注册过的账号和密码)，故云管理平台可对这些信息进行身份验证，验证通过后可允许第三客户端登录云管理平台。
204、云管理平台基于审核通过结果以及至少一个算子的信息，部署至少一个算子。
得到审核通过结果后，云管理平台可确定这至少一个算子是可用的，则基于这至少一个算子的信息(例如，这至少一个算子的代码等等)，将这至少一个算子部署在某个虚拟实例上，故后续可在该虚拟实例上运行这至少一个算子，以实现数据处理。
应理解，步骤203是可选的，云管理平台也可不执行步骤203，直接执行步骤204。在这种情况下，不需要运维人员来审核这至少一个算子的信息，故云管理平台不需要针对这至少一个算子的审核通过结果，则可直接基于这至少一个算子的信息，来部署这至少一个算子。
205、云管理平台通过测试接口接收来自第三客户端的测试数据。
206、云管理平台调用至少一个算子对测试数据进行处理，得到处理后的测试数据，并将处理后的测试数据发送至第三客户端。
部署这至少一个算子后，云管理平台可向运维人员所使用的第三客户端提供测试接口(例如，算子测试界面的数据输入栏等等)，故运维人员可通过第三客户端向测试接口发送测试数据，以使得云管理平台通过测试接口接收测试数据。接收到测试数据后，云管理平台可向部署由这至少一个算子的虚拟实例发送测试请求，该测试请求包含测试数据。接着，该虚拟实例可运行这至少一个算子，以对测试数据进行处理，从而得到处理后的测试数据。然后，该虚拟实例可将处理后的测试数据发送至云管理平台，以使得云管理平台将处理后的测试数据作为测试响应，返回给运维人员所使用的第三客户端。
需要说明的是，第三客户端可将处理后的测试数据显示给运维人员观看，运维人员可判断处理后的测试数据是否合格，若处理后的测试数据是合格的，则不需要再执行任何操作，云管理平台可确定针对这至少一个算子的功能测试是成功的。
为了进一步理解云管理平台提供的测试接口，下文结合一个具体例子对测试接口作进一步的介绍。依旧如上述例子，如图5所示(图5为本申请实施例提供的测试接口的一个示意图，图5是在图4的基础上绘制的)，云管理平台面向运维人员所使用的客户端(例如，运维人员所使用的浏览器等等)提供算子测试界面，该算子测试界面展示针对算子1，算子2，...，算子N的测试说明，且该算子测试界面包含数据输入栏。该算子测试界面可被该客户端显示给运维人员观看，故运维人员可通过该客户端在数据输入栏输入某个测试数据，以使得云管理平台调用算子1，算子2，...，算子N来对测试数据进行处理，并将处理后的测试数据显示在该算子测试界面的数据输出栏上，以供运维人员判断这些算子的功能测试是否成功。
应理解，步骤205和步骤206是可选的，云管理平台也可不执行步骤205和步骤206，直接执行步骤207。在这种情况下，不需要运维人员来测试这至少一个算子的功能，故云管理平台可直接执行步骤207。
207、云管理平台通过排序接口接收来自第一客户端的针对至少一个算子的排序。
确定针对这至少一个算子的功能测试成功后，云管理平台可向用户所使用的第一客户端提供排序接口(例如，算子排序界面的排序输入栏等等)，故用户可通过第一客户端向排序接口发送用户针对这至少一个算子的排序(也可以理解为执行顺序)，以使得云管理平台通过排序接口接收第一客户端发送的针对这至少一个算子的排序。
为了进一步理解云管理平台提供的排序接口，下文结合一个具体例子对排序接口作进一 步的介绍。依旧如上述例子，如图6所示(图6为本申请实施例提供的排序接口的一个示意图，图6是在图5的基础上绘制的)，云管理平台面向用户所使用的客户端(例如，用户所使用的浏览器等等)提供算子排序界面，该算子排序界面包含算子选择区域，该区域包含算子1，算子2，...，算子N的图标，这些图像可供用户选取和拉动，且该算子测试界面包含排序输入栏。该算子排序界面可被该客户端显示给用户观看，故用户可通过该客户端在算子选择区域选择算子1的图标，并将算子1的图标拉到排序输入栏中，接着，用户可通过该客户端继续在算子选择区域选择算子3的图标，并将算子3的图标拉到排序输入栏中(在排序输入栏中，算子3的图标的位置衔接在算子1的图标的位置之后)，...，直至将算子选择区域中这N个算子的图标均拉到排序输入栏中。至此，用户则成功通过该客户端向排序输入栏输入了针对这N个算子的排序，即算子1→算子3→算子2→...→算子N。
208、云管理平台接收来自第一客户端的针对目标数据的数据处理请求。
209、云管理平台按照排序，调用至少一个算子对目标数据进行处理，得到处理后的目标数据，并将处理后的目标数据发送至第一客户端。
得到针对这至少一个算子的排序后，云管理平台可记录第一客户端发送的针对这至少一个算子的排序。那么，当云管理平台接收第一客户端发送的针对目标数据的数据处理请求时，云管理平台可向部署有这至少一个算子的虚拟实例发送指令，该指令包含目标数据的拉取地址以及这至少一个算子的排序。接着，该虚拟实例基于该指令，从第一客户端对应的OBS桶(即用户的OBS桶，存储有用户的多个数据，这多个数据包含目标数据)获取目标数据，并按照这至少一个算子的排序，依次运行这至少一个算子对目标数据进行处理，从而得到处理后的目标数据。然后，该虚拟实例可将处理后的目标数据发送至云管理平台，以使得云管理平台将处理后的测试数据作为数据处理响应，返回给用户所使用的第一客户端。至此，则实现了用户的数据处理需求。
依旧如上述例子，云管理平台确定需要处理用户指定待处理的目标数据后，可令部署有算子1，算子2，...，算子N的虚拟机，从用户的OBS桶中拉取目标数据。接着，由于这N个算子的排序为算子1→算子3→算子2→...→算子N，故该虚拟机可先将通过算子1对目标数据进行处理，得到第1次处理后的目标数据，再通过算子3对第1次处理后的目标数据进行处理，得到第2次处理后的目标数据，再通过算子2对第2次处理后的目标数据进行处理，得到第3次处理后的目标数据，...，再通过算子N对第N-1次处理后的目标数据进行处理，得到第N次处理后的目标数据。最后，该虚拟机可将第N次处理后的目标数据发送至云管理平台，以使得云管理平台将第N次处理后的目标数据返回给用户。
进一步地，云管理平台还设置有虚拟私有云(virtual private cloud，VPC)和OBS桶之间的双端固定机制，由于待处理的目标数据存储在第一客户端对应的OBS桶中，故在得到处理后的目标数据之后，云管理平台则将处理后的目标数据存储于第一客户端对应的OBS桶中，从而保证用户的数据安全。
本申请实施例中，在确定与第一客户端的数据处理需求匹配的第二客户端后，云管理平台可通过排序接口接收来自第一客户端的针对至少一个算子的排序，这至少一个算子由第二客户端提供。那么，在接收来自第一客户端的针对目标数据的数据处理请求后，云管理平台可按照针对这至少一个算子的排序，调用至少一个算子对目标数据进行处理，得到处理后的 目标数据，并将处理后的目标数据发送至第一客户端。前述过程中，使用第一客户端的用户，可将使用第二客户端的ISV研发的至少一个算子，按照自身的数据处理需求进行自定义排序。当用户存在待处理的目标数据时，云服务系统中的云管理平台可按照该排序，来调用现成的这至少一个算子对目标数据进行处理，得到的处理后的数据可供用户使用。由此可见，云服务系统的开发商不需要自研具备数据处理能力的算子，可以节省大量的人力成本以及物理资源，且可针对性地为用户提供特定的算子，从而满足用户各种各样的数据处理需求。
进一步地，本申请实施例中，ISV所提供的算子，往往具备优质且专业的数据处理能力，故云管理平台可快速且高质量地完成用户的数据处理需求，从而提高整个云服务系统的数据处理效率，进而提高用户体验。
更进一步地，本申请实施例中，ISV所提供的算子，可由云服务系统的运维人员来审核和测试，还可由用户亲自测试(测试过程与前述的步骤208和步骤209类似，此处不再赘述)，从而保证这些算子的可靠性。而且，云服务系统可通过VPC和OBS桶之间的双端固定机制，来确保用户数据的安全。如此一来，可获取用户对云服务系统的信任，有利于云服务系统的落地。
以上是对本申请实施例提供的基于云管理平台的数据处理方法所进行的具体说明，以下将对本申请实施例提供的云管理平台进行介绍。图7为本申请实施例提供的云管理平台的一个结构示意图，如图7所示，云管理平台包括：
确定模块701，用于确定与第一客户端的数据处理需求匹配的第二客户端；
第一提供模块702，用于提供排序接口，排序接口用于接收来自第一客户端的针对至少一个算子的排序，至少一个算子由第二客户端提供；
接收模块703，用于接收来自第一客户端的针对目标数据的数据处理请求；
第一处理模块704，用于按照排序，调用至少一个算子对目标数据进行处理，得到处理后的目标数据，并将处理后的目标数据发送至第一客户端。
本申请实施例中，在确定与第一客户端的数据处理需求匹配的第二客户端后，云管理平台可通过排序接口接收来自第一客户端的针对至少一个算子的排序，这至少一个算子由第二客户端提供。那么，在接收来自第一客户端的针对目标数据的数据处理请求后，云管理平台可按照针对这至少一个算子的排序，调用至少一个算子对目标数据进行处理，得到处理后的目标数据，并将处理后的目标数据发送至第一客户端。前述过程中，使用第一客户端的用户，可将使用第二客户端的ISV研发的至少一个算子，按照自身的数据处理需求进行自定义排序。当用户存在待处理的目标数据时，云服务系统中的云管理平台可按照该排序，来调用现成的这至少一个算子对目标数据进行处理，得到的处理后的数据可供用户使用。由此可见，云服务系统的开发商不需要自研具备数据处理能力的算子，可以节省大量的人力成本以及物理资源，且可针对性地为用户提供特定的算子，从而满足用户各种各样的数据处理需求。
在一种可能的实现方式中，云管理平台还包括：第二提供模块，用于提供注册接口，注册接口用于接收来自第二客户端的至少一个算子的信息；部署模块，用于基于信息部署至少一个算子。
在一种可能的实现方式中，云管理平台还包括：第三提供模块，用于提供审核接口，审核接口用于接收来自第三客户端的针对信息的审核通过结果；部署模块，用于基于审核通过 结果以及信息，部署至少一个算子。
在一种可能的实现方式中，云管理平台还包括：第四提供模块，用于提供测试接口，测试接口用于接收来自第三客户端的测试数据；第二处理模块，用于调用至少一个算子对测试数据进行处理，得到处理后的测试数据，并将处理后的测试数据发送至第三客户端。
在一种可能的实现方式中，目标数据存储于第一客户端对应的对象存储桶中，云管理平台还包括：存储模块，用于将处理后的目标数据存储于对象存储桶中。
在一种可能的实现方式中，数据处理需求包括以下至少一项：第一客户端所需处理的数据的类型、第一客户端对数据所需实现的处理的类型、第一客户端所需处理的数据量以及第一客户端所符合的服务等级协议。
在一种可能的实现方式中，信息包括以下至少一项：至少一个算子的属性信息，至少一个算子的代码，至少一个算子的使用说明，至少一个算子所符合的服务等级协议，至少一个算子的开源信息以及至少一个算子的测试报告。
需要说明的是，上述装置各模块/单元之间的信息交互、实现过程等内容，由于与本申请方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参考本申请实施例前述所示的方法实施例中的叙述，此处不再赘述。
图8为本申请实施例提供的云管理平台的另一结构示意图。如图8所示，云管理平台的一个实施例可以包括一个或一个以上中央处理器801，存储器802，输入输出接口803，有线或无线网络接口804，电源805。
存储器802可以是短暂存储或持久存储。更进一步地，中央处理器801可以配置为与存储器802通信，在云管理平台上执行存储器802中的一系列指令操作。
本实施例中，中央处理器801可以执行前述图2所示实施例中云管理平台所执行的方法步骤，具体此处不再赘述。
本实施例中，中央处理器801中的具体功能模块划分可以与前述图7中所描述的确定模块、第一提供模块、接收模块、第一处理模块、第二提供模块、部署模块、第三提供模块、第四提供模块、第二处理模块以及存储模块的划分方式类似，此处不再赘述。
本申请实施例还涉及一种计算机存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如图2所示实施例中的步骤。
本申请实施例还涉及一种计算机程序产品，该计算机程序产品存储有指令，该指令在由计算机执行时使得计算机执行如图2所示实施例中的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部 件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (17)

  1. 一种基于云管理平台的数据处理方法，其特征在于，所述方法包括：
    云管理平台确定与第一客户端的数据处理需求匹配的第二客户端；
    所述云管理平台提供排序接口，所述排序接口用于接收来自所述第一客户端的针对至少一个算子的排序，所述至少一个算子由所述第二客户端提供；
    所述云管理平台接收来自所述第一客户端的针对目标数据的数据处理请求；
    所述云管理平台按照所述排序，调用所述至少一个算子对所述目标数据进行处理，得到处理后的目标数据，并将所述处理后的目标数据发送至所述第一客户端。
  2. 根据权利要求1所述的方法，其特征在于，所述云管理平台确定与第一客户端的数据处理需求匹配的第二客户端之后，所述云管理平台提供排序接口之前，所述方法还包括：
    所述云管理平台提供注册接口，所述注册接口用于接收来自所述第二客户端的至少一个算子的信息；
    所述云管理平台基于所述信息部署所述至少一个算子。
  3. 根据权利要求2所述的方法，其特征在于，所述云管理平台提供注册接口之后，所述云管理平台基于所述信息部署所述至少一个算子之前，所述方法还包括：
    所述云管理平台提供审核接口，所述审核接口用于接收来自第三客户端的针对所述信息的审核通过结果；
    所述云管理平台基于所述信息部署所述至少一个算子包括：
    所述云管理平台基于所述审核通过结果以及所述信息，部署所述至少一个算子。
  4. 根据权利要求3所述的方法，其特征在于，所述云管理平台基于所述审核通过结果以及所述信息，部署所述至少一个算子之后，所述云管理平台提供排序接口之前，所述方法还包括：
    所述云管理平台提供测试接口，所述测试接口用于接收来自第三客户端的测试数据；
    所述云管理平台调用所述至少一个算子对所述测试数据进行处理，得到处理后的测试数据，并将处理后的测试数据发送至所述第三客户端。
  5. 根据权利要求1至4任意一项所述的方法，其特征在于，所述目标数据存储于所述第一客户端对应的对象存储桶中，所述云管理平台按照所述排序，调用所述至少一个算子对所述目标数据进行处理，得到处理后的目标数据之后，所述方法还包括：
    所述云管理平台将所述处理后的目标数据存储于所述对象存储桶中。
  6. 根据权利要求1至5任意一项所述的方法，其特征在于，所述数据处理需求包括以下至少一项：所述第一客户端所需处理的数据的类型、所述第一客户端对数据所需实现的处理的类型、所述第一客户端所需处理的数据量以及所述第一客户端所符合的服务等级协议。
  7. 根据权利要求1至6任意一项所述的方法，其特征在于，所述信息包括以下至少一项：所述至少一个算子的属性信息，所述至少一个算子的代码，所述至少一个算子的使用说明，所述至少一个算子所符合的服务等级协议，所述至少一个算子的开源信息以及所述至少一个算子的测试报告。
  8. 一种云管理平台，其特征在于，所述云管理平台包括：
    确定模块，用于确定与第一客户端的数据处理需求匹配的第二客户端；
    第一提供模块，用于提供排序接口，所述排序接口用于接收来自所述第一客户端的针对至少一个算子的排序，所述至少一个算子由所述第二客户端提供；
    接收模块，用于接收来自所述第一客户端的针对目标数据的数据处理请求；
    第一处理模块，用于按照所述排序，调用所述至少一个算子对所述目标数据进行处理，得到处理后的目标数据，并将所述处理后的目标数据发送至所述第一客户端。
  9. 根据权利要求8所述的云管理平台，其特征在于，所述云管理平台还包括：
    第二提供模块，用于提供注册接口，所述注册接口用于接收来自所述第二客户端的至少一个算子的信息；
    部署模块，用于基于所述信息部署所述至少一个算子。
  10. 根据权利要求9所述的云管理平台，其特征在于，所述云管理平台还包括：
    第三提供模块，用于提供审核接口，所述审核接口用于接收来自第三客户端的针对所述信息的审核通过结果；
    所述部署模块，用于基于所述审核通过结果以及所述信息，部署所述至少一个算子。
  11. 根据权利要求10所述的云管理平台，其特征在于，所述云管理平台还包括：
    第四提供模块，用于提供测试接口，所述测试接口用于接收来自第三客户端的测试数据；
    第二处理模块，用于调用所述至少一个算子对所述测试数据进行处理，得到处理后的测试数据，并将处理后的测试数据发送至所述第三客户端。
  12. 根据权利要求8至11任意一项所述的云管理平台，其特征在于，所述目标数据存储于所述第一客户端对应的对象存储桶中，所述云管理平台还包括：
    存储模块，用于将所述处理后的目标数据存储于所述对象存储桶中。
  13. 根据权利要求8至12任意一项所述的云管理平台，其特征在于，所述数据处理需求包括以下至少一项：所述第一客户端所需处理的数据的类型、所述第一客户端对数据所需实现的处理的类型、所述第一客户端所需处理的数据量以及所述第一客户端所符合的服务等级协议。
  14. 根据权利要求8至13任意一项所述的云管理平台，其特征在于，所述信息包括以下至少一项：所述至少一个算子的属性信息，所述至少一个算子的代码，所述至少一个算子的使用说明，所述至少一个算子所符合的服务等级协议，所述至少一个算子的开源信息以及所述至少一个算子的测试报告。
  15. 一种云管理平台，其特征在于，所述云管理平台包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为执行所述代码，当所述代码被执行时，所述云管理平台执行如权利要求1至7任意一项所述的方法。
  16. 一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或多个指令，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机实施如权利要求1至7任意一项所述的方法。
  17. 一种计算机程序产品，其特征在于，所述计算机程序产品存储有指令，所述指令在由计算机执行时，使得所述计算机实施如权利要求1至7任意一项所述的方法。
PCT/CN2023/100159 2022-06-14 2023-06-14 一种基于云管理平台的数据处理方法以及云管理平台 WO2023241616A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210667087.2A CN117278554A (zh) 2022-06-14 2022-06-14 一种基于云管理平台的数据处理方法以及云管理平台
CN202210667087.2 2022-06-14

Publications (1)

Publication Number Publication Date
WO2023241616A1 true WO2023241616A1 (zh) 2023-12-21

Family

ID=89192283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/100159 WO2023241616A1 (zh) 2022-06-14 2023-06-14 一种基于云管理平台的数据处理方法以及云管理平台

Country Status (2)

Country Link
CN (1) CN117278554A (zh)
WO (1) WO2023241616A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989447A (zh) * 2015-03-03 2016-10-05 阿里巴巴集团控股有限公司 数据处理系统、方法和平台
US20210200864A1 (en) * 2019-12-30 2021-07-01 Mcafee, Llc Cloud-Based Tamper Detection
CN113377360A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 任务执行方法、装置、电子设备、存储介质和程序产品
CN113902387A (zh) * 2020-07-06 2022-01-07 阿里巴巴集团控股有限公司 一种工作流的处理方法、装置及电子设备
CN114169427A (zh) * 2021-12-06 2022-03-11 北京百度网讯科技有限公司 基于端到端自适应的分布式训练方法、装置、设备
CN114490116A (zh) * 2021-12-27 2022-05-13 北京百度网讯科技有限公司 数据处理方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989447A (zh) * 2015-03-03 2016-10-05 阿里巴巴集团控股有限公司 数据处理系统、方法和平台
US20210200864A1 (en) * 2019-12-30 2021-07-01 Mcafee, Llc Cloud-Based Tamper Detection
CN113902387A (zh) * 2020-07-06 2022-01-07 阿里巴巴集团控股有限公司 一种工作流的处理方法、装置及电子设备
CN113377360A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 任务执行方法、装置、电子设备、存储介质和程序产品
CN114169427A (zh) * 2021-12-06 2022-03-11 北京百度网讯科技有限公司 基于端到端自适应的分布式训练方法、装置、设备
CN114490116A (zh) * 2021-12-27 2022-05-13 北京百度网讯科技有限公司 数据处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN117278554A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
US10637796B2 (en) Linking instances within a cloud computing environment
CN107748985B (zh) 基于网络的支付方法和网络支付服务器
US8626891B2 (en) Configured management-as-a-service connect process based on tenant requirements
US9104451B2 (en) Dynamic communication between script and execution layers
US8819638B2 (en) Application protoyping suite
JP7097958B2 (ja) 自動ユニバーサルコネクタパッケージを使用してクラウドアプリケーションをクラウドサービスブローカプラットフォームに統合するためのシステムおよび方法
US8793688B1 (en) Systems and methods for double hulled virtualization operations
US11843674B2 (en) Virtual workspace experience visualization and optimization
JP2020529066A (ja) クラウドサービスブローカーシステムにおいてオファーの機能を自動的に検証する技術
US20140172491A1 (en) On-demand cloud service management
CN110659206A (zh) 基于微服务的模拟架构建立方法、装置、介质及电子设备
US10656939B2 (en) Modeling lifetime of hybrid software application using application manifest
KR20220107029A (ko) 보안 게스트를 위해 하나 혹은 그 이상의 보안 모듈들의 예약
JP2023511114A (ja) デプロイ命令のために有向非巡回グラフを利用するための技術
CN106802790B (zh) 基于云平台的应用用户使用信息管理的方法、设备及系统
US11195137B2 (en) Model-driven and automated system for shared resource solution design
CN114930788A (zh) 安全地处理多租户容器中的集成消息流
WO2023241616A1 (zh) 一种基于云管理平台的数据处理方法以及云管理平台
US9430748B1 (en) Verifying historical artifacts in disparate source control systems
TW201426348A (zh) 虛擬機標籤分類系統及方法
KR20240021937A (ko) 보안 게스트의 증명
CN114443215A (zh) 业务应用部署方法、装置、计算机设备和存储介质
CN113157382B (zh) 一种基于虚拟驱动的设备调用的方法和装置
CN114189553B (zh) 一种流量回放方法、系统及计算设备
US20230155830A1 (en) Cloud to cloud test set up for authentication and monitoring

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23823182

Country of ref document: EP

Kind code of ref document: A1