WO2023169175A1 - 一种请求处理方法、装置、计算机设备和存储装置 - Google Patents

一种请求处理方法、装置、计算机设备和存储装置 Download PDF

Info

Publication number
WO2023169175A1
WO2023169175A1 PCT/CN2023/076651 CN2023076651W WO2023169175A1 WO 2023169175 A1 WO2023169175 A1 WO 2023169175A1 CN 2023076651 W CN2023076651 W CN 2023076651W WO 2023169175 A1 WO2023169175 A1 WO 2023169175A1
Authority
WO
WIPO (PCT)
Prior art keywords
reserved
application
service
service cluster
instance
Prior art date
Application number
PCT/CN2023/076651
Other languages
English (en)
French (fr)
Inventor
许骏宇
Original Assignee
北京字节跳动网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字节跳动网络技术有限公司 filed Critical 北京字节跳动网络技术有限公司
Priority to EP23765753.1A priority Critical patent/EP4404538A1/en
Publication of WO2023169175A1 publication Critical patent/WO2023169175A1/zh
Priority to US18/639,016 priority patent/US12131191B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Definitions

  • the present disclosure relates to the field of computer technology, and specifically, to a request processing method, device, computer equipment and storage medium.
  • Application instances based on Function-as-a-Service are usually deployed in application services in established service clusters and can be used to respond to application usage requests initiated by users.
  • FaaS Function-as-a-Service
  • the above cold start process takes a long time, which affects the time to respond to application usage requests and reduces the speed and efficiency of request responses.
  • the embodiments of the present disclosure provide at least a request processing method, device, computer equipment, and storage medium.
  • embodiments of the present disclosure provide a request processing method, including:
  • a traffic scheduler to forward the application usage request to a scalable service cluster; the scalable service cluster is used to run created instances that match various application usage requests;
  • the traffic scheduler is used to forward the application usage request to the reserved service cluster, and the reserved service cluster runs and uses the application. Request a matching Reserved Instance;
  • the non-idle status indication information is used to indicate that the scalable service cluster currently does not have an idle and usable created instance.
  • the method after receiving the non-idle status indication information fed back by the scalable service cluster, the method further includes:
  • the target application service that successfully deploys the target application instance is added to the scalable service cluster, where the target application instance is used to respond to a new application usage request for the target application.
  • deploying at least one target application instance corresponding to the target application in the target application service includes:
  • the application port is used for information transmission between the target application service and the target application instance.
  • the utilization of the traffic scheduler to forward the application usage request to the scalable service cluster includes:
  • the scalable service cluster Using the identification information, select the scalable service cluster to be used that corresponds to the target application indicated by the identification information from multiple different scalable service clusters, and provide the scalable service cluster to the to-be-used scalable service cluster.
  • the cluster forwards the application usage request.
  • the method further includes the step of creating the reserved service cluster:
  • the reserved service cluster the sum of the third number of reserved instances corresponding to each reserved service is equal to the first number.
  • creating the second number of reserved services and deploying a third number of reserved instances in each of the created reserved services includes:
  • For each reserved service create the reserved service in a target service container corresponding to the reserved service, and deploy a third number of reserved instances for the reserved service in the target service container.
  • the method after running the reserved instance matching the application usage request through the reservation service cluster, the method includes:
  • an embodiment of the present disclosure also provides a request processing device, including:
  • the first forwarding module is configured to use the traffic scheduler to forward the application usage request to the scalable service cluster; the scalable service cluster is used to run created instances that match various application usage requests;
  • the second forwarding module is configured to use the traffic scheduler to forward the application usage request to the reserved service cluster if it receives the non-idle status indication information fed back by the scalable service cluster.
  • the cluster runs reserved instances that match the application usage requests;
  • the non-idle status indication information is used to indicate that the scalable service cluster currently does not have an idle and usable created instance.
  • the device further includes:
  • the first creation module is configured to use the service expansion function corresponding to the scalable service cluster to create a new target application corresponding to the application usage request after receiving the non-idle status indication information fed back by the scalable service cluster.
  • Serve ;
  • the target application service that successfully deploys the target application instance is added to the scalable service cluster, where the target application instance is used to respond to a new application usage request for the target application.
  • the first creation module is configured to obtain the application code corresponding to the target application, and load the application code into the storage location corresponding to the target application service;
  • the application port is used for information transmission between the target application service and the target application instance.
  • the first forwarding module is configured to use a traffic scheduler to determine the identification information carried in the application usage request;
  • the scalable service cluster Using the identification information, select the scalable service cluster to be used that corresponds to the target application indicated by the identification information from multiple different scalable service clusters, and provide the scalable service cluster to the to-be-used scalable service cluster.
  • the cluster forwards the application usage request.
  • the device further includes:
  • the second creation module is used to create the reserved service cluster according to the following steps:
  • the reserved service cluster the sum of the third number of reserved instances corresponding to each reserved service is equal to the first number.
  • the second creation module is configured to select a usable target service for each of the second number of reserved services from a plurality of service containers. container;
  • For each reserved service create the reserved service in a target service container corresponding to the reserved service, and deploy a third number of reserved instances for the reserved service in the target service container.
  • the device further includes:
  • a feedback module configured to obtain the reserved instance that matches the application usage request after running the reservation instance that matches the application usage request through the reservation service cluster, and determine the The response result is fed back to the user terminal that sent the application usage request.
  • an optional implementation manner of the present disclosure also provides a computer device, a processor, and a memory.
  • the memory stores machine-readable instructions executable by the processor, and the processor is configured to execute the instructions stored in the memory.
  • Machine-readable instructions when the machine-readable instructions are executed by the processor, when the machine-readable instructions are executed by the processor, the above-mentioned first aspect, or any possible implementation of the first aspect, is executed. steps in the way.
  • an optional implementation manner of the present disclosure also provides a computer-readable storage medium.
  • the computer-readable storage medium stores a computer program. When the computer program is run, it executes the above-mentioned first aspect, or any of the first aspects. steps in a possible implementation.
  • an optional implementation manner of the present disclosure also provides a computer program product.
  • the computer program product When the computer program product is run on a computer, it causes the computer to implement the above-mentioned first aspect, or any of the possible aspects of the first aspect. steps in the implementation.
  • the request processing method, device, computer equipment, and storage medium provided by the embodiments of the present disclosure use the traffic scheduler to send the application usage request to the preset service cluster when it is determined that there are currently no idle and usable created instances in the scalable service cluster.
  • Create a reserved service cluster and by running reserved instances in the reserved service cluster that match application usage requests, you can use the created reserved instances to quickly respond to application usage requests, improving the speed of request response. and efficiency.
  • speed and efficiency of request response by creating a reserved service cluster in advance and using the traffic scheduler to flexibly forward application usage requests in the scalable service cluster and the reserved service cluster, the request can be effectively improved. Speed and efficiency of response.
  • the request processing method, device, computer equipment and storage medium provided by the embodiments of the present disclosure can also be used to create a new instance in the scalable service cluster after determining that there is currently no idle and usable created instance in the scalable service cluster.
  • the target application service and the way to deploy application instances increase the number of idle and usable application instances in the scalable service cluster, thereby realizing the use of the idle and usable application instances for new applications forwarded by the traffic scheduler in the future. Respond quickly to requests, improving the speed and efficiency of responding to new application usage requests.
  • Figure 1 shows a flow chart of a request processing method provided by an embodiment of the present disclosure
  • Figure 2 shows a specific implementation flow chart of a request processing method provided by an embodiment of the present disclosure
  • Figure 3 shows a schematic diagram of a request processing device provided by an embodiment of the present disclosure
  • FIG. 4 shows a schematic structural diagram of a computer device provided by an embodiment of the present disclosure.
  • embodiments of the present disclosure provide a request processing method, device, computer equipment and storage medium.
  • a request processing method By pre-creating a reserved service cluster and using a traffic scheduler to place application usage requests on the scalable service cluster and reserved
  • the flexible forwarding method in the service cluster avoids the problem of waiting to create a new application instance before responding to application usage requests, increases the time to respond to application usage requests, and effectively improves the speed and efficiency of request response.
  • the execution subject of the request processing method provided by the embodiment of the present disclosure is generally a computer device with certain computing capabilities.
  • the request processing method can be implemented by the processor calling computer-readable instructions stored in the memory.
  • the following describes the request processing method provided by the embodiment of the present disclosure, taking the execution subject as a computer device as an example.
  • a flow chart of a request processing method may include the following steps:
  • the application usage request may be a request initiated by the client to use the target application. For example, a request to load the application page corresponding to the target application, a request to access the target application, etc.
  • the obtained application usage requests may include one or more.
  • the multiple application usage requests may be initiated in a concurrent manner at the same time.
  • S102 Utilize the traffic scheduler to forward application usage requests to the scalable service cluster; the scalable service cluster is used to run created instances that match various application usage requests.
  • the traffic scheduler is used to forward the obtained application usage requests to the corresponding scalable Service cluster.
  • the traffic scheduler can be a Gateway scheduler.
  • the scalable service cluster can include one or more created application services. Each application service can include one or more created instances.
  • the scalable service cluster is used to run each created instance included. Each running instance Created instances can be used to respond to various application usage requests. Specifically, the number of created application services in the scalable service cluster and the number of created instances in each created application service can be determined according to the applications served by the scalable service cluster.
  • the scalable service cluster may include one or more scalable service clusters.
  • Each scalable service cluster corresponds to different applications, and each created application service in the same scalable service cluster corresponds to the same application. That is, for any scalable service cluster, each created application service included in the scalable service cluster is a service for the same application, and each created application service included in the scalable service cluster Each created instance in is used to respond to various application usage requests for the same application. For example, the application served by scalable service cluster A is application A, then each created application service A in scalable service cluster A is a service for application A, and each created application service A Instance A has been created to respond to various application usage requests for application A.
  • the scalable service cluster can be a Serverless automatic expansion and contraction cluster.
  • Serverless stands for Serverless computing, also known as FaaS.
  • the Serverless automatic expansion and contraction cluster is a function that relies on the serverless provider. Automatic expansion and contraction, fully elastic service cluster.
  • the traffic scheduler can be used to determine the scalable service cluster for the application usage request, and then send the application usage request to the scalable service cluster.
  • the non-idle status indication information is used to indicate that the scalable service cluster currently does not have an idle and usable created instance, which is the information fed back by the scalable service cluster.
  • the reserved service cluster is a pre-created service cluster.
  • the reserved service cluster includes one or more pre-created idle reserved services, and each reserved service includes one or more idle reserved instances.
  • the reserved service cluster can be used as a back-up service cluster.
  • the traffic scheduler only forwards the application usage request to the scalable service cluster and receives the non-idle status indication information, and then forwards the application usage request to the corresponding location of the application usage request.
  • the reserved service cluster is used to utilize the idle reserved instances in the reserved service cluster to respond to the application usage request.
  • the idle and usable instance can be run through the scalable service cluster. created instances, and use the running idle and usable created instances to respond to the application usage request, thereby determining the response result corresponding to the application usage request.
  • the scalable service cluster can generate non-idle status indication information and feed it back to the traffic scheduler .
  • the non-idle status indication information may specifically be a status code.
  • the traffic scheduler can determine a reserved service cluster that can be used to respond to the application usage request, and forward the application usage request to the determined reserved service cluster.
  • the reservation service cluster can run the reserved instance that matches the application usage request, and use the running reserved instance to respond to the application usage request, thereby determining the application usage request. Use the response result corresponding to the request.
  • the traffic scheduler is used to send the application usage request to the pre-created reserved service cluster, and run the reserved service cluster with The application uses the reserved instance that matches the request, so that the created reserved instance can be used to quickly respond to the application request, which improves the speed and efficiency of the request response.
  • the speed of request response can be effectively improved by pre-creating reserved service clusters and using the traffic scheduler to flexibly forward application usage requests in scalable service clusters and reserved service clusters. and efficiency.
  • the reserved instance that matches the application usage request can also be obtained, the response result determined for the application usage request, and the response The results are fed back to the client that sends the application usage request.
  • the response result is the result determined for the application usage request after the reserved instance responds to the request.
  • the response result may be the determined application page information corresponding to the application usage request, function information corresponding to the application usage request, and so on.
  • the user terminal can be a terminal device, a browser, a personal mobile terminal, etc., and the specific user terminal is not limited in this disclosed embodiment.
  • the response result can be obtained, and the response result can be fed back to the user who initiated the application usage request.
  • the obtained application page information can be fed back to the browser, and then the browser can render and display the application page based on the application page information.
  • the computing resources in the reserved instance can be released to obtain the reserved instance that is free and available for use.
  • the scalable service cluster after receiving the non-idle status indication information fed back by the scalable service cluster, in addition to using the reserved instance in the reserved cluster to respond to the application usage request, the scalable service cluster can also be asynchronously executed. Steps for service expansion in a service cluster. Specifically, you can follow the following steps to expand service:
  • Step 1 Use the service expansion function corresponding to the scalable service cluster to create a new target application service corresponding to the application usage request.
  • the above-mentioned service expansion function can expand the automatic expansion and contraction capabilities corresponding to the service cluster.
  • the above-mentioned new target application service is the service for the target application corresponding to the application trial request. Specifically, the new target application service is created. That is, it is the same service as the application service created in the scalable service cluster.
  • Step 2 Deploy at least one target application instance corresponding to the target application in the target application service.
  • the target application instance has the same function as the created instance in the scalable service cluster, and is used to respond to various application usage requests for the target application. Specifically, it can be deployed in the target application service At least one target application instance corresponding to the target application, and the number of specific deployed target application instances can be set according to actual development needs, and is not limited here. For example, deployment can be performed based on the maximum number of target application instances that the target application service can support for deployment. Alternatively, the number of target application instances required to respond to all application usage requests may be determined based on the currently obtained number of application usage requests, and the target application instances may be deployed according to this number.
  • this step 2 can be implemented according to the following sub-steps:
  • Sub-step 1 Obtain the application code corresponding to the target application, and load the application code to the storage location corresponding to the target application service.
  • the application code is the code required to load the target application.
  • the storage location corresponding to the target application service is the memory corresponding to the scalable service cluster.
  • the application code can be directly pulled from the location where the application code corresponding to the target application is stored, and the pulled application code can be loaded into the memory corresponding to the target application service.
  • Sub-step 2 When the application code is successfully loaded, perform a port information acquisition operation on the application port corresponding to the application code.
  • each target application instance can be assigned an application port, and the application port is used for information transmission between the target application service and the target application instance, for example, the transmission of application usage requests, and the transmission of response results corresponding to the application usage requests.
  • the application port corresponding to the application code is the port of the target application instance.
  • the port information acquisition operation can be performed on the application port assigned to the target application instance, that is, the port listening operation can be performed.
  • Sub-step 3 After the port information acquisition operation is completed, determine that the target application instance is deployed successfully.
  • the port listening operation when the port listening operation is completed, it is determined that the target application instance is successfully deployed in the target application service.
  • each target application instance can refer to the above sub-steps 1 to 3.
  • Step 3 Add the target application service that has successfully deployed the target application instance to the scalable service cluster, where the target application instance is used to respond to new application usage requests for the target application.
  • the target application service that has successfully deployed at least one target application instance can be regarded as A newly expanded service in a scalable service cluster.
  • the newly created target application service in the scalable service cluster can be used as a new created application service in the scalable service cluster, and each successfully deployed target application instance can be used as a new created application service in the scalable service cluster. Instance, thus the successfully deployed target application instance can be used to respond to subsequent newly received application usage requests.
  • the service expansion function corresponding to the scalable service cluster can also be used to create multiple new target application services corresponding to the application usage requests, and follow the above steps to add a new target application service to each new target application service. Deploy at least one target application instance.
  • S102-1 Use the traffic scheduler to determine the identification information carried in the application usage request.
  • the identification information may be the application identification of the target application corresponding to the application use request, for example, it may be an application identification number (Identity Document, ID), application name, etc.
  • the traffic scheduler can be used to parse the application usage request and determine the application identifier carried therein.
  • S102-2 Use the identification information to select the scalable service cluster to be used that corresponds to the target application indicated by the identification information from multiple different scalable service clusters, and forward it to the scalable service cluster to be used. Application usage request.
  • the scalable service cluster may include multiple scalable service clusters, and different scalable service clusters may serve different applications. That is, different applications may correspond to different scalable service clusters, and each application may correspond to different scalable service clusters. Identification information, therefore, different identification information can point to the scalable service cluster corresponding to the service identification information.
  • the scalable service cluster to be used pointed to by the identification information can be filtered out from multiple different scalable service clusters, and the scalable service cluster to be used can be The cluster forwards application usage requests.
  • the request processing method provided by the embodiment of the present disclosure also includes the step of creating a reserved service cluster:
  • S1 Determine the first number of reserved instances to be deployed based on the request reception peak value of the target application corresponding to the application usage request in each time period and the processing resource amount of the reserved instance corresponding to the target application.
  • the request reception peak value is the maximum number of application usage requests received by the target application in each time period.
  • the amount of processing resources of a reserved instance is used to characterize the application usage requests that the reserved instance can respond to at the same time.
  • the maximum quantity required For example, the maximum number of application usage requests that the reserved instance can respond to at the same time can be determined based on the amount of resources required to process each application usage request and the amount of processing resources of the reserved instance.
  • the number of time periods can be set according to actual development needs. For example, the time intervals corresponding to each time period are 10 minutes, 1 hour, etc. When the time interval is 1 hour, 24 time periods can be set in one day.
  • the first quantity is the number of reserved instances that need to be deployed.
  • the maximum request receiving peak value may be determined from multiple request receiving peak values. Then, based on the first maximum number of application usage requests that the created instances in the scalable service cluster corresponding to the target application can handle simultaneously, use the maximum request reception peak minus the first maximum number to determine the number of reserved instances that need to be processed simultaneously.
  • the application uses the second largest number of requests.
  • the first number of reserved instances to be deployed is determined based on an amount of processing resources for each reserved instance and an amount of resources required to process a second largest number of application usage requests.
  • S2 Determine the second quantity of the reserved service to be created based on the maximum number of instance deployments corresponding to the reserved service and the first quantity.
  • the maximum number of instance deployments is the maximum number of reserved instances that can be deployed for each reserved service.
  • S3 Create a second number of reserved services, and deploy a third number of reserved instances in each created reserved service.
  • the second number of reserved services that successfully deploy reserved instances will be used as reserved services.
  • Cluster wherein the sum of the third number of reserved instances corresponding to each reserved service is equal to the first number.
  • a second number of reserved services can be created first, and a third number of reserved instances can be deployed in each created reserved service.
  • the third number of reserved instances deployed in each reserved service is less than or equal to the maximum number of instance deployments, and the sum of the third number of reserved instances corresponding to each reserved service is equal to the first number.
  • each of the created second number of reserved services may be a non-scalable service.
  • reserved service clusters a second number of reserved services for which reserved instances are successfully deployed can be used as reserved service clusters.
  • the reserved service cluster is also a service cluster that cannot be automatically expanded.
  • the first number of reserved instances may also be configured from multiple service containers.
  • Each of the two number of reserved services selects a target service container that can be used.
  • the service capacity The server can be a docker container, and the reserved service created in the docker container can be a service that can be expanded.
  • a preset number of reserved services can be created in each service container.
  • the target service container is the service container filtered out for creating the reserved service, and each target service container is idle and available for use.
  • the docker container is an open source application container engine that allows developers to package their applications and dependency packages into a portable container in a unified manner, and then publish them to any server with the docker engine installed.
  • the target number of target service containers to be used may be determined based on the preset number and the second number. Then select a target number of target service containers that can be used from multiple service containers.
  • each reserved service creates the reserved service in a target service container corresponding to the reserved service, and deploy a third number of reserved instances for the reserved service in the target service container.
  • any selected target service container can be the target service container corresponding to the reserved service.
  • a reserved service can be created in each target service container, and a third number of reserved instances can be deployed for the successfully created reserved service. Finally, the second number of reserved instances can be successfully created in the target number of target service containers. number of Reserved Services, and for each Reserved Service, deploy a third number of Reserved Instances.
  • Kubernetes can be used to create a second number of reserved services and deploy a third number of reserved instances in each reserved service.
  • K8s kubernetes
  • the goal of Kubernetes is to make the deployment of containerized applications simple and efficient.
  • a specific implementation flow chart of a request processing method may include the following steps:
  • S203 Determine whether the non-idle status indication information fed back by the scalable service cluster is received.
  • S204 Utilize the traffic scheduler to forward the application usage request to the reserved service cluster, and run the reserved instance matching the application usage request through the reserved service cluster.
  • the running reserved instance can be used to respond to the application usage request, thereby determining the response result of the application usage request.
  • S205 Obtain the response result of the application usage request, and feed the response result back to the client that sent the application usage request.
  • S206 Utilize the service expansion function corresponding to the scalable service cluster to create a new target application service corresponding to the application usage request, and deploy at least one target application instance corresponding to the target application in the target application service.
  • the target application instance is used to respond to the new application usage request for the target application to determine the response result corresponding to the new application usage request for the target application. Further, after the target application instance is used to determine the response result of the new application usage request, the above S205 can be executed.
  • the writing order of each step does not mean a strict execution order and does not constitute any limitation on the implementation process.
  • the specific execution order of each step should be based on its function and possible The internal logic is determined.
  • the embodiment of the present disclosure also provides a request processing device corresponding to the request processing method. Since the principle of solving problems by the device in the embodiment of the present disclosure is similar to the above request processing method in the embodiment of the present disclosure, the implementation of the device Please refer to the implementation of the method, and the repeated parts will not be repeated.
  • a schematic diagram of a request processing device provided by an embodiment of the present disclosure includes:
  • Obtain module 301 used to obtain application usage requests
  • the first forwarding module 302 is configured to use the traffic scheduler to forward the application usage request to a scalable service cluster; the scalable service cluster is used to run created instances that match various application usage requests;
  • the second forwarding module 303 is configured to use the traffic scheduler to forward the application usage request to the reserved service cluster through the reservation upon receiving the non-idle status indication information fed back by the scalable service cluster.
  • the service cluster runs reserved instances that match the application usage requests;
  • the non-idle status indication information is used to indicate that the scalable service cluster currently does not have an idle and usable created instance.
  • the device further includes:
  • the first creation module 304 is configured to use the service expansion function corresponding to the scalable service cluster to create a new target corresponding to the application usage request after receiving the non-idle status indication information fed back by the scalable service cluster. application services;
  • the target application service that successfully deploys the target application instance is added to the scalable service cluster, where the target application instance is used to respond to a new application usage request for the target application.
  • the first creation module 304 is configured to obtain the application code corresponding to the target application, and load the application code into the storage location corresponding to the target application service;
  • the application port is used for information transmission between the target application service and the target application instance.
  • the first forwarding module 302 is configured to use a traffic scheduler to determine the identification information carried in the application usage request;
  • the scalable service cluster Using the identification information, select the scalable service cluster to be used that corresponds to the target application indicated by the identification information from multiple different scalable service clusters, and provide the scalable service cluster to the to-be-used scalable service cluster.
  • the cluster forwards the application usage request.
  • the device further includes:
  • the second creation module 305 is used to create the reserved service cluster according to the following steps:
  • the reserved service cluster the sum of the third number of reserved instances corresponding to each reserved service is equal to the first number.
  • the second creation module 305 is configured to select a usable target for each of the second number of reserved services from a plurality of service containers. service container;
  • For each reserved service create the reserved service in a target service container corresponding to the reserved service, and deploy a third number of reserved instances for the reserved service in the target service container.
  • the device further includes:
  • Feedback module 306 configured to obtain the reserved instance that matches the application usage request after running the reserved instance that matches the application usage request through the reservation service cluster, and determine the The response result is fed back to the user terminal that sent the application usage request.
  • An embodiment of the present disclosure also provides a computer device. As shown in Figure 4, which is a schematic structural diagram of a computer device provided by an embodiment of the present disclosure, it includes:
  • Processor 41 and memory 42 stores machine-readable instructions executable by the processor 41, and the processor 41 is used to execute the machine-readable instructions stored in the memory 42, and the machine-readable instructions are used by the processor 41 During execution, the processor 41 performs the following steps: S101: Obtain the application usage request; S102: Use the traffic scheduler to forward the application usage request to the scalable service cluster; the scalable service cluster is used to run the application that matches various application usage requests. The instance has been created and S103: If the non-idle status indication information feedback from the scalable service cluster is received, use the traffic scheduler to forward the application usage request to the reserved service cluster, and run the reserved service cluster that matches the application usage request through the reserved service cluster. Leave examples.
  • the above-mentioned memory 42 includes a memory 421 and an external memory 422; the memory 421 here is also called an internal memory, and is used to temporarily store the operation data in the processor 41, as well as the data exchanged with external memory 422 such as a hard disk.
  • the processor 41 communicates with the processor 42 through the memory 421.
  • the external memory 422 performs data exchange.
  • Embodiments of the present disclosure also provide a computer-readable storage medium.
  • the computer-readable storage medium stores a computer program. When the computer program is run by a processor, the steps of the request processing method described in the above method embodiment are executed.
  • the storage medium may be a volatile or non-volatile computer-readable storage medium.
  • the computer program product of the request processing method provided by the embodiment of the present disclosure includes a computer-readable storage medium storing program code.
  • the instructions included in the program code can be used to execute the steps of the request processing method described in the above method embodiment. , please refer to the above method embodiments for details, and will not be described again here.
  • the computer program product can be implemented specifically through hardware, software or a combination thereof.
  • the computer program product is embodied as a computer storage medium.
  • the computer program product is embodied as a software product, such as a Software Development Kit (SDK), etc. wait.
  • SDK Software Development Kit
  • the disclosed devices and methods can be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the units is only a logical function division.
  • multiple units or components may be combined.
  • some features can be ignored, or not implemented.
  • the coupling or direct coupling or communication connection between each other shown or discussed may be through some communication interfaces, and the indirect coupling or communication connection of the devices or units may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components shown as units may or may not be physical units, that is, they may be located in one place, or they may be distributed to multiple network units. Some or all of the units can be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional unit in various embodiments of the present disclosure may be integrated into one processing unit, or each unit may exist physically alone, or two or more units may be integrated into one unit.
  • the functions are implemented in the form of software functional units and sold or used as independent products, they can be stored in a non-volatile computer-readable storage medium that is executable by a processor.
  • the technical solution of the embodiments of the present disclosure is essentially or contributes to the existing technology or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , including several instructions to cause a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the methods described in various embodiments of the present disclosure.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program code. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本公开提供了一种请求处理方法、装置、计算机设备和存储介质，其中，该方法包括：获取应用使用请求；利用流量调度器，向可扩容服务集群转发应用使用请求；可扩容服务集群用于运行与各种应用使用请求匹配的已创建实例；若接收到可扩容服务集群反馈的非空闲状态指示信息，利用流量调度器，将应用使用请求转发至预留服务集群，通过预留服务集群运行与应用使用请求匹配的预留实例；其中，非空闲状态指示信息用于指示可扩容服务集群当前不存在空闲可使用的已创建实例。

Description

一种请求处理方法、装置、计算机设备和存储装置
本公开要求于2022年03月08日提交中国国家知识产权局、申请号为202210228680.7、发明名称为“一种请求处理方法、装置、计算机设备和存储装置”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种请求处理方法、装置、计算机设备和存储介质。
背景技术
基于函数即服务(Function-as-a-Service，简称FaaS)的应用实例，通常部署在已经建立的服务集群中的应用服务中，能够用于对用户发起的应用使用请求进行响应。但当服务集群中当前不存在可使用的应用实例时，通常需要进行应用的冷启动，也即重新创建新的应用服务并重新在创建的应用服务上部署新的应用实例，再利用成功部署的新的应用实例对应用使用请求进行响应。
上述冷启动的过程需要花费较长时间，进而影响了响应应用使用请求的时间，降低了请求响应的速度和效率。
发明内容
本公开实施例至少提供一种请求处理方法、装置、计算机设备和存储介质。
第一方面，本公开实施例提供了一种请求处理方法，包括：
获取应用使用请求；
利用流量调度器，向可扩容服务集群转发所述应用使用请求；所述可扩容服务集群用于运行与各种应用使用请求匹配的已创建实例；
若接收到所述可扩容服务集群反馈的非空闲状态指示信息，利用所述流量调度器，将所述应用使用请求转发至预留服务集群，通过所述预留服务集群运行与所述应用使用请求匹配的预留实例；
其中，所述非空闲状态指示信息用于指示所述可扩容服务集群当前不存在空闲可使用的已创建实例。
在一种可能的实施方式中，在接收到所述可扩容服务集群反馈的非空闲状态指示信息之后，还包括：
利用所述可扩容服务集群对应的服务扩容功能，创建所述应用使用请求对应的新的目标应用服务；
在所述目标应用服务中部署所述目标应用对应的至少一个目标应用实例；
将成功部署所述目标应用实例的所述目标应用服务，添加至所述可扩容服务集群中，其中，所述目标应用实例用于响应新的针对所述目标应用的应用使用请求。
在一种可能的实施方式中，所述在所述目标应用服务中部署所述目标应用对应的至少一个目标应用实例，包括：
获取所述目标应用对应的应用代码，并将所述应用代码加载至所述目标应用服务对应的存储位置；
在所述应用代码成功加载的情况下，对所述应用代码对应的应用端口执行端口信息获取操作；
在所述端口信息获取操作执行完成的情况下，确定目标应用实例部署成功；所述应用端口用于目标应用服务和所述目标应用实例之间的信息传输。
在一种可能的实施方式中，所述利用流量调度器，向可扩容服务集群转发所述应用使用请求，包括：
利用流量调度器，确定所述应用使用请求中携带的标识信息；
利用所述标识信息，从多个不同的可扩容服务集群中，筛选出与所述标识信息指示的目标应用相对应的、待使用的可扩容服务集群，并向所述待使用的可扩容服务集群转发所述应用使用请求。
在一种可能的实施方式中，所述方法还包括创建所述预留服务集群的步骤：
根据所述应用使用请求对应的目标应用在各时间段的请求接收峰值，以及所述目标应用对应的预留实例的处理资源量，确定待部署的预留实例的第一数量；
根据预留服务对应的最大实例部署数量和所述第一数量，确定待创建的预留服务的第二数量；
创建所述第二数量的预留服务，并在创建完成的每个所述预留服务中部署第三数量的预留实例，将成功部署预留实例的所述第二数量的预留服务，作为所述预留服务集群，其中，每个所述预留服务对应的预留实例的第三数量之和等于所述第一数量。
在一种可能的实施方式中，所述创建所述第二数量的预留服务，并在创建完成的每个所述预留服务中部署第三数量的预留实例，包括：
从多个服务容器中，为所述第二数量的预留服务中的每个所述预留服务选取可使用的目标服务容器；
针对每个所述预留服务，在该预留服务对应的目标服务容器中创建该预留服务，并在目标服务容器中，为该预留服务部署第三数量的预留实例。
在一种可能的实施方式中，在所述通过所述预留服务集群运行与所述应用使用请求匹配的预留实例之后，包括：
获取与所述应用使用请求匹配的预留实例，针对所述应用使用请求确定的响应结果，并将所述响应结果反馈至发送所述应用使用请求的用户端。
第二方面，本公开实施例还提供一种请求处理装置，包括：
获取模块，用于获取应用使用请求；
第一转发模块，用于利用流量调度器，向可扩容服务集群转发所述应用使用请求；所述可扩容服务集群用于运行与各种应用使用请求匹配的已创建实例；
第二转发模块，用于若接收到所述可扩容服务集群反馈的非空闲状态指示信息，利用所述流量调度器，将所述应用使用请求转发至预留服务集群，通过所述预留服务集群运行与所述应用使用请求匹配的预留实例；
其中，所述非空闲状态指示信息用于指示所述可扩容服务集群当前不存在空闲可使用的已创建实例。
在一种可能的实施方式中，所述装置还包括：
第一创建模块，用于在接收到所述可扩容服务集群反馈的非空闲状态指示信息之后，利用所述可扩容服务集群对应的服务扩容功能，创建所述应用使用请求对应的新的目标应用服务；
在所述目标应用服务中部署所述目标应用对应的至少一个目标应用实例；
将成功部署所述目标应用实例的所述目标应用服务，添加至所述可扩容服务集群中，其中，所述目标应用实例用于响应新的针对所述目标应用的应用使用请求。
在一种可能的实施方式中，所述第一创建模块，用于获取所述目标应用对应的应用代码，并将所述应用代码加载至所述目标应用服务对应的存储位置；
在所述应用代码成功加载的情况下，对所述应用代码对应的应用端口执行端口信息获取操作；
在所述端口信息获取操作执行完成的情况下，确定目标应用实例部署成功；所述应用端口用于目标应用服务和所述目标应用实例之间的信息传输。
在一种可能的实施方式中，所述第一转发模块，用于利用流量调度器，确定所述应用使用请求中携带的标识信息；
利用所述标识信息，从多个不同的可扩容服务集群中，筛选出与所述标识信息指示的目标应用相对应的、待使用的可扩容服务集群，并向所述待使用的可扩容服务集群转发所述应用使用请求。
在一种可能的实施方式中，所述装置还包括：
第二创建模块，用于按照以下步骤创建所述预留服务集群：
根据所述应用使用请求对应的目标应用在各时间段的请求接收峰值，以及所述目标应用对应的预留实例的处理资源量，确定待部署的预留实例的第一数量；
根据预留服务对应的最大实例部署数量和所述第一数量，确定待创建的预留服务的第二数量；
创建所述第二数量的预留服务，并在创建完成的每个所述预留服务中部署第三数量的预留实例，将成功部署预留实例的所述第二数量的预留服务，作为所述预留服务集群，其中，每个所述预留服务对应的预留实例的第三数量之和等于所述第一数量。
在一种可能的实施方式中，所述第二创建模块，用于从多个服务容器中，为所述第二数量的预留服务中的每个所述预留服务选取可使用的目标服务容器；
针对每个所述预留服务，在该预留服务对应的目标服务容器中创建该预留服务，并在目标服务容器中，为该预留服务部署第三数量的预留实例。
在一种可能的实施方式中，所述装置还包括：
反馈模块，用于在所述通过所述预留服务集群运行与所述应用使用请求匹配的预留实例之后，获取与所述应用使用请求匹配的预留实例，针对所述应用使用请求确定的响应结果，并将所述响应结果反馈至发送所述应用使用请求的用户端。
第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第五方面，本公开可选实现方式还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述请求处理装置、计算机设备、及计算机可读存储介质的效果描述参见上述请求处理方法的说明，这里不再赘述。
本公开实施例提供的请求处理方法、装置、计算机设备和存储介质，在确定可扩容服务集群当前不存在空闲可使用的已创建实例的情况下，利用流量调度器，将应用使用请求发送至预先创建的预留服务集群，并通过运行预留服务集群中与应用使用请求匹配的预留实例的方式，能够实现利用已创建的预留实例对应用使用请求进行快速响应，提高了请求响应的速度和效率，与现有技术中，在确定可扩容服务集群当前不存在空闲可使用的已创建实例的情况下，需要等待重新创建新的实例，再利用创建的新的实例对应用使用请求进行响应，降低了请求响应的速度和效率相比，通过预先创建预留服务集群，以及利用流量调度器将应用使用请求，在可扩容服务集群和预留服务集群中灵活转发的方式，能够有效提高请求响应的速度和效率。
进一步，本公开实施例提供的请求处理方法、装置、计算机设备和存储介质，还可以在确定可扩容服务集群当前不存在空闲可使用的已创建实例后，通过在可扩容服务集群中，创建新的目标应用服务以及部署应用实例的方式，增加了可扩容服务集群中空闲可使用的应用实例的数量，从而实现利用该空闲可使用的应用实例，对流量调度器在后续转发的新的应用使用请求进行快速响应，提高了响应新的应用使用请求的速度和效率。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开实施例的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种请求处理方法的流程图；
图2示出了本公开实施例所提供的一种请求处理方法的具体实施流程图；
图3示出了本公开实施例所提供的一种请求处理装置的示意图；
图4示出了本公开实施例所提供的一种计算机设备结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
另外，本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
经研究发现，在并发出现较多的应用使用请求的情况下，如果已经创建的可扩容服务集群中，不存在空闲可使用的且能够用于对上述应用使用请求进行处理的FaaS应用实例，或者，可扩容服务集群中空闲可使用的FaaS应用实例无法实现对并发出现全部应用使用请求进行响应，则需要进行应用的冷启动。在可扩容服务集群创建一定数量的新的FaaS应用实例，实现对可扩容服务集群的自动扩容，从而最终实现对全部应用使用请求的响应。但创建新的FaaS应用实例需要一定的时间，从而增加了响应应用使用请求的时间，降低了请求 响应的速度和效率。
基于上述研究，本公开实施例提供了一种请求处理方法、装置、计算机设备和存储介质，通过预先创建预留服务集群，以及利用流量调度器将应用使用请求，在可扩容服务集群和预留服务集群中灵活转发的方式，避免了等待创建新的应用实例才可以对应用使用请求进行响应，增加了响应应用使用请求的时间的问题，有效提高了请求响应的速度和效率。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开实施例针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种请求处理方法进行详细介绍，本公开实施例所提供的请求处理方法的执行主体一般为具有一定计算能力的计算机设备，在一些可能的实现方式中，该请求处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为计算机设备为例对本公开实施例提供的请求处理方法加以说明。
如图1所示，为本公开实施例提供的一种请求处理方法的流程图，可以包括以下步骤：
S101：获取应用使用请求。
这里，应用使用请求可以为用户端发起的使用目标应用的请求。例如，加载目标应用对应的应用页面的请求，访问目标应用的请求等。
具体实施时，获取的应用使用请求可以包括一个或多个，在获取的应用使用请求包括多个情况下，多个应用使用请求可以为在同一时刻，以并发的方式发起的。
S102：利用流量调度器，向可扩容服务集群转发应用使用请求；可扩容服务集群用于运行与各种应用使用请求匹配的已创建实例。
这里，流量调度器用于将获取的各个应用使用请求，转发至对应的可扩容 服务集群。具体的，流量调度器可以为Gateway调度器。
可扩容服务集群中可以包括一个或多个已创建的应用服务，每个应用服务中可以包括一个或多个已创建实例，可扩容服务集群用于运行所包括的各个已创建实例，运行的各个已创建实例可以用于响应各种应用使用请求。具体的，可扩容服务集群中的已创建的应用服务的数量，以及每个已创建的应用服务中的已创建实例的数量，可以根据该可扩容服务集群所服务的应用决定。
可扩容服务集群可以包括一个或多个，每个可扩容服务集群对应的应用不同，同一个可扩容服务集群中的各个已创建的应用服务对应的应用相同。也即，针对任一个可扩容服务集群，该可扩容服务集群中包括的各个已创建的应用服务，均为针对同一个应用的服务，且该可扩容服务集群中包括的各个已创建的应用服务中的各个已创建实例，均用于响应针对同一个应用的各种应用使用请求。例如，可扩容服务集群A所服务的应用为应用A，则可扩容服务集群A中的各个已创建的应用服务A，均为针对应用A的服务，且各个已创建的应用服务A中的各个已创建实例A，均用于响应针对应用A的各种应用使用请求。
具体的，可扩容服务集群可以为Serverless自动扩缩容集群，其中，Serverless全称为Serverless computing无服务器运算，又被称为FaaS，Serverless自动扩缩容集群是一种依赖Serverless提供方所提供的函数进行自动扩缩容，完全弹性的服务集群。
具体实施时，在获取到应用使用请求后，可以先利用流量调度器，确定应用使用请求对应的可扩容服务集群，并向该可扩容服务集群发送应用使用请求。
这里，如果获取的应用使用请求包括多个，针对每个应用使用请求，可以利用流量调度器，确定该应用使用请求可扩容服务集群，再向该可扩容服务集群发送该应用使用请求。
S103：若接收到可扩容服务集群反馈的非空闲状态指示信息，利用流量调度器，将应用使用请求转发至预留服务集群，通过预留服务集群运行与应用使用请求匹配的预留实例。
其中，非空闲状态指示信息用于指示可扩容服务集群当前不存在空闲可使用的已创建实例，其为可扩容服务集群反馈的信息。
预留服务集群为预先创建的服务集群，该预留服务集群中包括一个或多个预先创建的空闲的预留服务，每个预留服务中包括一个或多个空闲的预留实例。
预留服务集群可以作为一个兜底的服务集群，流量调度器仅在将应用使用请求转发至可扩容服务集群并接收到非空闲状态指示信息后，将该应用使用请求转发至该应用使用请求对应的预留服务集群，以实现利用预留服务集群中的空闲的预留实例，对该应用使用请求进行响应。
具体实施时，在可扩容服务集群接收到流量调度器发送的应用使用请求后，如果可扩容服务集群中存在空闲可使用的已创建实例的情况下，则可以通过可扩容服务集群运行空闲可使用的已创建实例，并利用运行的空闲可使用的已创建实例，对应用使用请求进行响应，从而确定应用使用请求对应的响应结果。
反之，如果确定不存在空闲可使用的已创建实例的情况下，也即在确定无法直接对应用使用请求进行响应的情况下，可扩容服务集群可以生成非空闲状态指示信息并反馈给流量调度器。这里，非空闲状态指示信息具体可以为状态码。
进而，流量调度器在接收到非空闲状态指示信息后，可以确定出能够用于对应用使用请求进行响应的预留服务集群，并将应用使用请求转发至确定出的该预留服务集群。
进一步的，预留服务集群在接收到流量调度器转发的应用使用请求后，可以运行与应用使用请求匹配的预留实例，并利用运行的预留实例，对应用使用请求进行响应，从而确定应用使用请求对应的响应结果。
这样，在确定可扩容服务集群当前不存在空闲可使用的已创建实例的情况下，利用流量调度器，将应用使用请求发送至预先创建的预留服务集群，并通过运行预留服务集群中与应用使用请求匹配的预留实例的方式，能够实现利用已创建的预留实例对应用使用请求进行快速响应，提高了请求响应的速度和效率。与现有技术中，在确定可扩容服务集群当前不存在空闲可使用的已创建实例的情况下，需要等待重新创建新的实例，再利用创建的新的实例对应用使用请求进行响应，降低了请求响应的速度和效率相比，通过预先创建预留服务集群，以及利用流量调度器将应用使用请求，在可扩容服务集群和预留服务集群中灵活转发的方式，能够有效提高请求响应的速度和效率。
在一种实施例中，在通过预留服务集群运行与应用使用请求匹配的预留实例之后，还可以获取与应用使用请求匹配的预留实例，针对应用使用请求确定的响应结果，并将响应结果反馈至发送应用使用请求的用户端。
这里，响应结果即为预留实例对应用使用请求进行响应后，确定的针对该请求的结果。例如，响应结果可以为确定出的与应用使用请求所对应的应用页面信息、与应用使用请求所对应的功能信息等等。用户端可以为中终端设备、浏览器、个人移动终端等等，具体的用户端本公开实施例不进行限定。
具体的，在利用预留实例对应用使用请求进行响应，确定应用使用请求对应的响应结果之后，可以获取到该响应结果，并将响应结果反馈给发起应用使用请求的用户端。例如，可以将获取的应用页面信息反馈给浏览器，进而，浏览器端可以根据应用页面信息进行应用页面的渲染并展示。
并且，在利用预留实例完成对应用使用请求的响应之后，可以对该预留实例中的计算资源进行释放，得到空闲可使用的该预留实例。
在一种实施例中，在接收到可扩容服务集群反馈的非空闲状态指示信息之后，除可以利用预留集群中的预留实例对应用使用请求进行响应之外，还可以异步执行在可扩容服务集群中进行服务扩容的步骤，具体的，可以按照以下步骤进行服务扩容：
步骤一、利用可扩容服务集群对应的服务扩容功能，创建应用使用请求对应的新的目标应用服务。
这里，上述服务扩容功能即可扩容服务集群对应的自动扩缩容能力，上述新的目标应用服务即为针对所述应用试用请求对应的目标应用的服务，具体的，创建的新的目标应用服务即为与可扩容服务集群中已创建的应用服务相同的服务。
具体实施时，可以先确定出应用使用请求对应的目标应用，然后直接利用可扩容服务集群对应的服务扩容功能，在可扩容服务集群中创建新的目标应用服务。
步骤二、在目标应用服务中部署目标应用对应的至少一个目标应用实例。
这里，目标应用实例与可扩容服务集群中的已创建实例的功能一致，用于响应针对目标应用的各种应用使用请求。具体的，可以在目标应用服务中部署 目标应用对应的至少一个目标应用实例，具体部署的目标应用实例的数量，可以根据实际的开发需要进行设置，此处不进行限定。例如，可以根据目标应用服务所能支持部署的目标应用实例的最大数量进行部署。或者，可以根据当前获取的应用使用请求的数量，确定对全部应用使用请求进行响应所需要的目标应用实例的数量，按照该数量部署目标应用实例。
在一种实施例中，本步骤二可以按照以下子步骤实施：
子步骤一、获取目标应用对应的应用代码，并将应用代码加载至目标应用服务对应的存储位置。
这里，应用代码即为加载目标应用所需的代码。目标应用服务对应的存储位置即为可扩容服务集群对应的内存。
示例性的，可以直接在存储目标应用对应的应用代码的位置处拉取应用代码，并将拉取到的应用代码加载至目标应用服务对应的内存。
子步骤二、在应用代码成功加载的情况下，对应用代码对应的应用端口执行端口信息获取操作。
这里，每个目标应用实例可以对应分配一个应用端口，应用端口用于目标应用服务和目标应用实例之间的信息传输，例如，应用使用请求的传输，应用使用请求对应的响应结果的传输。应用代码对应的应用端口即为目标应用实例的端口。
具体的，在应用代码成功加载至内存的情况下，可以对分配给目标应用实例的应用端口执行端口信息获取操作，也即执行端口监听操作。
子步骤三、在端口信息获取操作执行完成的情况下，确定目标应用实例部署成功。
示例性的，在端口监听操作完成的情况下，确定目标应用实例在目标应用服务中部署成功。
在部署多个目标应用实例的情况下，每个目标应用实例的部署过程均可以参照上述子步骤一～子步骤三。
步骤三、将成功部署目标应用实例的目标应用服务，添加至可扩容服务集群中，其中，目标应用实例用于响应新的针对目标应用的应用使用请求。
示例性的，可以将成功部署了至少一个目标应用实例的目标应用服务，作 为可扩容服务集群中的新扩容的服务。这样，在可扩容服务集群中新创建的目标应用服务可以作为可扩容服务集群中的新的已创建的应用服务，每个部署成功的目标应用实例可以作为可扩容服务集群中的新的已创建实例，从而，可以利用上述部署成功的目标应用实例，对后续新接收到的应用使用请求进行响应。
或者，在一种实施方式中，也可以利用可扩容服务集群对应的服务扩容功能，创建应用使用请求对应的多个新的目标应用服务，并按照上述步骤，在每个新的目标应用服务中部署至少一个目标应用实例。
在一种实施例中，针对S102，可以按照以下步骤实施：
S102-1：利用流量调度器，确定应用使用请求中携带的标识信息。
这里，标识信息可以为应用使用请求对应的目标应用的应用标识，例如，可以为应用身份标识号(Identity Document，ID)、应用名称等等。
具体实施时，可以利用流量调度器，对应用使用请求进行解析，确定出其中携带的应用标识。
S102-2：利用标识信息，从多个不同的可扩容服务集群中，筛选出与标识信息指示的目标应用相对应的、待使用的可扩容服务集群，并向待使用的可扩容服务集群转发应用使用请求。
这里，可扩容服务集群可以包括多个，不同的可扩容服务集群可以服务于不同的应用，也即，不同的应用可以对应于不同的可扩容服务集群，而每个应用均可以对应于不用的标识信息，因此，不同的标识信息可以指向服务该标识信息对应的可扩容服务集群。
具体实施时，在确定应用使用请求对应的标识信息后，可以从多个不同的可扩容服务集群中，筛选出标识信息指向的待使用的可扩容服务集群，并向该待使用的可扩容服务集群转发应用使用请求。
在一种实施例中，本公开实施例所提供的请求处理方法还包括创建预留服务集群的步骤：
S1：根据应用使用请求对应的目标应用在各时间段的请求接收峰值，以及目标应用对应的预留实例的处理资源量，确定待部署的预留实例的第一数量。
这里，请求接收峰值即为目标应用在各时间段接收到的应用使用请求的最大数量。预留实例的处理资源量用于表征预留实例同时能够响应的应用使用请 求的最大数量。例如，可以根据每个处理每个应用使用请求所需的资源量，以及预留实例的处理资源量，确定出征预留实例同时能够响应的应用使用请求的最大数量。时间段的数量可以根据实际开发需要进行设置。例如，每个时间段对应的时间间隔为10分钟，1小时等，在时间间隔为1小时的情况下，一天可以设置24个时间段。第一数量即为需要部署的预留实例的数量。
具体实施时，在确定出目标应用在各时间段的请求接收峰值后，可以从多个请求接收峰值中确定最大请求接收峰值。然后，根据目标应用对应的可扩容服务集群中的已创建实例能够同时处理的应用使用请求的第一最大数量，利用最大请求接收峰值减去第一最大数量，确定出预留实例需要同时处理的应用使用请求的第二最大数量。根据每个预留实例的处理资源量和处理第二最大数量的应用使用请求所需的资源量，确定待部署的预留实例的第一数量。
S2：根据预留服务对应的最大实例部署数量和第一数量，确定待创建的预留服务的第二数量。
这里，最大实例部署数量即为每个预留服务所能部署的预留实例的最大数量。
S3：创建第二数量的预留服务，并在创建完成的每个预留服务中部署第三数量的预留实例，将成功部署预留实例的第二数量的预留服务，作为预留服务集群，其中，每个所述预留服务对应的预留实例的第三数量之和等于第一数量。
这里，可以先创建第二数量的预留服务，并在创建完成的每个预留服务中部署第三数量的预留实例。其中，每个预留服务中部署的预留实例的第三数量小于等于最大实例部署数量，每个预留服务对应的预留实例的第三数量之和等于第一数量。并且，在一种实施方式中，创建的第二数量的预留服务中的每个预留服务均可以为不可扩容的服务。
进一步的，可以将成功部署预留实例的第二数量的预留服务，作为预留服务集群。这里，在每个预留服务均为不可扩容的服务的情况下，预留服务集群也为不可自动扩容的服务集群。
在一种实施例中，针对创建第二数量的预留服务，并在创建完成的每个预留服务中部署第三数量的预留实例的步骤，还可以从多个服务容器中，为第二数量的预留服务中的每个预留服务选取可使用的目标服务容器。这里，服务容 器可以为docker容器，创建在docker容器中的预留服务可以为能够扩容的服务。每个服务容器中可以创建预设数量的预留服务。目标服务容器即为筛选出的用于创建预留服务的服务容器，每个目标服务容器均处于空闲可使用的状态。其中，docker容器是一个开源的应用容器引擎，让开发者可以以统一的方式打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何安装了docker引擎的服务器上。
具体的，可以根据预设数量和第二数量，确定需要使用的目标服务容器的目标数量。然后从多个服务容器中，选取出可使用的目标数量的目标服务容器。
进一步的，针对每个预留服务，在该预留服务对应的目标服务容器中创建该预留服务，并在目标服务容器中，为该预留服务部署第三数量的预留实例。
这里，针对每个预留服务，选取出的任一目标服务容器均可以为该预留服务对应的目标服务容器。具体实施时，可以在每个目标服务容器中创建预留服务，并为创建成功的预留服务部署第三数量的预留实例，最后实现在目标数量的目标服务容器中，成功创建出第二数量的预留服务，并未每个预留服务，部署第三数量的预留实例。
示例性的，可以使用kubernetes，创建第二数量的预留服务，并在每个预留服务中部署第三数量的预留实例。其中，kubernetes，简称K8s，是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效。
如图2所示，为本公开实施例所提供的一种请求处理方法的具体实施流程图，可以包括以下步骤：
S201：获取应用使用请求。
S202：利用流量调度器，向可扩容服务集群转发应用使用请求。
S203：确定是否接受到可扩容服务集群反馈的非空闲状态指示信息。
如果是，执行S204以及S206，如果否，则执行S208。
S204：利用流量调度器，将应用使用请求转发至预留服务集群，通过预留服务集群运行与应用使用请求匹配的预留实例。
这里，可以利用运行的预留实例，对应用使用请求进行响应，从而确定应用使用请求的响应结果。
S205：获取应用使用请求的响应结果，并将响应结果反馈至发送应用使用请求的用户端。
S206：利用可扩容服务集群对应的服务扩容功能，创建应用使用请求对应的新的目标应用服务，并在目标应用服务中部署目标应用对应的至少一个目标应用实例。
S207：将成功部署目标应用实例的目标应用服务，添加至可扩容服务集群。
这里，目标应用实例用于响应新的针对目标应用的应用使用请求，以确定新的针对目标应用的应用使用请求对应的响应结果。进一步的，在利用目标应用实例确定新的应用使用请求的响应结果后，可以执行上述S205。
S208：通过可扩容服务集群运行与应用使用请求匹配的已创建实例。
这里，可以利用运行的已创建实例，对应用使用请求进行响应，从而确定应用使用请求的响应结果。之后，可以执行上述S205，以将确定的响应结果反馈给用户端。
关于上述S201～S208的具体实施过程，可以参照上述各实施例，此处不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与请求处理方法对应的请求处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述请求处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
如图3所示，为本公开实施例提供的一种请求处理装置的示意图，包括：
获取模块301，用于获取应用使用请求；
第一转发模块302，用于利用流量调度器，向可扩容服务集群转发所述应用使用请求；所述可扩容服务集群用于运行与各种应用使用请求匹配的已创建实例；
第二转发模块303，用于若接收到所述可扩容服务集群反馈的非空闲状态指示信息，利用所述流量调度器，将所述应用使用请求转发至预留服务集群，通过所述预留服务集群运行与所述应用使用请求匹配的预留实例；
其中，所述非空闲状态指示信息用于指示所述可扩容服务集群当前不存在空闲可使用的已创建实例。
在一种可能的实施方式中，所述装置还包括：
第一创建模块304，用于在接收到所述可扩容服务集群反馈的非空闲状态指示信息之后，利用所述可扩容服务集群对应的服务扩容功能，创建所述应用使用请求对应的新的目标应用服务；
在所述目标应用服务中部署所述目标应用对应的至少一个目标应用实例；
将成功部署所述目标应用实例的所述目标应用服务，添加至所述可扩容服务集群中，其中，所述目标应用实例用于响应新的针对所述目标应用的应用使用请求。
在一种可能的实施方式中，所述第一创建模块304，用于获取所述目标应用对应的应用代码，并将所述应用代码加载至所述目标应用服务对应的存储位置；
在所述应用代码成功加载的情况下，对所述应用代码对应的应用端口执行端口信息获取操作；
在所述端口信息获取操作执行完成的情况下，确定目标应用实例部署成功；所述应用端口用于目标应用服务和所述目标应用实例之间的信息传输。
在一种可能的实施方式中，所述第一转发模块302，用于利用流量调度器，确定所述应用使用请求中携带的标识信息；
利用所述标识信息，从多个不同的可扩容服务集群中，筛选出与所述标识信息指示的目标应用相对应的、待使用的可扩容服务集群，并向所述待使用的可扩容服务集群转发所述应用使用请求。
在一种可能的实施方式中，所述装置还包括：
第二创建模块305，用于按照以下步骤创建所述预留服务集群：
根据所述应用使用请求对应的目标应用在各时间段的请求接收峰值，以及所述目标应用对应的预留实例的处理资源量，确定待部署的预留实例的第一数量；
根据预留服务对应的最大实例部署数量和所述第一数量，确定待创建的预留服务的第二数量；
创建所述第二数量的预留服务，并在创建完成的每个所述预留服务中部署第三数量的预留实例，将成功部署预留实例的所述第二数量的预留服务，作为所述预留服务集群，其中，每个所述预留服务对应的预留实例的第三数量之和等于所述第一数量。
在一种可能的实施方式中，所述第二创建模块305，用于从多个服务容器中，为所述第二数量的预留服务中的每个所述预留服务选取可使用的目标服务容器；
针对每个所述预留服务，在该预留服务对应的目标服务容器中创建该预留服务，并在目标服务容器中，为该预留服务部署第三数量的预留实例。
在一种可能的实施方式中，所述装置还包括：
反馈模块306，用于在所述通过所述预留服务集群运行与所述应用使用请求匹配的预留实例之后，获取与所述应用使用请求匹配的预留实例，针对所述应用使用请求确定的响应结果，并将所述响应结果反馈至发送所述应用使用请求的用户端。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种计算机设备，如图4所示，为本公开实施例提供的一种计算机设备结构示意图，包括：
处理器41和存储器42；所述存储器42存储有处理器41可执行的机器可读指令，处理器41用于执行存储器42中存储的机器可读指令，所述机器可读指令被处理器41执行时，处理器41执行下述步骤：S101：获取应用使用请求；S102：利用流量调度器，向可扩容服务集群转发应用使用请求；可扩容服务集群用于运行与各种应用使用请求匹配的已创建实例以及S103：若接收到可扩容服务集群反馈的非空闲状态指示信息，利用流量调度器，将应用使用请求转发至预留服务集群，通过预留服务集群运行与应用使用请求匹配的预留实例。
上述存储器42包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器41中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器41通过内存421与外部存储器422进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的请求处理方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的请求处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的请求处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的请求处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

  1. 一种请求处理方法，包括：
    获取应用使用请求；
    利用流量调度器，向可扩容服务集群转发所述应用使用请求；所述可扩容服务集群用于运行与各种应用使用请求匹配的已创建实例；
    若接收到所述可扩容服务集群反馈的非空闲状态指示信息，利用所述流量调度器，将所述应用使用请求转发至预留服务集群，通过所述预留服务集群运行与所述应用使用请求匹配的预留实例；
    其中，所述非空闲状态指示信息用于指示所述可扩容服务集群当前不存在空闲可使用的已创建实例。
  2. 根据权利要求1所述的方法，其中，在接收到所述可扩容服务集群反馈的非空闲状态指示信息之后，还包括：
    利用所述可扩容服务集群对应的服务扩容功能，创建所述应用使用请求对应的新的目标应用服务；
    在所述目标应用服务中部署所述目标应用对应的至少一个目标应用实例；
    将成功部署所述目标应用实例的所述目标应用服务，添加至所述可扩容服务集群中，其中，所述目标应用实例用于响应新的针对所述目标应用的应用使用请求。
  3. 根据权利要求2所述的方法，其中，所述在所述目标应用服务中部署所述目标应用对应的至少一个目标应用实例，包括：
    获取所述目标应用对应的应用代码，并将所述应用代码加载至所述目标应用服务对应的存储位置；
    在所述应用代码成功加载的情况下，对所述应用代码对应的应用端口执行端口信息获取操作；
    在所述端口信息获取操作执行完成的情况下，确定目标应用实例部署成功；所述应用端口用于目标应用服务和所述目标应用实例之间的信息传输。
  4. 根据权利要求1所述的方法，其中，所述利用流量调度器，向可扩容服务集群转发所述应用使用请求，包括：
    利用流量调度器，确定所述应用使用请求中携带的标识信息；
    利用所述标识信息，从多个不同的可扩容服务集群中，筛选出与所述标识信息指示的目标应用相对应的、待使用的可扩容服务集群，并向所述待使用的可扩容服务集群转发所述应用使用请求。
  5. 根据权利要求1所述的方法，其中，所述方法还包括创建所述预留服务集群的步骤：
    根据所述应用使用请求对应的目标应用在各时间段的请求接收峰值，以及所述目标应用对应的预留实例的处理资源量，确定待部署的预留实例的第一数量；
    根据预留服务对应的最大实例部署数量和所述第一数量，确定待创建的预留服务的第二数量；
    创建所述第二数量的预留服务，并在创建完成的每个所述预留服务中部署第三数量的预留实例，将成功部署预留实例的所述第二数量的预留服务，作为所述预留服务集群，其中，每个所述预留服务对应的预留实例的第三数量之和等于所述第一数量。
  6. 根据权利要求5所述的方法，其中，所述创建所述第二数量的预留服务，并在创建完成的每个所述预留服务中部署第三数量的预留实例，包括：
    从多个服务容器中，为所述第二数量的预留服务中的每个所述预留服务选取可使用的目标服务容器；
    针对每个所述预留服务，在该预留服务对应的目标服务容器中创建该预留服务，并在目标服务容器中，为该预留服务部署第三数量的预留实例。
  7. 根据权利要求1所述的方法，其中，在所述通过所述预留服务集群运行与所述应用使用请求匹配的预留实例之后，包括：
    获取与所述应用使用请求匹配的预留实例，针对所述应用使用请求确定的响应结果，并将所述响应结果反馈至发送所述应用使用请求的用户端。
  8. 一种请求处理装置，包括：
    获取模块，用于获取应用使用请求；
    第一转发模块，用于利用流量调度器，向可扩容服务集群转发所述应用使用请求；所述可扩容服务集群用于运行与各种应用使用请求匹配的已创建实例；
    第二转发模块，用于若接收到所述可扩容服务集群反馈的非空闲状态指示 信息，利用所述流量调度器，将所述应用使用请求转发至预留服务集群，通过所述预留服务集群运行与所述应用使用请求匹配的预留实例；
    其中，所述非空闲状态指示信息用于指示所述可扩容服务集群当前不存在空闲可使用的已创建实例。
  9. 一种计算机设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任意一项所述的请求处理方法的步骤。
  10. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至7任意一项所述的请求处理方法的步骤。
  11. 一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现权利要求1至7中任意一项所述的请求处理方法的步骤。
PCT/CN2023/076651 2022-03-08 2023-02-17 一种请求处理方法、装置、计算机设备和存储装置 WO2023169175A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP23765753.1A EP4404538A1 (en) 2022-03-08 2023-02-17 Request processing method and device, computer equipment, and storage device
US18/639,016 US12131191B2 (en) 2022-03-08 2024-04-18 Method, device, computer device and storage device for request processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210228680.7 2022-03-08
CN202210228680.7A CN114615340B (zh) 2022-03-08 2022-03-08 一种请求处理方法、装置、计算机设备和存储装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/639,016 Continuation US12131191B2 (en) 2022-03-08 2024-04-18 Method, device, computer device and storage device for request processing

Publications (1)

Publication Number Publication Date
WO2023169175A1 true WO2023169175A1 (zh) 2023-09-14

Family

ID=81860821

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/076651 WO2023169175A1 (zh) 2022-03-08 2023-02-17 一种请求处理方法、装置、计算机设备和存储装置

Country Status (4)

Country Link
US (1) US12131191B2 (zh)
EP (1) EP4404538A1 (zh)
CN (1) CN114615340B (zh)
WO (1) WO2023169175A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615340B (zh) 2022-03-08 2023-10-20 抖音视界有限公司 一种请求处理方法、装置、计算机设备和存储装置
CN115617517B (zh) * 2022-10-12 2023-11-10 中航信移动科技有限公司 一种用于应用pod控制的数据处理系统
CN115379000B (zh) * 2022-10-26 2023-03-24 小米汽车科技有限公司 服务平台的扩容方法、装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111519A (zh) * 2014-11-11 2017-08-29 亚马逊技术股份有限公司 用于管理和调度容器的系统
CN107145393A (zh) * 2017-04-27 2017-09-08 努比亚技术有限公司 一种负载调整方法、设备及计算机可读存储介质
CN110221920A (zh) * 2019-06-04 2019-09-10 合肥讯飞数码科技有限公司 部署方法、装置、存储介质及系统
WO2020135799A1 (zh) * 2018-12-28 2020-07-02 华为技术有限公司 Vnf服务实例化方法及装置
CN114615340A (zh) * 2022-03-08 2022-06-10 北京字节跳动网络技术有限公司 一种请求处理方法、装置、计算机设备和存储装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7647523B2 (en) * 2002-06-12 2010-01-12 International Business Machines Corporation Dynamic binding and fail-over of comparable web service instances in a services grid
US7171470B2 (en) * 2003-02-20 2007-01-30 International Business Machines Corporation Grid service scheduling of related services using heuristics
GB0610302D0 (en) * 2006-05-24 2006-07-05 Ibm A method, apparatus and computer program for validating that a clients request has been routed to an appropriate server
US8260940B1 (en) * 2007-06-29 2012-09-04 Amazon Technologies, Inc. Service request management
US8478812B2 (en) * 2009-09-29 2013-07-02 Core Wireless S.A.R.L. Method and apparatus for providing device compatibility information
JP2011248683A (ja) * 2010-05-27 2011-12-08 Canon Inc クラウドコンピューティングシステム、サーバーコンピュータ、デバイス接続方法及びプログラム
US9075660B2 (en) * 2012-03-29 2015-07-07 Alcatel Lucent Apparatus and method for providing service availability to a user via selection of data centers for the user
WO2014073024A1 (en) * 2012-11-09 2014-05-15 Hitachi, Ltd. Management computer, computer system, and instance management method
KR20140080949A (ko) * 2012-12-21 2014-07-01 한국전자통신연구원 라우팅 장치 및 방법
US9537728B2 (en) * 2013-11-26 2017-01-03 International Business Machines Corporation Minimizing service restart by optimally resizing service pools
US10097431B1 (en) * 2014-06-06 2018-10-09 Amazon Technologies, Inc. Routing to tenant services utilizing a service directory
US11310348B2 (en) * 2015-01-30 2022-04-19 Calgary Scientific Inc. Highly scalable, fault tolerant remote access architecture and method of connecting thereto
CN105763602B (zh) * 2016-01-29 2017-12-01 腾讯科技（深圳）有限公司 一种数据请求处理的方法、服务器及系统
CN107665143B (zh) 2016-07-27 2020-10-16 华为技术有限公司 资源管理方法、装置及系统
US11349931B2 (en) * 2016-08-31 2022-05-31 Sap Se Session management for collaboration sessions
CN108023742B (zh) * 2016-10-31 2021-08-27 阿里巴巴集团控股有限公司 一种应用的扩容方法、装置和系统
CN108076082A (zh) * 2016-11-09 2018-05-25 阿里巴巴集团控股有限公司 一种应用集群的扩容方法、装置和系统
US20180295044A1 (en) * 2017-04-05 2018-10-11 Linkedin Corporation Automated management of service instances
CN110474940B (zh) 2018-05-10 2023-01-13 超级魔方(北京)科技有限公司 请求调度方法、装置、电子设备、及介质
CN109766175A (zh) * 2018-12-28 2019-05-17 深圳晶泰科技有限公司 面向高性能计算在云上的资源弹性伸缩系统及其调度方法
CN110138862B (zh) * 2019-05-16 2022-03-04 北京字节跳动网络技术有限公司 基于应用服务的业务处理方法、装置、网关设备及介质
CN110289982B (zh) * 2019-05-17 2022-08-23 平安科技（深圳）有限公司 容器应用的扩容方法、装置、计算机设备及存储介质
CN111475235B (zh) * 2020-04-13 2023-09-12 北京字节跳动网络技术有限公司 函数计算冷启动的加速方法、装置、设备及存储介质
CN112214330A (zh) * 2020-11-04 2021-01-12 腾讯科技（深圳）有限公司 集群中主节点的部署方法、装置及计算机可读存储介质
US11595248B2 (en) * 2020-12-22 2023-02-28 Vmw Are, Inc. Scalable notification delivery for networked computing environments
CN112631687B (zh) * 2020-12-31 2024-08-02 中国农业银行股份有限公司 一种服务集群的配置方法、装置及设备
CN112650575B (zh) 2021-01-15 2023-08-18 百度在线网络技术（北京）有限公司 资源调度方法、装置和云端服务系统
KR102650892B1 (ko) * 2021-04-12 2024-03-26 한국전자통신연구원 지역적으로 분산된 다중 클라우드 환경에서의 컨테이너 오케스트레이션 장치 및 이를 이용한 방법
CN113157418B (zh) 2021-04-25 2023-08-25 腾讯科技（深圳）有限公司 服务器资源分配方法和装置、存储介质及电子设备
CN115248730A (zh) * 2021-04-27 2022-10-28 华为云计算技术有限公司 提供服务的方法及装置
CN113190329A (zh) * 2021-05-24 2021-07-30 青岛聚看云科技有限公司 服务器及容器云集群资源自动伸缩的方法
CN113382061B (zh) * 2021-06-08 2023-02-03 中国工商银行股份有限公司 基于云环境的服务处理方法、装置及系统
CN114090183B (zh) * 2021-11-25 2023-07-21 抖音视界有限公司 一种应用启动方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111519A (zh) * 2014-11-11 2017-08-29 亚马逊技术股份有限公司 用于管理和调度容器的系统
CN107145393A (zh) * 2017-04-27 2017-09-08 努比亚技术有限公司 一种负载调整方法、设备及计算机可读存储介质
WO2020135799A1 (zh) * 2018-12-28 2020-07-02 华为技术有限公司 Vnf服务实例化方法及装置
CN110221920A (zh) * 2019-06-04 2019-09-10 合肥讯飞数码科技有限公司 部署方法、装置、存储介质及系统
CN114615340A (zh) * 2022-03-08 2022-06-10 北京字节跳动网络技术有限公司 一种请求处理方法、装置、计算机设备和存储装置

Also Published As

Publication number Publication date
CN114615340A (zh) 2022-06-10
US12131191B2 (en) 2024-10-29
EP4404538A1 (en) 2024-07-24
CN114615340B (zh) 2023-10-20
US20240264872A1 (en) 2024-08-08

Similar Documents

Publication Publication Date Title
WO2023169175A1 (zh) 一种请求处理方法、装置、计算机设备和存储装置
US11836516B2 (en) Reducing execution times in an on-demand network code execution system using saved machine states
WO2020177533A1 (zh) 电子票据标识分配方法、电子票据生成方法、装置及系统
CN115328663B (zh) 基于PaaS平台进行资源调度的方法、装置、设备和存储介质
CN103999031B (zh) 云服务器的虚拟私有存储阵列服务
US8150889B1 (en) Parallel processing framework
US9063976B1 (en) Dynamic tree determination for data processing
CN105190555B (zh) 集中式任务调度
CN111338773B (zh) 一种分布式定时任务调度方法、调度系统及服务器集群
WO2020177564A1 (zh) Vnf的生命周期管理方法及装置
CN111338774A (zh) 分布式定时任务调度系统及计算装置
US9104488B2 (en) Support server for redirecting task results to a wake-up server
WO2014101475A1 (zh) 云平台应用部署方法及装置
US9396051B2 (en) Integration application building tool
US20160259812A1 (en) Method and system for accessing a distributed file system
CN111124286A (zh) 一种基于Libcloud的多云管理实现方法
WO2023071576A1 (zh) 容器集群构建方法及系统
TW201523419A (zh) 視窗介面展現方法及系統
CN108984290A (zh) 任务调度方法和系统
WO2019153880A1 (zh) 集群中镜像文件下载的方法、节点、查询服务器
US20100082812A1 (en) Rapid resource provisioning with automated throttling
CN116360918A (zh) 建模数据处理方法、装置、计算机设备和存储介质
US9501485B2 (en) Methods for facilitating batch analytics on archived data and devices thereof
CN111459619A (zh) 一种基于云平台实现服务的方法和装置
CN114661436A (zh) 云原生的作业调度方法、系统及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23765753

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 23765753.1

Country of ref document: EP

Ref document number: 2023765753

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023765753

Country of ref document: EP

Effective date: 20240417