WO2019024508A1 - 资源分配方法、主装置、从装置和分布式计算系统 - Google Patents

资源分配方法、主装置、从装置和分布式计算系统 Download PDF

Info

Publication number
WO2019024508A1
WO2019024508A1 PCT/CN2018/079159 CN2018079159W WO2019024508A1 WO 2019024508 A1 WO2019024508 A1 WO 2019024508A1 CN 2018079159 W CN2018079159 W CN 2018079159W WO 2019024508 A1 WO2019024508 A1 WO 2019024508A1
Authority
WO
WIPO (PCT)
Prior art keywords
resource
resources
computing task
physical node
limit
Prior art date
Application number
PCT/CN2018/079159
Other languages
English (en)
French (fr)
Inventor
倪传蕾
马庆祥
张馨予
陈茁
Original Assignee
北京奇虎科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京奇虎科技有限公司 filed Critical 北京奇虎科技有限公司
Publication of WO2019024508A1 publication Critical patent/WO2019024508A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Definitions

  • the present invention relates to the field of distributed computing technologies, and in particular, to a resource allocation method, a master device, a slave device, and a distributed computing system.
  • a resource allocation method comprising:
  • the computing task is allocated to a physical node with sufficient resources, and the resource allocation from the resource-rich physical node allocates resources for the computing task within the standard resource limit.
  • a resource allocation method comprising:
  • the current available resource of the physical node is determined and reported according to the recorded allocated resource and the total amount of resources available on the physical node.
  • the total resource determining unit is adapted to obtain the total amount of resources available on each physical node of the distributed cluster
  • a resource limit determining unit adapted to set a standard resource limit for each computing task
  • a resource allocation unit configured to allocate a total amount of resources available on each physical node and the standard resource limit to a resource allocation slave device on the corresponding physical node; and is adapted to acquire when the submitted computing task is received
  • the current available resources on each physical node according to the resource requirements and/or standard resource limits configured in the computing tasks submitted by the computing task, and the currently available resources on each physical node, determine the sufficient resources to run the computing task.
  • the node allocates the computing task to a physical node with sufficient resources, and allocates resources for the computing task from the device within the standard resource limit by the resource allocation on the resource node with sufficient resources.
  • a resource allocation slave device comprising:
  • a resource pre-allocation unit adapted to obtain a standard resource limit of each computing task and a total amount of physical resources available on the physical node
  • the resource pre-allocation unit is further configured to determine, according to the recorded allocated resources and the total amount of resources available on the physical node, the available resources of the physical node, and report the available resources when the available resource acquisition request is received.
  • a distributed computing system including a master node and at least one slave node, each of which is configured with the resource allocation master device according to any one of the above, each slave node A resource allocation slave device as described in any of the above is deployed.
  • a computer readable medium storing computer readable code causing the computing device to perform the resource allocation method when the computer readable code is run on a computing device .
  • a computing device comprising a processor; and a memory storing computer readable code, when the computer readable code is executed by the processor, causing the computing device to execute The resource allocation method described.
  • FIG. 1 is a schematic flowchart diagram of a resource allocation method according to an embodiment of the present invention
  • FIG. 3 is a schematic structural diagram of a resource allocation main device according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of a distributed computing system according to an embodiment of the present invention.
  • Fig. 7 shows a storage unit for holding or carrying program code implementing a resource allocation method according to the present invention.
  • FIG. 1 is a schematic flowchart of a resource allocation method according to an embodiment of the present invention, where the method is applied to a primary node of a distributed computing system, and the distributed computing system is deployed in a distributed cluster, Methods include:
  • Step S110 Acquire a total amount of resources that can be used on each physical node of the distributed cluster.
  • the resources in this embodiment and other embodiments may be one or more of a CPU resource, a memory resource, and a network card resource.
  • the total amount of resources that can be used on each physical node is all resources on the corresponding physical node.
  • step S120 a standard resource limit is set for each computing task.
  • Step S130 the total amount of resources available on each physical node and the standard resource limit are sent to the resource allocation slave device on the corresponding physical node.
  • step S140 when the submitted computing task is received, the current available resources on each physical node are obtained.
  • the computing task requires two CPU cores and only one CPU core is idle on physical node 1, then physical node 1 is not a physical node with sufficient resources. If there are 3 CPU cores on the physical node 2, then the physical node 2 is a physical node with sufficient resources.
  • step S160 the computing task is allocated to the physical node with sufficient resources, and the resource allocation from the resource-rich physical node allocates resources for the computing task within the standard resource limit.
  • each physical node of the distributed cluster is multiplexed by multiple distributed systems, and the distributed computing system is one of a plurality of distributed systems; the distributed computing system is distributed.
  • the resources available on each physical node of the cluster are determined according to the resource requirements of each distributed system.
  • resources that can be used by each distributed system on each physical node can be determined according to resource requirements of each distributed system. For example, if there are 24 CPU cores on one physical node, CPU0 to CPU9 can be assigned to Storm, and CPU10 to CPU23 can be assigned to Hadoop.
  • Control Group which can implement resource scheduling in Linux system, but it is not very easy to use.
  • the Cgroup limit configuration file is selected to limit the resources that can be used by each computing task.
  • the standard resource limit can be the same for each type of computing task, that is, no matter what computing task, it is treated equally. Of course, this may also result in many computing tasks that do not require too much computing resources being applied for too many computing resources. Therefore, in an embodiment of the present invention, the method further includes: setting a service resource limit for each computing task according to a service type of the computing task; and submitting the computing task to allocate a resource requirement within a corresponding service resource limit before submitting the computing task.
  • Step S210 Obtain a standard resource limit of each computing task and a total amount of physical resources that can be used on the physical node. These can be delivered by the resource allocation master on the primary node.
  • Step S220 When receiving the delivered computing task, allocate resources for the computing task within the standard resource limit according to the resource requirement and/or the standard resource limit configured in the computing task, and record the allocated resource as the allocated resource.
  • Step S230 after the computing task ends, release the corresponding allocated resource.
  • step S220 and step S230 the total amount of resources allocated on the physical node can be maintained, and the remaining total resources can also be calculated. These are the total resources available on the physical node. Therefore, in step S240, when the available resource acquisition request is received, the current available resource of the physical node is determined and reported according to the recorded allocated resource and the total amount of resources available on the physical node.
  • the resource allocation master device on the master node can determine which physical nodes the computing task should be executed according to the method in the foregoing embodiment, and details are not described herein again.
  • the standard resource limit for acquiring each computing task includes: receiving a copy of the issued Cgroup limit configuration file, and the Cgroup limit configuration file copy is written on the physical node.
  • the total amount of resources used and the standard resource limits that can be used for each computing task; allocating resources for computing tasks within the limits of standard resources includes: starting a computing task in Cgroup limit mode.
  • computing task A applies for three CPU cores, but the resource utilization is less than 10%, which allows it to use only one CPU core; computing task B applies for two CPU cores, but for a long time at 100% load, then Additional CPU cores can be allocated for standard resource limit content, and so on.
  • FIG. 3 is a schematic structural diagram of a resource allocation main device, where the device is applied to a primary node of a distributed computing system, and the distributed computing system is deployed in a distributed cluster, according to an embodiment of the present invention.
  • the resource allocation main device 300 includes:
  • the resource total determining unit 310 is adapted to acquire the total amount of resources available on each physical node of the distributed cluster.
  • the resource limit determination unit 320 is adapted to set a standard resource limit for each computing task.
  • each physical node of the distributed cluster is multiplexed by a plurality of distributed systems, and the distributed computing system is one of a plurality of distributed systems; the distributed computing system is distributed
  • the resources available on each physical node of the cluster are determined according to the resource requirements of each distributed system.
  • the resource includes one or more of the following: a CPU resource, a memory resource, and a network card resource.
  • the resource limit determining unit 320 is adapted to write a standard resource limit that can be used by each computing task in the Cgroup limit configuration file; the resource allocating unit 330 is adapted to be a physical node. A corresponding copy of the Cgroup limit configuration file is generated, and the total amount of resources that can be used on the corresponding physical node is written in each Cgroup limit configuration file copy, and a copy of the Cgroup limit configuration file is sent to each resource allocation slave device.
  • the resource limit determining unit 320 is further adapted to set a service resource limit for each computing task according to a service type of the computing task; and the submitted computing task is in a corresponding service before being submitted. Resource requirements are allocated within resource limits.
  • FIG. 4 is a schematic structural diagram of a resource allocation slave device, where the device is applied to a slave node in a distributed computing system, and the distributed computing system is deployed in a distributed cluster according to an embodiment of the present invention, and Each slave node corresponds to one physical node of the distributed cluster.
  • the resource allocation slave device 400 includes:
  • the resource pre-allocation unit 410 is adapted to obtain a standard resource limit of each computing task and a total amount of physical resources that can be used on the physical node.
  • the resource allocation unit 420 is adapted to allocate resources for the computing task within the standard resource limit according to the resource requirements and/or standard resource limits configured in the computing task when the delivered computing task is received, and record the allocated resources as Allocate resources; and release the corresponding allocated resources after the end of the calculation task.
  • the resource pre-allocation unit 410 is adapted to receive a copy of the issued Cgroup limit configuration file, and the Cgroup limit configuration file copy is written in the physical node.
  • FIG. 5 shows a schematic structural diagram of a distributed computing system according to an embodiment of the present invention.
  • the distributed computing system 500 includes a master node 510 and at least one slave node 520, each master node 510.
  • the resource allocation master device 300 is deployed on any of the foregoing embodiments, and each of the slave nodes is configured with the resource allocation slave device 400 as described in any of the foregoing embodiments.
  • the technical solution of the present invention delivers the standard resource limit and the total amount of resources available on each physical node to the resource allocation slave device on the corresponding physical node by setting a standard resource limit for each computing task.
  • the current available resources on each physical node are first obtained to determine the physical nodes with sufficient resources, and the computing tasks are allocated to such physical nodes, and the resource allocation devices on the physical nodes are in the standard. Allocate resources within resource limits.
  • the technical solution can ensure that the computing resources allocated for each computing task do not conflict with each other, and meet the requirements of resource scheduling, and avoid the problem that multiple computing tasks compete for the same computing resource, resulting in inefficiency.
  • the various component embodiments of the present invention may be implemented in hardware, or in a software module running on one or more processors, or in a combination thereof.
  • a microprocessor or digital signal processor may be used in practice to implement some or all of the components of the resource allocation master, slave, and distributed computing system in accordance with embodiments of the present invention.
  • the invention can also be implemented as a device or device program (e.g., a computer program and a computer program product) for performing some or all of the methods described herein.
  • Such a program implementing the invention may be stored on a computer readable medium or may be in the form of one or more signals. Such signals may be downloaded from an Internet website, provided on a carrier signal, or provided in any other form.
  • Figure 6 shows a block diagram of a computing device in which a resource allocation method in accordance with the present invention can be implemented.
  • the computing device conventionally includes a processor 610 and a computer program product or computer readable medium in the form of a memory 620.
  • the memory 620 may be an electronic memory such as a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), an EPROM, a hard disk, or a ROM.
  • Memory 620 has a storage space 630 that stores program code 631 for performing any of the method steps described above.
  • storage space 630 storing program code may store various program codes 631 for implementing various steps in the above methods, respectively.
  • the program code can be read from or written to one or more computer program products.
  • These computer program products include program code carriers such as hard disks, compact disks (CDs), memory cards or floppy disks. Such computer program products are typically portable or fixed storage units as shown in FIG.
  • the storage unit may have storage segments, storage spaces, and the like that are similarly arranged to memory 620 in the computing device of FIG.
  • the program code can be compressed, for example, in an appropriate form.
  • the storage unit comprises computer readable program code 631' storing instructions for performing the method according to the invention, ie program code readable by a processor such as 610, when the program code is run by the computing device Causing the computing device to perform the various steps in the methods described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种资源分配方法、主装置、从装置和分布式计算系统。所述方法包括：获取在分布式集群的各物理节点上可使用的资源总量（S110），为各计算任务设置标准资源限度（S120），将两者下发到相应物理节点上的资源分配从装置中（S130）；当接收到提交的计算任务时，获取各物理节点上当前的可用资源（S140）；根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点（S150）；将计算任务分配到资源充足的物理节点上，由资源充足的物理节点上的资源分配从装置在标准资源限度内为该计算任务分配资源（S160）。能够避免出现多个计算任务争抢同一计算资源导致效率低下的问题。

Description

资源分配方法、主装置、从装置和分布式计算系统 技术领域
本发明涉及分布式计算技术领域，具体涉及资源分配方法、主装置、从装置和分布式计算系统。
背景技术
许多分布式系统都通过调度器来分配、调度计算资源，例如Hadoop可以利用Yarn进行资源调度。但是许多分布式计算系统是不支持调度器的，资源的分配方法往往不能满足用户的需求，可能导致效率低下，甚至出现错误。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的资源分配方法、主装置、从装置和分布式计算系统。
依据本发明的一个方面，提供了一种资源分配方法，该方法包括：
获取在分布式集群的各物理节点上可使用的资源总量；
为各计算任务设置标准资源限度；
将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中；
当接收到提交的计算任务时，获取各物理节点上当前的可用资源；
根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点；
将所述计算任务分配到资源充足的物理节点上，由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。
依据本发明的另一方面，提供了一种资源分配方法，该方法包括：
获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量；
当接收到下发的计算任务时，根据所述计算任务中配置的资源需求和/或标准资源限度，在所述标准资源限度内为所述计算任务分配资源，将分配的资源记录为已分配资源；
在所述计算任务结束后，释放相应的已分配资源；
当接收到可用资源获取请求时，根据记录的已分配资源和在该物理节点上可用的资源总量，确定该物理节点当前的可用资源并上报。
依据本发明的又一方面，提供了一种资源分配主装置，该装置包括：
资源总量确定单元，适于获取在分布式集群的各物理节点上可使用的资源总量；
资源限度确定单元，适于为各计算任务设置标准资源限度；
资源分配单元，适于将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中；以及适于当接收到提交的计算任务时，获取各物理节点上当前的可用资源，根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点，将所述计算任务分配到资源充足的物理节点上，由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。
依据本发明的再一方面，提供了一种资源分配从装置，该装置包括：
资源预分配单元，适于获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量；
资源分配单元，适于当接收到下发的计算任务时，根据所述计算任务中配置的资源需求和/或标准资源限度，在所述标准资源限度内为所述计算任务分配资源，将分配的资源记录为已分配资源；以及在所述计算任务结束后，释放相应的已分配资源；
所述资源预分配单元，还适于当接收到可用资源获取请求时，根据记录的已分配资源和在该物理节点上可用的资源总量，确定该物理节点当前的可用资源并上报。
依据本发明的再一方面，提供了一种分布式计算系统，包括一个主节点和至少一个从节点，每个主节点上部署有如上述任一项所述的资源分配主装置，每个从节点上部署有如上述任一项所述的资源分配从装置。
根据本发明的又一个方面，提供了一种计算机可读介质，其中存储了计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行所述资源分配方法。
根据本发明的再一个方面，提供了一种计算设备，包括处理器；以及存储了计算机可读代码的存储器，所述计算机可读代码被所述处理器运行时，导致所述计算设备执行所述的资源分配方法。
由上述可知，本发明的技术方案，通过为各计算任务设置标准资源限度，将标准资源限度和各物理节点上可使用的资源总量下发到相应物理节点上的资源分配从装置中，在接收到提交的计算任务时，先获取各物理节点上当前的可用资源来确定资源充足的物理节点，将计算任务分配到这样的物理节点上，由这些物理节点上的 资源分配从装置在标准资源限度内分配资源。该技术方案能够保证为各计算任务分配的计算资源互不冲突，同时满足了资源调度的需求，避免出现多个计算任务争抢同一计算资源导致效率低下的问题。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的一种资源分配方法的流程示意图；
图2示出了根据本发明一个实施例的另一种资源分配方法的流程示意图；
图3示出了根据本发明一个实施例的一种资源分配主装置的结构示意图；
图4示出了根据本发明一个实施例的一种资源分配从装置的结构示意图；
图5示出了根据本发明一个实施例的一种分布式计算系统的结构示意图；
图6示出了用于执行根据本发明的资源分配方法的计算设备的框图；以及
图7示出了用于保持或者携带实现根据本发明的资源分配方法的程序代码的存储单元。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
以分布式计算系统Storm为例，其能够支持流式计算的实时处理，但是不支持利用Yarn进行资源的调度。提交到Storm中的计算任务称为Topology，Topology又由Spout和Bolt构成。Storm中存在两种组件，Nimbus和Supervisor，其中Nimbus全局只有一个，负责将任务的代码发送到多个Supervisor上。因此Nimbus相当于主节点，Supervisor相当于从节点。分布式集群中的各物理节点上可以分别启动一个Supervisor，用于监听分配给它所在的物理节点的工作，根据需要启动或关闭工作进 程Worker。Worker会利用计算资源来处理相应的计算任务，因此现有技术中，往往通过控制Worker的数量来实现资源的分配，例如令一个Supervisor最多只能启动四个Worker。但是这种方式存在的问题是，对于图像识别等计算任务来说，其耗费的计算资源是巨大的；相对地，有一些计算任务耗费的计算资源很小。这样就可能出现一个Supervisor启动了三个Worker，这三个Worker已经使用了全部的计算资源，但是由于预设的是一个Supervisor可以启动四个Worker，那么还可能出现令这个Supervisor再启动一个Worker，执行另一个计算任务；那么这个计算任务可能被饿死。
下面本发明各实施例所示出的技术方案可以在一定程度上避免这样的事情发生。图1示出了根据本发明一个实施例的一种资源分配方法的流程示意图，其中，该方法应用于分布式计算系统的主节点上，所述分布式计算系统部署在分布式集群中，该方法包括：
步骤S110，获取在分布式集群的各物理节点上可使用的资源总量。本实施例和其他实施例中的资源可以是CPU资源、内存资源、网卡资源中的一种或多种。
当分布式集群中只部署了本分布式计算系统时，那么各物理节点上可使用的资源总量就是相应的物理节点上的所有资源。
步骤S120，为各计算任务设置标准资源限度。
在本步骤中，并不是如同现有技术一样设置可在各物理节点上运行的计算任务的数量，而是为各计算任务设置一个标准资源限度，例如，对于一个Spout，只允许其使用3个CPU核心。
步骤S130，将各物理节点上可使用的资源总量和标准资源限度下发到相应物理节点上的资源分配从装置中。
步骤S140，当接收到提交的计算任务时，获取各物理节点上当前的可用资源。
因为此时，如果一个物理节点上已有运行的计算任务，那么该物理节点上当前的可用资源就小于该物理节点上可使用的资源总量。然后执行步骤S150，根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点。
例如，计算任务需求使用2个CPU核心，而物理节点1上只有1个CPU核心空闲，那么物理节点1就不是一个资源充足的物理节点。假如物理节点2上有3个CPU核心空闲，那么物理节点2就是一个资源充足的物理节点。
步骤S160，将计算任务分配到资源充足的物理节点上，由资源充足的物理节点上的资源分配从装置在标准资源限度内为该计算任务分配资源。
这里可以考虑按照计算任务中配置的资源需求为该计算任务分配资源，例如虽 然一个计算任务的标准资源限度是3个CPU核心，但是实际提交的一个计算任务只需求2个CPU核心，那么可以分配给该计算任务2个CPU核心。如果计算任务中没有配置资源需求，那么也可以按照标准资源限度，分配给该计算任务3个CPU核心。
可见，图1所示的方法，通过为各计算任务设置标准资源限度，将标准资源限度和各物理节点上可使用的资源总量下发到相应物理节点上的资源分配从装置中，在接收到提交的计算任务时，先获取各物理节点上当前的可用资源来确定资源充足的物理节点，将计算任务分配到这样的物理节点上，由这些物理节点上的资源分配从装置在标准资源限度内分配资源。该技术方案能够保证为各计算任务分配的计算资源互不冲突，同时满足了资源调度的需求，避免出现多个计算任务争抢同一计算资源导致效率低下的问题。
上面的实施例中提及，当分布式集群中只部署了本分布式计算系统时，那么各物理节点上可使用的资源总量就是相应的物理节点上的所有资源。然而事实上，分布式集群往往是被多个分布式系统复用的。因此在本发明的一个实施例中，上述方法中，分布式集群的各物理节点被多个分布式系统复用，分布式计算系统是多个分布式系统中的一个；分布式计算系统在分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
例如，Hadoop和Storm如果在同一分布式集群中部署，Hadoop可以由Yarn进行调度，Strom则不行，那么二者中的计算任务就会争抢计算资源。在本实施例中，可以根据各分布式系统的资源需求量来确定各分布式系统在各物理节点上可使用的资源。例如，一个物理节点上有24个CPU核心，那么可以将CPU0～CPU9分配给Storm，CPU10～CPU23分配给Hadoop。
在本发明的一个实施例中，上述方法中，为各计算任务设置标准资源限度包括：在Cgroup limit配置文件中写入各计算任务可使用的标准资源限度；将各物理节点上可使用的资源总量和标准资源限度下发到相应物理节点上的资源分配从装置中包括：为各物理节点生成对应的在Cgroup limit配置文件副本，在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量，将Cgroup limit配置文件副本下发到各资源分配从装置。
Cgroup全称为Control Group，可以在Linux系统中实现资源调度，但并不十分好用。在本实施例中选取使用Cgroup limit配置文件的方式来限制各计算任务可使用的资源。
上面的实施例中，标准资源限度对各类型的计算任务可以都是一样的，也就是无论是什么计算任务，一视同仁。当然这也可能造成许多不需要利用太多计算资源 的计算任务被申请了过多的计算资源。因此在本发明的一个实施例中，上述方法还包括：按计算任务的业务类型，为各计算任务设置业务资源限度；提交的计算任务在提交前，在相应的业务资源限度内配置资源需求。
也就是说，提交到分布式计算系统中的任务不能够随意地申请资源，这样在有标准资源限度的一道限制下，又增添了一道限制，可以减少出现资源利用率过低的情况。
上面的实施例可以应用在分布式计算系统的主节点上。图2示出了根据本发明一个实施例的另一种资源分配方法的流程示意图，其中，该方法应用于分布式计算系统中的从节点上，分布式计算系统部署在分布式集群中，且各从节点对应部署在分布式集群的一个物理节点上，该方法包括：
步骤S210，获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量。这些可以是主节点上的资源分配主装置下发的。
步骤S220，当接收到下发的计算任务时，根据计算任务中配置的资源需求和/或标准资源限度，在标准资源限度内为计算任务分配资源，将分配的资源记录为已分配资源。
步骤S230，在计算任务结束后，释放相应的已分配资源。
通过步骤S220和步骤S230就能够维护在本物理节点上已分配的资源总量，也就能计算出剩余的资源总量，这些就是该物理节点上可用的资源总量。因此在步骤S240，当接收到可用资源获取请求时，根据记录的已分配资源和在该物理节点上可用的资源总量，确定该物理节点当前的可用资源并上报。
这时主节点上的资源分配主装置可以按照前述实施例中的方法确定计算任务应该在哪些物理节点上执行，在此不再赘述。
在本发明的一个实施例中，图2所示的方法中，获取各计算任务的标准资源限度包括：接收下发的Cgroup limit配置文件副本，Cgroup limit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度；在标准资源限度内为计算任务分配资源包括：以Cgroup limit方式启动计算任务。
在前述实施例中介绍了使用Cgroup limit配置文件的方式来限制各计算任务使用的资源，在本实施例中，对Cgroup limit配置文件的利用方式为以Cgroup limit方式启动计算任务，这样就会加载相应的Cgroup limit配置文件副本。
虽然上述实施例能够提高计算任务的执行效率，但也可能出现为计算任务分配的资源过多或过少的情况，因此在本发明的一个实施例中，图2所示的方法还包括：统计各计算任务在预定时间内对相应的已分配资源的资源利用率；根据资源利用率 调整各计算任务的已分配资源，和/或在接收到下发的计算任务时，根据与该计算任务同业务类型的计算任务的资源利用率和计算任务中配置的资源需求，在标准资源限度内为计算任务分配资源。
例如，计算任务A申请了3个CPU核心，但资源利用率不到10％，可令其只使用1个CPU核心；计算任务B申请了2个CPU核心，但长时间处于100％负载，那么可以在标准资源限度内容为其额外分配CPU核心，等等。
图3示出了根据本发明一个实施例的一种资源分配主装置的结构示意图，其中，该装置应用于分布式计算系统的主节点上，分布式计算系统部署在分布式集群中。如图3所示，资源分配主装置300包括：
资源总量确定单元310，适于获取在分布式集群的各物理节点上可使用的资源总量。
资源限度确定单元320，适于为各计算任务设置标准资源限度。
资源分配单元330，适于将各物理节点上可使用的资源总量和标准资源限度下发到相应物理节点上的资源分配从装置中；以及适于当接收到提交的计算任务时，获取各物理节点上当前的可用资源，根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点，将计算任务分配到资源充足的物理节点上，由资源充足的物理节点上的资源分配从装置在标准资源限度内为该计算任务分配资源。
可见，图3所示的装置，通过各单元的相互配合，为各计算任务设置标准资源限度，将标准资源限度和各物理节点上可使用的资源总量下发到相应物理节点上的资源分配从装置中，在接收到提交的计算任务时，先获取各物理节点上当前的可用资源来确定资源充足的物理节点，将计算任务分配到这样的物理节点上，由这些物理节点上的资源分配从装置在标准资源限度内分配资源。该技术方案能够保证为各计算任务分配的计算资源互不冲突，同时满足了资源调度的需求，避免出现多个计算任务争抢同一计算资源导致效率低下的问题。
在本发明的一个实施例中，上述装置中，分布式集群的各物理节点被多个分布式系统复用，分布式计算系统是多个分布式系统中的一个；分布式计算系统在分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
在本发明的一个实施例中，上述装置中，资源包括如下的一种或多种：CPU资源、内存资源、网卡资源。
在本发明的一个实施例中，上述装置中，资源限度确定单元320，适于在Cgroup limit配置文件中写入各计算任务可使用的标准资源限度；资源分配单元330，适于为 各物理节点生成对应的在Cgroup limit配置文件副本，在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量，将Cgroup limit配置文件副本下发到各资源分配从装置。
在本发明的一个实施例中，上述装置中，资源限度确定单元320，还适于按计算任务的业务类型，为各计算任务设置业务资源限度；提交的计算任务在提交前，在相应的业务资源限度内配置资源需求。
图4示出了根据本发明一个实施例的一种资源分配从装置的结构示意图，其中，该装置应用于分布式计算系统中的从节点上，分布式计算系统部署在分布式集群中，且各从节点分别与分布式集群的一个物理节点对应。如图4所示，资源分配从装置400包括：
资源预分配单元410，适于获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量。
资源分配单元420，适于当接收到下发的计算任务时，根据计算任务中配置的资源需求和/或标准资源限度，在标准资源限度内为计算任务分配资源，将分配的资源记录为已分配资源；以及在计算任务结束后，释放相应的已分配资源。
资源预分配单元410，还适于当接收到可用资源获取请求时，根据记录的已分配资源和在该物理节点上可用的资源总量，确定该物理节点当前的可用资源并上报。
在本发明的一个实施例中，图4所示的装置中，资源预分配单元410，适于接收下发的Cgroup limit配置文件副本，Cgroup limit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度；资源分配单元420，适于以Cgroup limit方式启动计算任务。
在本发明的一个实施例中，图4所示的装置还包括：统计单元430，适于统计各计算任务在预定时间内对相应的已分配资源的资源利用率；资源分配单元420，适于根据资源利用率调整各计算任务的已分配资源，和/或适于在接收到下发的计算任务时，根据与该计算任务同业务类型的计算任务的资源利用率和计算任务中配置的资源需求，在标准资源限度内为计算任务分配资源。
需要说明的是，上述各装置实施例的具体实施方式分别与前述对应方法实施例的具体实施方式相同，在此不再赘述。
图5示出了根据本发明一个实施例的一种分布式计算系统的结构示意图，如图5所示，分布式计算系统500包括一个主节点510和至少一个从节点520，每个主节点510上部署有如上述任一实施例所述的资源分配主装置300，每个从节点上部署有如上述任一实施例所述的资源分配从装置400。
综上所述，本发明的技术方案，通过为各计算任务设置标准资源限度，将标准资源限度和各物理节点上可使用的资源总量下发到相应物理节点上的资源分配从装置中，在接收到提交的计算任务时，先获取各物理节点上当前的可用资源来确定资源充足的物理节点，将计算任务分配到这样的物理节点上，由这些物理节点上的资源分配从装置在标准资源限度内分配资源。该技术方案能够保证为各计算任务分配的计算资源互不冲突，同时满足了资源调度的需求，避免出现多个计算任务争抢同一计算资源导致效率低下的问题。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施 例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的资源分配主装置、从装置和分布式计算系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图6示出了可以实现根据本发明的资源分配方法的计算设备的框图。该计算设备传统上包括处理器610和以存储器620形式的计算机程序产品或者计算机可读介质。存储器620可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器620具有存储用于执行上述方法中的任何方法步骤的程序代码631的存储空间630。例如，存储程序代码的存储空间630可以存储分别用于实现上面的方法中的各种步骤的各个程序代码631。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如图7所示的便携式或者固定存储单元。该存储单元可以具有与图6的计算设备中的存储器620类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括存储有用于执行根据本发明的方法步骤的计算机可读程序代码631’，即可以由例如诸如610之类的处理器读取的程序代码，当这些程序代码由计算设备运行时，导致该计算设备执行上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一 个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
此外，还应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (23)

  1. 一种资源分配方法，该方法包括：获取在分布式集群的各物理节点上可使用的资源总量；为各计算任务设置标准资源限度；将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中；当接收到提交的计算任务时，获取各物理节点上当前的可用资源；根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点；将所述计算任务分配到资源充足的物理节点上，由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。
  2. 如权利要求1所述的方法，其中，该方法应用于分布式计算系统的主节点上，所述分布式计算系统部署在分布式集群中。
  3. 如权利要求2所述的方法，其中，所述分布式集群的各物理节点被多个分布式系统复用，所述分布式计算系统是所述多个分布式系统中的一个；
    所述分布式计算系统在所述分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
  4. 如权利要求2所述的方法，其中，所述资源包括如下的一种或多种：
    CPU资源、内存资源、网卡资源。
  5. 如权利要求2所述的方法，其中，所述为各计算任务设置标准资源限度包括：在Cgroup limit配置文件中写入各计算任务可使用的标准资源限度；
    所述将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中包括：为各物理节点生成对应的在Cgroup limit配置文件副本，在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量，将所述Cgroup limit配置文件副本下发到各资源分配从装置。
  6. 如权利要求2所述的方法，其中，该方法还包括：按计算任务的业务类型，为各计算任务设置业务资源限度；
    所述提交的计算任务在提交前，在相应的业务资源限度内配置资源需求。
  7. 一种资源分配方法，该方法包括：
    获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量；
    当接收到下发的计算任务时，根据所述计算任务中配置的资源需求和/或标准资源限度，在所述标准资源限度内为所述计算任务分配资源，将分配的资源记录为已分配资源；
    在所述计算任务结束后，释放相应的已分配资源；
    当接收到可用资源获取请求时，根据记录的已分配资源和在该物理节点上可用的资源总量，确定该物理节点当前的可用资源并上报。
  8. 如权利要求7所述的方法，其中，该方法应用于分布式计算系统中的从节点上，所述分布式计算系统部署在分布式集群中，且各从节点对应部署在分布式集群的一个物理节点上。
  9. 如权利要求8所述的方法，其中，所述获取各计算任务的标准资源限度包括：
    接收下发的Cgroup limit配置文件副本，所述Cgroup limit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度；
    所述在所述标准资源限度内为所述计算任务分配资源包括：以Cgroup limit方式启动所述计算任务。
  10. 如权利要求8所述的方法，其中，该方法还包括：
    统计各计算任务在预定时间内对相应的已分配资源的资源利用率；
    根据所述资源利用率调整各计算任务的已分配资源，和/或在接收到下发的计算任务时，根据与该计算任务同业务类型的计算任务的资源利用率和所述计算任务中配置的资源需求，在所述标准资源限度内为所述计算任务分配资源。
  11. 一种资源分配主装置，该装置包括：
    资源总量确定单元，适于获取在分布式集群的各物理节点上可使用的资源总量；
    资源限度确定单元，适于为各计算任务设置标准资源限度；
    资源分配单元，适于将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中；以及适于当接收到提交的计算任务时，获取各物理节点上当前的可用资源，根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点，将所述计算任务分配到资源充足的物理节点上，由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。
  12. 如权利要求11所述的装置，其中，该装置应用于分布式计算系统的主节点上，所述分布式计算系统部署在分布式集群中。
  13. 如权利要求12所述的装置，其中，所述分布式集群的各物理节点被多个分布式系统复用，所述分布式计算系统是所述多个分布式系统中的一个；
    所述分布式计算系统在所述分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
  14. 如权利要求13所述的装置，其中，所述资源包括如下的一种或多种：
    CPU资源、内存资源、网卡资源。
  15. 如权利要求12所述的装置，其中，
    所述资源限度确定单元，适于在Cgroup limit配置文件中写入各计算任务可使用的标准资源限度；
    所述资源分配单元，适于为各物理节点生成对应的在Cgroup limit配置文件副本，在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量，将所述Cgroup limit配置文件副本下发到各资源分配从装置。
  16. 如权利要求12所述的装置，其中，
    所述资源限度确定单元，还适于按计算任务的业务类型，为各计算任务设置业务资源限度；
    所述提交的计算任务在提交前，在相应的业务资源限度内配置资源需求。
  17. 一种资源分配从装置该装置包括：
    资源预分配单元，适于获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量；
    资源分配单元，适于当接收到下发的计算任务时，根据所述计算任务中配置的资源需求和/或标准资源限度，在所述标准资源限度内为所述计算任务分配资源，将分配的资源记录为已分配资源；以及在所述计算任务结束后，释放相应的已分配资源；
    所述资源预分配单元，还适于当接收到可用资源获取请求时，根据记录的已分配资源和在该物理节点上可用的资源总量，确定该物理节点当前的可用资源并上报。
  18. 如权利要求17所述的装置，其中，该装置应用于分布式计算系统中的从节点上，所述分布式计算系统部署在分布式集群中，且各从节点分别与分布式集群的一个物理节点对应。
  19. 如权利要求18所述的装置，其中，
    所述资源预分配单元，适于接收下发的Cgroup limit配置文件副本，所述Cgroup limit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度；
    所述资源分配单元，适于以Cgroup limit方式启动所述计算任务。
  20. 如权利要求18所述的装置，其中，该装置还包括：
    统计单元，适于统计各计算任务在预定时间内对相应的已分配资源的资源利用率；
    所述资源分配单元，适于根据所述资源利用率调整各计算任务的已分配资源，和/或适于在接收到下发的计算任务时，根据与该计算任务同业务类型的计算任务的资源利用率和所述计算任务中配置的资源需求，在所述标准资源限度内为所述计算任务分配资源。
  21. 一种分布式计算系统，其中，该系统包括一个主节点和至少一个从节点，每个主节点上部署有如权利要求11-16中任一项所述的资源分配主装置，每个从节点上部署有如权利要求17-20中任一项所述的资源分配从装置。
  22. 一种计算机可读介质，其中存储了计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行根据权利要求1-10任一个所述的资源分配方法。
  23. 一种计算设备，包括：
    处理器；以及
    存储了计算机可读代码的存储器，所述计算机可读代码被所述处理器运行时，导致所述计算设备执行根据权利要求1-10任一个所述的资源分配方法。
PCT/CN2018/079159 2017-08-04 2018-03-15 资源分配方法、主装置、从装置和分布式计算系统 WO2019024508A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710662725.0 2017-08-04
CN201710662725.0A CN107515786B (zh) 2017-08-04 2017-08-04 资源分配方法、主装置、从装置和分布式计算系统

Publications (1)

Publication Number Publication Date
WO2019024508A1 true WO2019024508A1 (zh) 2019-02-07

Family

ID=60722638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/079159 WO2019024508A1 (zh) 2017-08-04 2018-03-15 资源分配方法、主装置、从装置和分布式计算系统

Country Status (2)

Country Link
CN (1) CN107515786B (zh)
WO (1) WO2019024508A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515786B (zh) * 2017-08-04 2021-02-19 北京奇虎科技有限公司 资源分配方法、主装置、从装置和分布式计算系统
CN110554910A (zh) * 2018-05-30 2019-12-10 中国电信股份有限公司 优化分布式计算效能的方法和装置
CN108804697A (zh) * 2018-06-15 2018-11-13 中国平安人寿保险股份有限公司 基于Spark的数据同步方法、装置、计算机设备和存储介质
CN109271447A (zh) * 2018-09-04 2019-01-25 中国平安人寿保险股份有限公司 数据同步方法、装置、计算机设备和存储介质
CN109062703A (zh) * 2018-09-28 2018-12-21 北京城市网邻信息技术有限公司 任务执行资源的方法、装置、调度设备、执行设备及介质
CN109586970B (zh) * 2018-12-13 2022-07-08 新华三大数据技术有限公司 资源分配方法、装置及系统
CN109656699A (zh) * 2018-12-14 2019-04-19 平安医疗健康管理股份有限公司 分布式计算方法、装置、系统、设备及可读存储介质
CN112148469B (zh) * 2019-06-28 2024-02-20 杭州海康威视数字技术股份有限公司 管理资源的方法、装置及计算机存储介质
CN111506419A (zh) * 2020-03-11 2020-08-07 北京联创信安科技股份有限公司 一种gpu资源共享方法及装置
CN112073498B (zh) * 2020-09-01 2022-09-09 北京字节跳动网络技术有限公司 一种资源分配方法及装置
CN111813564B (zh) * 2020-09-11 2020-12-18 北京达佳互联信息技术有限公司 集群资源管理方法、装置及容器集群管理系统
CN113568746B (zh) * 2021-07-27 2024-01-02 北京达佳互联信息技术有限公司 负载均衡方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694633A (zh) * 2009-09-30 2010-04-14 曙光信息产业(北京)有限公司 计算机作业调度设备、方法及系统
CN103365713A (zh) * 2012-04-01 2013-10-23 华为技术有限公司 一种资源的调度和管理方法及装置
CN103491024A (zh) * 2013-09-27 2014-01-01 中国科学院信息工程研究所 一种面向流式数据的作业调度方法及装置
CN104102543A (zh) * 2014-06-27 2014-10-15 北京奇艺世纪科技有限公司 一种云计算环境中负载调整的方法和装置
CN105808346A (zh) * 2014-12-30 2016-07-27 华为技术有限公司 一种任务调度方法与装置
CN107515786A (zh) * 2017-08-04 2017-12-26 北京奇虎科技有限公司 资源分配方法、主装置、从装置和分布式计算系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957780B (zh) * 2010-08-17 2013-03-20 中国电子科技集团公司第二十八研究所 一种基于资源状态信息的网格任务调度处理器及方法
US9183016B2 (en) * 2013-02-27 2015-11-10 Vmware, Inc. Adaptive task scheduling of Hadoop in a virtualized environment
CN103246570A (zh) * 2013-05-20 2013-08-14 百度在线网络技术（北京）有限公司 Hadoop的调度方法、系统及管理节点
CN103414761B (zh) * 2013-07-23 2017-02-08 北京工业大学 一种基于Hadoop架构的移动终端云资源调度方法
CN104050042B (zh) * 2014-05-30 2017-06-13 北京先进数通信息技术股份公司 Etl作业的资源分配方法及装置
CN104102548B (zh) * 2014-08-04 2017-11-24 北京京东尚科信息技术有限公司 任务资源调度处理方法和系统
CN104461740B (zh) * 2014-12-12 2018-03-20 国家电网公司 一种跨域集群计算资源聚合和分配的方法
CN104636199A (zh) * 2015-03-13 2015-05-20 华存数据信息技术有限公司 一种基于分布式内存计算的大数据实时处理系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694633A (zh) * 2009-09-30 2010-04-14 曙光信息产业(北京)有限公司 计算机作业调度设备、方法及系统
CN103365713A (zh) * 2012-04-01 2013-10-23 华为技术有限公司 一种资源的调度和管理方法及装置
CN103491024A (zh) * 2013-09-27 2014-01-01 中国科学院信息工程研究所 一种面向流式数据的作业调度方法及装置
CN104102543A (zh) * 2014-06-27 2014-10-15 北京奇艺世纪科技有限公司 一种云计算环境中负载调整的方法和装置
CN105808346A (zh) * 2014-12-30 2016-07-27 华为技术有限公司 一种任务调度方法与装置
CN107515786A (zh) * 2017-08-04 2017-12-26 北京奇虎科技有限公司 资源分配方法、主装置、从装置和分布式计算系统

Also Published As

Publication number Publication date
CN107515786A (zh) 2017-12-26
CN107515786B (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
WO2019024508A1 (zh) 资源分配方法、主装置、从装置和分布式计算系统
US9916183B2 (en) Scheduling mapreduce jobs in a cluster of dynamically available servers
CN106406983B (zh) 一种集群中的任务调度方法及装置
US9027028B2 (en) Controlling the use of computing resources in a database as a service
CN106293893B (zh) 作业调度方法、装置及分布式系统
WO2016078008A1 (zh) 调度数据流任务的方法和装置
WO2017016421A1 (zh) 一种集群中的任务执行方法及装置
US11586392B2 (en) Multi-stream SSD QoS management
US10686728B2 (en) Systems and methods for allocating computing resources in distributed computing
US10866832B2 (en) Workflow scheduling system, workflow scheduling method, and electronic apparatus
WO2017166643A1 (zh) 一种任务资源的量化方法和装置
WO2016029790A1 (zh) 数据传输方法及装置
WO2016061935A1 (zh) 一种资源调度方法、装置及计算机存储介质
JP6519111B2 (ja) データ処理制御方法、データ処理制御プログラムおよびデータ処理制御装置
WO2016041446A1 (zh) 一种资源分配方法、装置及设备
CN112463375A (zh) 一种数据处理的方法和装置
CN112148468A (zh) 一种资源调度方法、装置、电子设备及存储介质
US8775767B2 (en) Method and system for allocating memory to a pipeline
US11093291B2 (en) Resource assignment using CDA protocol in distributed processing environment based on task bid and resource cost
TW202205103A (zh) 對命令進行排程之系統以及方法
CN113535087A (zh) 数据迁移过程中的数据处理方法、服务器及存储系统
US9672073B2 (en) Non-periodic check-pointing for fine granular retry of work in a distributed computing environment
WO2017018978A1 (en) Scheduling jobs in a computing cluster
CN109947613B (zh) 文件读取测试方法和装置
CN115809014A (zh) 一种调度控制方法、设备及计算机存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18841797

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18841797

Country of ref document: EP

Kind code of ref document: A1