WO2025243162A1

WO2025243162A1 - 一种调度方法、系统、计算机程序产品及存储介质

Info

Publication number: WO2025243162A1
Application number: PCT/IB2025/055117
Authority: WO
Inventors: 陈月文
Original assignee: Cloud Intelligence Singapore Holding Pvt Ltd
Current assignee: Cloud Intelligence Singapore Holding Pvt Ltd
Priority date: 2024-05-23
Filing date: 2025-05-16
Publication date: 2025-11-27
Anticipated expiration: 2026-11-23
Also published as: CN121008877A

Abstract

本公开实施例提供一种调度方法、系统、计算机程序产品及存储介质。可保留目标集群上原本所采用的第二集群管理系统，将第二集群管理系统在目标集群上所划分出的逻辑资源组，映射为基于容器的第一集群管理系统中的虚拟节点。基于此，用户可在第一集群管理系统中提交任务需求，第一集群管理系统可进行容器组创建及调度，若调度到的目标虚拟节点与第二集群管理系统中所划分出的目标逻辑资源组相映射，则可向第二集群管理系统提交满足任务需求且符合第二集群管理系统所要求任务格式的工作任务。

Description

一种调度方法、系统、计算机程序产品及存储介质技术领域

[01]本公开涉及云计算技术领域，尤其涉及一种调度方法、系统、计算机程序产品及存储介质。背景技术

[02]高性能计算 ( High performance computing , HPC ) 集群通常采用 Slurm系统作为作业调度和资源管理系统。 Kubernetes , 或称 k8s, 则是一种基于容器的集群管理系统，用于容器编排和管理。 Kubernetes具有强大的容器编排和管理功能，可以自动化应用程序的部署、伸缩和故障恢复，它提供了更灵活和自动化的资源管理机制，可以根据应用程序的需求进行动态调整和分配资源。

[03]目前，期望 Kubernetes的灵活性及自动化能力也能覆盖到 HPC集群，但是，由于 HPC 集群通常具有特定的硬件和网络架构，需要精确的资源调度和管理，因此， Kubernetes的默认调度器并不适用于 HPC集群，无法满足 HPC集群中关于优先级及资源约束等方面的作业调度需求。发明内容

[04]本公开的多个方面提供一种调度方法、系统、计算机程序产品及存储介质，用以实现将基于容器的集群管理系统覆盖至更多类型的集群。

[05]本公开实施例提供一种调度方法，适用于基于容器的第一集群管理系统；目标集群上采用的第二集群管理系统所划分出的逻辑资源组，映射为所述第一集群管理系统中的虚拟节点，所述方法包括：为用户在所述第一集群管理系统中提交的任务需求，创建目标容器组；将所述目标容器组，调度至符合所述任务需求的目标虚拟节点；若所述目标虚拟节点与所述第二集群管理系统中所划分出的目标逻辑资源组相映射，则向所述第二集群管理系统提交满足所述任务需求的工作任务，以使所述第二集群管理系统将所述工作任务调度至所述目标集群中的所述目标逻辑资源组中执行；其中，所述工作任务符合所述第二集群管理系统所要求的任务格式。

[06]进一步地，为用户在所述第一集群管理系统中提交的任务需求，创建目标容器组，包括：响应于监测到所述用户基于所述任务需求创建出自定义工作负载资源，为所述自定义工作负载资源创建目标容器组；其中，所述自定义工作负载资源中包含有所述第二集群管理系统所要求的任务格式中所需的信息项。

[07]进一步地，所述第一集群管理系统中设置有与所述自定义工作负载资源关联的控制器；响应于监测到所述用户基于所述任务需求创建出自定义工作负载资源，为所述自定义工作负载资源创建目标容器组，包括：利用所述控制器监测所述第一集群管理系统中所出现的自定义工作负载资源；利用所述控制器为所监测到的自定义工作负载资源创建目标容器组。

[08]进一步地，将所述目标容器组，调度至符合所述任务需求的目标虚拟节点，包括：利用所述控制器在所述目标容器组中指定所需调度到的目标虚拟节点，以将所述目标容器组调度至所述目标虚拟节点上。

[09]进一步地，所述第一集群管理系统中设置有逻辑资源组管理器，所述方法还包括：利用所述逻辑资源组管理器监测所述第二集群管理系统中逻辑资源组的增删事件；按照监测到的增删事件，在所述第一集群管理系统中创建/删除虚拟节点。

[10]进一步地，所述方法还包括：利用所述逻辑资源组管理器监测所述第二集群管理系统中逻辑资源组的资源水位状态 ;在监测到任一逻辑资源组的资源水位状态发生变化的情况下，更新所述第一集群管理系统中与所述逻辑资源组相映射的虚拟节点所对应的资源水位状态。

[11]进一步地，所述方法还包括：在所述用户在所述第一集群管理系统中提交所述任务需求的过程中，向所述用户展示各虚拟节点所对应的资源水位状态，以供所述用户基于资源水位状态在所述任务需求中指示所需使用的虚拟节点，作为所述目标虚拟节点。

[ 12]进一步地，所述第二集群管理系统中设置有用于与所述第一集群管理系统通信的代理组件；向所述第二集群管理系统提交满足所述任务需求的工作任务，包括：利用所述目标虚拟节点基于所述任务需求，生成符合所述第二集群管理系统所要求的任务格式的工作任务，所述工作任务指示在所述目标逻辑资源组中执行；利用所述目标虚拟节点将所述工作任务提交至所述第二集群管理系统中的所述代理组件，以使所述代理组件将所述工作任务提交至所述第二集群管理系统中的任务调度器进行任务调度。

[13]进一步地，所述方法还包括：利用所述目标虚拟节点从所述第二集群管理系统中获取所述工作任务的执行状态；利用所述目标虚拟节点按照获取到的所述工作任务的执行状态，更新所述目标容器组的执行状态；按照所述目标容器组的状态信息，更新所述任务需求对应的执行状态，以供所述用户查询。

[14]进一步地，除所述目标集群外，还存在其它集群；其它集群上所采用的集群管理系统中所划分出的逻辑资源组，在所述第一集群管理系统中也映射为虚拟节点，以支持所述第一集群管理系统向其它集群上所采用的集群管理系统提交相应任务格式的工作任务，以使工作任务调度至其它集群中的逻辑资源组中执行。

[15]进一步地，所述第二集群管理系统采用 Slurm系统、负载共享调度系统或便携批处理系统，所述目标集群采用高性能计算集群。

[16]进一步地，所述目标容器组不占用物理资源，所述第一集群管理系统中的虚拟节点也不占用物理资源。

[17]本公开实施例还提供一种集群管理系统，所述集群管理系统是基于容器的，目标集群上采用的第二集群管理系统所划分出的逻辑资源组，映射为所述集群管理系统中的虚拟节点，所述集群管理系统用于执行前述的调度方法，以基于用户在所述集群管理系统提交的任务需求，向所述第二集群管理系统提交符合所需任务格式的工作任务，以使所述工作任务在所述目标集群中的目标逻辑资源组中执行。

[18]本公开实施例还提供一种存储计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的调度方法。

[19]本公开实施例还提供一种计算机程序产品，包括计算机程序，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的调度方法。

[20]在本公开实施例中提出，针对期望覆盖到的目标集群，可保留目标集群上原本所采用的第二集群管理系统，目标集群中的物理资源并无需纳管至基于容器的第一集群管理系统中，而是由第一集群管理系统作为控制面，通过桥接的方式连通至目标集群上原本所采用的第二集群管理系统。在此构思下，可将第二集群管理系统在目标集群上所划分出的逻辑资源组，映射为第一集群管理系统中的虚拟节点，并可将第二集群管理系统所认知的工作任务，抽象为第一集群管理系统中的容器组，基于此，用户可在第一集群管理系统中提交任务需求，第一集群管理系统可进行容器组创建及调度，若调度到的目标虚拟节点与第二集群管理系统中所划分出的逻辑资源组相映射，则可向第二集群管理系统提交满足该任务需求且符合所需任务格式的工作任务，这样，第二集群管理系统可接管到用户在第一集群管理系统中提交的任务需求，并在目标集群上完成处理。据此，基于容器的集群管理系统可无障碍地覆盖至更多类型的集群。附图说明

[21]此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

[22]图 1为本公开一示例性实施例提供的一种调度方法的流程示意图；

[23]图 2为本公开一示例性实施例提供的一种调度方法的逻辑示意图；

[24]图 3为本公开一示例性实施例提供的一种调度方法的可选实现方式的逻辑示意图；

[25]图 4为本公开一示例性实施例提供的一种调度方法的可选逻辑示意图；

[26]图 5为本公开另一示例性实施例提供的一种集群管理系统的结构示意图。具体实施方式

[27]为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开具体实施例及相应的附图对本公开技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

[28]在开始对本公开各实施例提供的技术方案进行详细说明之前，先对本公开中涉及到的几个技术概念进行简单解释如下。

[29] Kubernetes, 或称 k8s, 则是一种基于容器的集群管理系统，用于容器编排和管理。 Kubernetes具有强大的容器编排和管理功能，可以自动化应用程序的部署、伸缩和故障恢复，它提供了更灵活和自动化的资源管理机制，可以根据应用程序的需求进行动态调整和分配资源。

[30] Slurm, 全称为 Simple Linux Utility for Resource Management, 是一个开源的集群管理和作业调度系统，用于高性能计算（HPC）环境中的任务调度和资源管理。

[31]高性能计算（High performance computing , HPC） , 是利用高性能服务器（如超级计算机等）实现并行计算的理论、方法、技术以及应用的一种技术。

[32] HPC集群, 可理解为能够实施高性能计算的服务器集群。 HPC集群中的服务器通常为前述的高性能服务器。 [33]正如背景技术中所介绍的， HPC集群上通常采用 Slurm系统作为作业调度和资源管理系统。发明人在研究过程中发现，当需要使用 HPC集群来执行任务时，用户需要在 Slurm系统的原生命令行界面中创建出 HPC作业，这给用户带来了比较高的学习成本, 而且，发明人还发现， HPC集群上所采用的集群管理系统并不局限在 Slurm系统，而是还存在很多其它的系统类型，例如，负载共享调度系统 ( Load Sharing Facility, LSF ) 或便携批处理系统 ( Portable Batch System, PBS )等，针对不同的集群管理系统，用户需要分别学习交互知识，这进一步增加了用户的学习成本。另夕卜，除了 HPC集群之外，还可能需要使用到其他类型的集群，而其它类型的集群上所采用的集群管理系统的类型更加多样化，这又进一步加剧了用户的学成成本。

[34]为此，发明人提出，期望通过一种用户所熟知的集群管理系统覆盖到各种类型的集群，以降低用户的学习成本。但是，发明人在研究过程中又发现，由于不同类型的集群中通常具有特定的硬件和网络架构，因此，统一的集群管理系统中的原生调度器并无法直接适用于各种类型的集群。据此，如何保证该统一的集群管理系统能够适用于各种类型的集群，成为亟需解决的技术问题。

[35]为了解决该技术问题，本实施例中提出了一种调度方法，选用基于容器的集群管理系统作为用于统一的集群管理系统，并提出了保留各种类型的集群上原本所采用的集群管理系统，而将基于容器的集群管理系统作为控制面，来对各种类型的集群上原本所采用的集群管理系统进行适应性连通。

[36]在此技术构思的指导下，发明人将技术问题进一步具体化为如何在基于容器的集群管理系统中实现对其它类型集群管理系统的适应连通，并提出了技术方案。

[37]以下结合附图，详细说明本公开各实施例提供的技术方案。

[38]图 1为本公开一示例性实施例提供的一种调度方法的流程示意图，该方法可由基于容器的集群管理系统执行，该集群管理系统可实现为软件、硬件或软件与硬件的结合。

[39]本实施例中，基于容器的集群管理系统可以是前文提及的 Kubemetes, 当然，本实施例并不限于此，其它基于容器而进行调度及资源管理的系统，也可作为本实施例中的执行主体，在此不做更多示例。

[40]发明人在研究过程中发现，基于容器的集群管理系统中，是以容器组 ( Pod )作为基本部署单位。在基于容器的集群管理系统中，调度原理大致为：可将容器放入容器组 ( Pod ) , 并将容器组调度至合适的节点 ( Node )上，以执行工作负载。 [41]发明人在研究过程中还发现，其它类型的集群管理系统中通常会在集群的物理资源上划分出逻辑资源组，并会将接收到的工作任务调度到合适的逻辑资源组上，以通过逻辑资源组所占用的物理资源来执行工作负载。举例来说，前述的 Slurm系统中所划分出的逻辑资源组通常为分区（Partition） , 而前述的 LSP系统中所划分出的逻辑资源组则通常为队列（ Queue） , 在此不做更多示例。

[42]基于此，本实施例中提出，可将其它类型的集群管理系统中所划分出的逻辑资源组，抽象为基于容器的集群管理系统中的虚拟节点；将其它类型的集群管理系统中所需调度的工作任务，抽象为基于容器的集群管理系统中的容器组，这样，在基于容器的集群管理系统中按照自身的调度原理进行调度，即能够反映出其它类型的集群管理系统中应将工作任务调度至哪个逻辑资源组中，从而保证基于容器的集群管理系统能够给其它类型的集群管理系统提供准确地调度指引。

[43]这里需要说明的是，第一集群管理系统中的节点（ Node）通常可以是物理机器或虚拟机等。本实施例中提出的虚拟节点具备第一集群管理系统中的节点的相关属性，但不同的是，本实施例中提出的虚拟节点并不占用物理资源。也即是，第一集群管理系统在创建出虚拟节点后，并无需为虚拟节点分配物理资源，本实施例中提出的虚拟节点即不会占用目标集群中的物理资源，也不会占用第一集群管理系统所纳管的物理资源。本实施例中提出的虚拟节点，可理解为是一种进程 /线程。

[44]图 2为本公开一示例性实施例提供的一种调度方法的逻辑示意图。参考图 2, 为便于描述，后文中将基于容器的集群管理系统描述为第一集群管理系统，且以期望覆盖的任一集群为示例，来进行技术方案的描述。后文中，将该示例的集群描述为目标集群，将该示例的集群上所采用的集群管理系统描述为第二集群管理系统。

[45]示例性地，目标集群可以是高性能计算集群（ HPC）集群，而目标集群上所采用的第二集群管理系统可采用 slurm系统、 LSP系统或 PBS系统等。

[46]值得说明的是，正如前文提及的 ,本实施例中的第一集群管理系统主要作为控制面，因此，本实施例中，目标集群中的物理资源并无需纳管至第一集群管理系统中，而是保持纳管在其原本所采用的第二集群管理系统中即可。也即是，目标集群中的物理节点无需注册至第一集群管理系统中。

[47]在此基础上，参考图 1 , 该方法可包括以下步骤。

[48]步骤 100、为用户在第一集群管理系统中提交的任务需求，创建目标容器组。 [49]步骤 101、将目标容器组，调度至符合该任务需求的目标虚拟节点。

[50]步骤 102、若目标虚拟节点与第二集群管理系统中所划分出的目标逻辑资源组相映射，则向第二集群管理系统提交满足任务需求的工作任务，以使第二集群管理系统将工作任务调度至目标集群中的目标逻辑资源组中执行；其中，该工作任务符合第二集群管理系统所要求的任务格式。

[51]本实施例中，在步骤 100中，用户可在第一集群管理系统中提交任务需求。应当理解的是，本实施例中，用户只需学习第一集群管理系统中的交互知识即可，这可有效降低用户的学习成本。举例来说，用户只需学习如何使用 Kubemetes即可，无需学习使用前述的 Slurm或 LSP等系统。

[52]其中，任务需求用于反映用户期望使用的物理资源规格以及期望完成的工作内容等。用户可按照第一集群管理系统中原生的交互方式来提交任务需求。应当理解的是，本实施例提供的调度方法与第一集群管理系统中原生的调度逻辑相比，是不同的，因此，本实施例中，步骤 100中用户所提交的任务需求，区别于需要在第一集群管理系统所纳管的物理资源上处理的任务需求，以便触发第一集群管理系统采用本实施例中的调度方法进行处理，而不再按照原生的调度逻辑进行处理。本实施例中，可采用多种实现方式来支持步骤 100中任务需求的特定性。以下提供一种示例性实现方式。

[53]发明人在研究过程中发现，在第一集群管理系统中通常会将一切示为资源对象 ( Resource ) ,例如前文提及的容器组等，在第一集群管理系统即被示为一种资源对象。而且，第一集群管理系统中通常还可提供一种扩展机制… 资对象源定义 ( Custom Resource Definition , CRD ) , 该扩展机制允许按需自定义新的资源类型。

[54]图 3为本公开一示例性实施例提供的一种调度方法的可选实现方式的逻辑示意图。参考图 3 , 基于这种扩展机制，该示例性实现方式，可以是：在第一集群管理系统中为第二集群管理系统扩展出自定义工作负载资源，其中，这种自定义工作负载资源中可包含有第二集群管理系统所要求的任务格式中所需的信息项。举例来说，若第二集群管理系统为 Slurm集群，在这种自定义工作负载资源中可包含 Slurm作业中所需的各种信息项。

[55]基于此，在该示例性实现方式中，第一集群管理系统可向用户展示任务需求提交页面，在该页面中，第二集群管理系统所要求的任务格式中所需的信息项将作为需要用户填写的信息项，以保证所创建出的自定义工作负载资源中至少包含有第二集群管理系统所要求的任务格式中所需的信息项。

[56]值得说明的是，第一集群管理系统中原生已经存在多种工作负载资源，例如，部署 Deployment, 副本集 Replica Set及状态集 StatefulSet等。在上述示例性实现方案中，则是为第二集群管理系统自定义了一种新的工作负载资源。另夕卜，值得说明的是，考虑到不同类型的集群管理系统所要求的任务格式不完全相同，因此，在第一集群管理系统中，可为不同类型的集群管理系统分别自定义不同的工作负载资源，以保证相应的工作负载资源中能够全面收集到所需的信息项。

[57]发明人在研究过程中发现，第一集群管理系统中支持使用工作负载资源来触发创建容器组。基于此，承接上述示例性实现方式，在步骤 100中，第一集群管理系统可响应于监测到用户基于任务需求创建出自定义工作负载资源，为自定义工作负载资源创建目标容器组。

[58]进一步地，参考图 3 , 在上述示例性实现方式中还提出：可在第一集群管理系统中设置与自定义工作负载资源关联的控制器，基于此，可由控制器监测第一集群管理系统中所出现的自定义工作负载资源，并负责为所监测到的自定义工作负载资源创建目标容器组。举例来说，在 Kubernetes中，这里的控制器可实现为运算符 Operator。其中 , Operator 是 Kubernetes 的扩展软件，它可利用定制资源对象管理应用及其组件，关于 Operator 的实现原理在此不做展开详述。另外，在第一集群管理系统中，对于因不同类型的集群管理系统而设置的不同自定义工作负载资源，可关联不同的控制器。

[59]应当理解的是，上述示例性实现方式仅是可选地，本实施例中，在步骤 100中还可采用其它实现方式来支持任务需求的特定性。例如，可在第一集群管理系统中设置一专用进程针对不同集群管理系统指引用户输入所需的信息项，并可基于收集到的信息项创建出一种定制资源，这种定制资源可用于触发第一集群管理系统创建容器组，另夕卜，这种定制资源也不再局限在工作负载资源。在此不做更多详述，也不再做更多示例。

[60]值得强调的是，本实施例中，在步骤 100中所创建出的目标容器组并不占用物理资源，也即是，第一集群管理系统在创建出目标容器组后，并无需为目标容器组分配物理资源。因此，在步骤 100中所创建出的目标容器组不会占用目标集群中的物理资源；若第一集群管理系统纳管有物理资源，那目标容器组亦不会占用第一集群管理系统所纳管的物理资源。

[61]继续参考图 1 , 在步骤 101 中，第一集群管理系统可将目标容器组，调度至符合用户所提交的任务需求的目标虚拟节点。其中，考虑到其它类型的集群管理系统中通常支持用户指定所期望使用的逻辑资源组，为此，在步骤 100中，第一集群管理系统中也适应性地支持用户在任务需求中指示出所期望使用的虚拟节点。这样，在步骤 101中，可将目标容器组调度至任务需求中所指示的虚拟节点，作为目标虚拟节点。当然，若任务需求中并未指示出所需使用的虚拟节点，则在步骤 101中，第一集群管理系统则可按照自身原生的调度逻辑中的调度策略，基于任务需求中所反映的期望使用的物理资源规格等信息，筛选出符合用户所提交任务需求的目标虚拟节点。

[62]参考图 3 , 承接前述示例性实现方案中为自定义工作负载资源所关联的控制器，在步骤 101中，可由控制器在目标容器组中指定所需调度到的目标虚拟节点，以将目标容器组调度至目标虚拟节点上。

[63]本实施例中，虚拟节点和逻辑资源组之间是 —映射的，第一集群管理系统中可记录这种映射关系。对于第二集群管理系统在目标集群上所划分出的各个逻辑资源组，均在第一集群管理系统中创建有相映射的虚拟节点。这样，在步骤 101中所命中的目标虚拟节点将存在相映射的逻辑资源组。

[64]继续参考图 1 , 在步骤 102中，若目标虚拟节点与第二集群管理系统中所划分出的目标逻辑资源组相映射，则可确定需向第二集群管理系统提交工作任务。

[65]这里，本实施例中在各个虚拟节点中封装了用于按照所需任务格式创建工作任务的处理逻辑。例如，前述的目标虚拟节点中即封装有用于按照第二集群管理系统所要求任务格式创建工作任务的处理逻辑。基于此，本实施例中，在步骤 102中，可利用目标虚拟节点来向第二集群管理系统提交工作任务，当然，这是可选地，本实施例中并无需限定提交工作任务这一操作的执行主体，也可由第一集群管理系统中的其它组件来实施该操作。

[66]这样，本实施例中，在步骤 102中，对于目标虚拟节点来说，可基于前述用户提交的任务需求，生成符合第二集群管理系统所要求的任务格式的工作任务。这里，目标虚拟节点所生成的工作任务中将指示需在目标逻辑资源组中执行。应当理解的是，目标虚拟节点可记录自身所映射的目标逻辑资源组，并在生成工作任务时，将目标逻辑资源组的标识写入至工作任务中的相应字段中。

[67]至此，在第一集群管理系统中的目标虚拟节点上，产生了符合第二集群管理系统所要求的任务格式的工作任务，且该工作任务能够准确反映用户所提交的任务需求。 [68]参考图 2, 目标虚拟节点可作为第一集群管理系统的管控出口，将所生成的工作任务提交至第二集群管理系统中。这样，第二集群管理系统将接收到符合自身所要求任务格式的工作任务。

[69]在此基础上，第二集群管理系统可按照自身原生的调度逻辑，对目标虚拟节点所提交的工作任务进行调度。由于该工作任务中指示在目标逻辑资源组中执行，因此，第二集群管理系统可将该工作任务调度至在目标集群上所换分出的目标逻辑资源组中，这样, 该工作任务将在目标逻辑资源组在目标集群中所占用的物力资源上执行。

[70]可知，本实施例中，从用户的视角来看，其是在第一集群管理系统中提交任务需求，只需学习第一集群管理系统的交互知识即可，用户对目标集群上所采用的第二集群管理系统并无感知。从第一集群管理系统的视角来看，基于其内所创建的虚拟节点实现与不同类型的集群管理系统之间的桥接，通过虚拟节点可产生出合适格式的工作任务并准确地指引其它类型的集群管理系统将工作任务调度至用户期望的逻辑资源组内。而从第二集群管理系统的视角来看，其可从第一集群系统中接收到符合自身所要求任务格式的工作任务，且工作任务中已经指示有所需的目标逻辑资源组，因此，第二集群管理系统可按照自身原生的调度逻辑，将工作任务调度至目标逻辑资源组中执行。

[71]另夕卜，值得说明的是，图 4为本公开一示例性实施例提供的一种调度方法的可选逻辑示意图，参考图 4, 本实施例中的第一集群管理系统可覆盖多个集群，不同集群上所采用的集群管理系统的类型可能不同。也即是，除目标集群外，还存在其它集群。而且，其它集群上所采用的集群管理系统中所划分出的逻辑资源组，在第一集群管理系统中也映射为虚拟节点，以支持第一集群管理系统向其它集群上所采用的集群管理系统提交相应任务格式的工作任务，以使工作任务调度至其它集群中的逻辑资源组中执行。

[72]综上，本实施例中，针对期望覆盖到的目标集群，可保留目标集群上原本所采用的第二集群管理系统，目标集群中的物理资源并无需纳管至基于容器的第一集群管理系统中，而是由第一集群管理系统作为控制面，通过桥接的方式连通至目标集群上原本所采用的第二集群管理系统。在此构思下，可将第二集群管理系统在目标集群上所划分出的逻辑资源组，映射为第一集群管理系统中的虚拟节点，并可将第二集群管理系统所认知的工作任务，抽象为第一集群管理系统中的容器组，基于此，用户可在第一集群管理系统中提交任务需求，第一集群管理系统可进行容器组创建及调度，若调度到的目标虚拟节点与第二集群管理系统中所划分出的逻辑资源组相映射，则可向第二集群管理系统提交满足该任务需求且符合所需任务格式的工作任务，这样，第二集群管理系统可接管到用户在第一集群管理系统中提交的任务需求，并在目标集群上完成处理。据此，基于容器的集群管理系统可无障碍地覆盖至更多类型的集群。

[73]在上述或下述实施例中，第一集群管理系统可为第二集群管理系统在目标集群上所划分出的各个逻辑资源组分别创建相映射的虚拟节点。

[74]参考图 3, 第一集群管理系统中可设置有逻辑资源组管理器，基于此，可由逻辑资源组管理器监测第二集群管理系统中逻辑资源组的增删事件；并负责按照监测到的增删事件，在第一集群管理系统中创建/删除虚拟节点。

[75]这样，第一集群管理系统中的虚拟节点创建流程可大致描述为以下。

[76] K逻辑资源组管理器可按照固定的时间间隔向第二集群管理系统请求查询所有逻辑资源组的信息。

[77] 2.针对第二集群管理系统中存在的每个逻辑资源组，检查第一集群管理系统中是否已经存在对应的虚拟节点，若不存在则为该逻辑资源组创建虚拟节点，并记录映射关系。

[78] 3.若查询到第二集群管理系统中的某个逻辑资源组已被删除，则将第一集群管理系统中与该逻辑资源组相映射的虚拟节点也进行删除。

[79]这可有效保证第一集群管理系统中的虚拟节点与其它集群管理系统中所划分出的逻辑资源组 - 映射且生命周期同步。

[80]另外，本实施例中还提出，第一集群管理系统还可支持监测第二集群管理系统中所划分出的各逻辑资源组的资源水位状态。为此，在本实施例提出，可将第二集群管理系统中各逻辑资源组的资源水位状态映射至其在第一集群管理系统中所对应的虚拟节点上，以通过虚拟节点透出第二集群管理系统中相应逻辑资源组的资源水位状态。

[81]在一种可选实现方案中：可由前述的逻辑资源组管理器监测第二集群管理系统中逻辑资源组的资源水位状态 ; 在监测到任一逻辑资源组的资源水位状态发生变化的情况下, 逻辑资源组管理器可更新第一集群管理系统中与该逻辑资源组相映射的虚拟节点所对应的资源水位状态。实际应用中，第一集群管理系统中通常存在用于维护各个节点上资源水位状态的接口 APL 基于此，逻辑资源组管理器在监测到某个逻辑资源组的资源水位状态发生变化的情况下，可触发与该逻辑资源组映射的虚拟节点调用这类接口 APL 以更新第一集群管理系统中为该虚拟节点所维护的资源水位状态。

[82]可以理解的是，本实施例中，第一集群管理系统中的虚拟节点并不占用物理资源，因此，第一集群管理系统中将不再为虚拟节点记录实际的资源水位状态，而是通过前述的映射操作，将逻辑资源组的资源水位状态映射到相对应的虚拟节点上。这样，在第一集群管理系统中，虚拟节点的资源水位状态，实质透出的即为与其相映射的逻辑资源组的资源水位状态。

[83]在此基础上，本实施例中进一步提出：在用户在第一集群管理系统中提交任务需求的过程中，可向用户展示各虚拟节点所对应的资源水位状态，以供用户基于资源水位状态在任务需求指定出所需使用的虚拟节点，作为前述目标虚拟节点。

[84]除此之外，本实施例中为虚拟节点所维护的资源水位状态，还可作为第一集群管理系统自身原生调度逻辑中的一项参考依据，以在任务需求中未指定虚拟节点的情况下, 保证为任务需求所命中的目标虚拟节点能够符合任务需求中所期望使用的资源规格，进而保证第二集群管理系统能够将该任务需求相对应的工作任务调度至资源水位足够的逻辑资源组中。

[85]本实施例中为虚拟节点所维护的资源水位状态，还可作为第一集群管理系统中的运维依据，从而支持第一集群管理系统作为统一的运维入口，来实现对所覆盖的各个集群的运维工作。

[86]进一步地，本实施例中还提出，第一集群管理系统除了可支持按照任务需求向各类集群管理系统提交工作任务之外，还可支持监测对外所提交的各工作任务的执行状态。

[87]为此，本实施例中，以目标虚拟节点为例，目标虚拟节点可从第二集群管理系统中获取已提交的工作任务的执行状态；利用目标虚拟节点按照获取到的工作任务的执行状态，更新目标容器组的执行状态。在此基础上，第一集群管理系统可按照目标容器组的状态信息，更新任务需求对应的执行状态，以供用户查询。

[88]参考图 3 , 承接前文提供的示例性实现方式，可由第一集群管理系统中的与自定义工作负载资源关联的控制器，按照监测到目标容器组的状态信息，更新自定义工作负载资源所对应的执行状态。另外，第一集群管理系统可支持用户通过输入查询命令，来针对单个已提交的任务需求（例如，可实现为自定义工作负载资源）进行执行状态的查询，也可针对多个已提交的任务需求进行批量查询，在此不做限定。

[89]在一种示例性的实际应用方案中：目标虚拟节点可根据从第二集群管理系统中监测到的工作任务的执行状态，更新该工作任务对应的目标容器组的状态字段中记录的字段值，以实现更新目标容器组的执行状态。前述为第二集群管理系统所设置的自定义工作负载资源关联的控制器在监测到目标容器组中的状态字段发生字段值变化后，可更新用户所创建出的相应自定义工作负载资源中状态字段中记录的字段值，以实现更新该自定义工作负载资源的执行状态。

[90]另外，参考图 3 , 本实施例中，第一集群管理系统还在所需覆盖的各集群上所采用的集群管理系统中部署有代理组件。还是以目标集群上所采用的第二集群管理系统为例, 参考图 3 , 第二集群管理系统中的代理组件，可与第二集群管理系统中的各中原生组件通信连接，以从这些原生组件中获取第二集群管理系统所划分出的各逻辑资源组的资源水位状态以及工作任务的执行状态等信息。另夕卜，这些原生组件中包含第二集群管理系统中的原生调度器，这样，第一集群管理系统中的目标虚拟节点可向第二集群管理系统中的代理组件提交工作任务，而该代理组件可将接收到的工作任务转交至第二集群管理系统中的原生调度器，以使该原生调度器将工作任务调度至前述的目标逻辑资源组中执行。

[91]应当理解的是，考虑到不同类型的集群管理系统中原生组件所需的交互逻辑存在差异，因此，本实施例中，可为不同类型的集群管理系统设计不同的代理组件，以保证代理组件与集群管理系统之间的适配性，从而保证第一集群管理系统能够通过代理组件和虚拟节点实现与其它集群管理系统之间的桥接。

[92]基于此，以第一集群管理系统为 Kubernetes系统，第二集群管理系统为 Slurm系统为例，在 Kubernetes系统中提交并监测 Slurm作业的流程大致可描述为以下。

[93] 1、用户在为 Kubernetes系统内创建出与 Slurm对应的自定义工作负载资源。

[94] 2＞该自定义工作负载资源所关联的控制器 Operatr可监测到 Kubernetes系统中出现新的自定义工作负载资源； Operatr可解析出该自定义工作负载资源中包含的信息项，以理解到用户的任务需求，并创建出一个或多个目标容器组，并创建出的目标容器组内部指定所需要调度到的目标虚拟节点。

[95] 3. 目标虚拟节点为调度到本节点的目标容器组创建 Slurm作业，并提交至 Slurm集群中的代理组件；目标虚拟节点还可按照固定的时间间隔，向 Slurm集群中的代理组件请求查询该 Slurm作业的执行状态，并同步更新目标容器组的执行状态。目标虚拟节点还可负责通过 Slurm集群中的代理组件读取到该 Slurm作业的日志内容。

[96] 4＞前述的 Operator可监测目标容器组的执行状态（例如，完成 Completed＞成功 Succeeded＞失败 Fail等状态），并同步更新前述用户所创建出的自定义工作负载资源的执行状态。

[97]综上，本实施例中，不仅可支持在第一集群管理系统中提交各种类型的工作任务，还可支持在第一集群管理系统中监测已提交的各工作任务的执行状态，以及还可支持在第一集群管理系统中间接透出所覆盖各集群中的物理资源使用情况。这可使得第一集群管理系统能够施展自身的灵活性和自动化能力。

[98]以下提供几种本实施例的调度方法所适用的示例性应用场景。

[99]在一种示例性的应用场景中：第一集群上采用 Kubernetes系统作为调度及资源管理的系统，第一集群不是高性能计算集群。当用户需要处理一项 AI推理工作时，第一集群中的物理资源不足以支持完成该 AI推理工作。这种情况下，即可通过本实施例提供的调度方法，将第二集群 (是高性能计算集群)作为第一集群的一个外部集群。假设该外部集群上采用的是 Slurm系统作为调度及资源管理的系统，该 Slurm系统可按照本实施例提供的调度方法桥接至该 Kubernetes系统上。

[100]在该示例性的应用场景中，用户可在 Kubernetes 系统提交任务需求，基于本实施例提供的调度方法， Kubernetes系统可通过虚拟节点向该外部集群上的 Slurm系统提交 Slurm作业，以使该 Slurm系统将该 Slurm作业调度至该虚拟节点对应的分区 ( Partition ) 中。

[101]可知，基于本实施例提供的调度方法，可将用户需要处理的 AI推理工作无障碍地调度至该外部集群上，这样，可在用户无感知的情况下，借用该外部集群的物力资源来处理该 AI推理工作。

[102]在另一种示例性的应用场景中， Kubernetes系统不纳管任何物理集群，而是仅作为控制面。多个物理集群可保留各自所采用的集群管理系统，且这些集群管理系统可按照本实施例提供的调度方法，桥接至该 Kubernetes系统。基于此，用户可在该 Kubernetes 系统中提交任务需求，该 Kubernetes系统可通过进行容器组创建及调度而将该任务需求调度至合适的虚拟节点上，而通过桥接，该虚拟节点可向相应物理集群上的集群管控系统提交工作任务，从而实现将工作任务调度至该物理集群上的相应逻辑资源组上。

[103]可知，基于本实施例提供的调度方法，可通过 Kubernetes 系统灵活地将用户提交的任务需求调度至合适的物理集群，并在物理集群中进一步调度至合适的逻辑资源组中, 以完成处理任务需求。

[104]应当理解的是，上述的应用场景仅是示例性的，本实施例并不限于此，本实施例提供的调度方法还可适用于其它应用场景，在此不做更多示例。

[105]需要说明的是，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如 101、 102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另夕卜，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的 “第一”、 “第二 ”等描述，是用于区分不同的集群、集群管理系统等，不代表先后顺序，也不限定 “第一 ”和 “第二 ”是不同的类型。

[106]图 5 为本公开另一示例性实施例提供的一种集群管理系统的结构示意图。如图 5 所示，该集群管理系统中可包括：管控组件 50及虚拟节点。为便于描述，以下将图 5 将该集群管理系统描述为第一集群管理系统，本实施例中，第一集群管理系统是基于容器的，在目标集群上采用的第二集群管理系统中所划分出的逻辑资源组，可映射为第一集群管理系统中的虚拟节点。

[107]其中，管控组件 50可用于为用户在所述第一集群管理系统中提交的任务需求，创建目标容器组；将所述目标容器组，调度至符合所述任务需求的目标虚拟节点 60; 若所述目标虚拟节点 60与所述第二集群管理系统中所划分出的目标逻辑资源组相映射，则可向所述第二集群管理系统提交满足所述任务需求的工作任务，以使所述第二集群管理系统将所述工作任务调度至所述目标集群中的所述目标逻辑资源组中执行；其中，所述工作任务符合所述第二集群管理系统所要求的任务格式。

[108]在一可选实施例中，管控组件 50在为用户在所述第一集群管理系统中提交的任务需求，创建目标容器组时，可具体用于：响应于监测到所述用户基于所述任务需求创建出自定义工作负载资源，为所述自定义工作负载资源创建目标容器组；其中，所述自定义工作负载资源中包含有所述第二集群管理系统所要求的任务格式中所需的信息项。

[109]在一可选实施例中，管控组件 50中可包含与所述自定义工作负载资源关联的控制器 51; 控制器 51可具体用于：监测所述第一集群管理系统中所出现的自定义工作负载资源；为所监测到的自定义工作负载资源创建目标容器组。

[110]在一可选实施例中，控制器 51还可具体用于：在所述目标容器组中指定所需调度到的目标虚拟节点，以将所述目标容器组调度至所述目标虚拟节点上。

[111]在一可选实施例中，管控组件 50中还可包含逻辑资源组管理器 52, 逻辑资源组管理器 52可用于：监测所述第二集群管理系统中逻辑资源组的增删事件；按照监测到的增删事件，在所述第一集群管理系统中创建 /删除虚拟节点。

[112]在一可选实施例中，逻辑资源组管理器 52还可用于：监测所述第二集群管理系统中逻辑资源组的资源水位状态；在监测到任一逻辑资源组的资源水位状态发生变化的情况下，更新所述第一集群管理系统中与所述逻辑资源组相映射的虚拟节点所对应的资源水位状态。

[113]在一可选实施例中，管控组件 50还可用于：在所述用户在所述第一集群管理系统中提交所述任务需求的过程中，向所述用户展示各虚拟节点所对应的资源水位状态，以供所述用户基于资源水位状态在所述任务需求中指示所需使用的虚拟节点。

[114]在一可选实施例中，第二集群管理系统中设置有用于与所述第一集群管理系统通信的代理组件 70; 目标虚拟节点 60可用于：基于所述任务需求，生成符合所述第二集群管理系统所要求的任务格式的工作任务，所述工作任务指示在所述目标逻辑资源组中执行；将所述工作任务提交至所述第二集群管理系统中的所述代理组件 70, 以使所述代理组件 70将所述工作任务提交至所述第二集群管理系统中的任务调度器进行任务调度。

[115]在一可选实施例中，目标虚拟节点 60还可用于：从所述第二集群管理系统中获取所述工作任务的执行状态；按照获取到的所述工作任务的执行状态，更新所述目标容器组的执行状态；控制器 51还可用于：按照所述目标容器组的状态信息，更新所述任务需求对应的执行状态，以供所述用户查询。

[116]在一可选实施例中，除所述目标集群外，还存在其它集群；其它集群上所采用的集群管理系统中所划分出的逻辑资源组，在所述第一集群管理系统中也映射为虚拟节点, 以支持所述第一集群管理系统向其它集群上所采用的集群管理系统提交相应任务格式的工作任务，以使工作任务调度至其它集群中的逻辑资源组中执行。

[117]在一可选实施例中，所述第二集群管理系统采用 Slurm系统、负载共享调度系统或便携批处理系统，所述目标集群采用高性能计算集群。

[118]在一可选实施例中，所述目标容器组不占用物理资源，所述第一集群管理系统中的虚拟节点也不占用物理资源。

[119]进一步，图 5 中仅示意性给出部分组件，并不意味着该集群管理系统只包括图 5 所示组件。该集群管理系统中所涉及到的各组件部署在该集群管理系统中的容器中即可。

[120]值得说明的是，上述关于集群管理系统各实施例中的技术细节，可参考前述的方法实施例中关于第一集群管理系统的相关描述，为节省篇幅，在此不再赘述，但这不应造成本公开保护范围的损失。

[121]相应地，本公开实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中的各步骤。

[122]相应地，本公开实施例还提供一种计算机程序产品，其所包含的计算机程序被执行时能够实现上述方法实施例中的各步骤。

[123]本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、 CD-ROM. 光学存储器等）上实施的计算机程序产品的形式。

[124]本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和 /或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和 /或方框、以及流程图和 /或方框图中的流程和 /或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的装置。

[125]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能。

[126]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的步骤。

[127]还需要说明的是，术语 “包括”、 “包含 ”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句 “包括一个 ..... ”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

[128]需要说明的是，本公开所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

[129]以上所述仅为本公开的实施例而已，并不用于限制本公开。对于本领域技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

权利要求书

1、一种调度方法，适用于基于容器的第一集群管理系统；目标集群上采用的第二集群管理系统所划分出的逻辑资源组，映射为所述第一集群管理系统中的虚拟节点，所述方法包括：为用户在所述第一集群管理系统中提交的任务需求，创建目标容器组；将所述目标容器组，调度至符合所述任务需求的目标虚拟节点；若所述目标虚拟节点与所述第二集群管理系统中所划分出的目标逻辑资源组相映射，则向所述第二集群管理系统提交满足所述任务需求的工作任务，以使所述第二集群管理系统将所述工作任务调度至所述目标集群中的所述目标逻辑资源组中执行；其中，所述工作任务符合所述第二集群管理系统所要求的任务格式。

2、根据权利要求 1 所述的方法，其中，为用户在所述第一集群管理系统中提交的任务需求，创建目标容器组，包括：响应于监测到所述用户基于所述任务需求创建出自定义工作负载资源，为所述自定义工作负载资源创建目标容器组；其中，所述自定义工作负载资源中包含有所述第二集群管理系统所要求的任务格式中所需的信息项。

3、根据权利要求 2所述的方法，其中，所述第一集群管理系统中设置有与所述自定义工作负载资源关联的控制器；响应于监测到所述用户基于所述任务需求创建出自定义工作负载资源，为所述自定义工作负载资源创建目标容器组，包括：利用所述控制器监测所述第一集群管理系统中所出现的自定义工作负载资源；利用所述控制器为所监测到的自定义工作负载资源创建目标容器组。

4、根据权利要求 3所述的方法，其中，将所述目标容器组，调度至符合所述任务需求的目标虚拟节点，包括：利用所述控制器在所述目标容器组中指定所需调度到的目标虚拟节点，以将所述目标容器组调度至所述目标虚拟节点上。

5、根据权利要求 1 所述的方法，其中，所述第一集群管理系统中设置有逻辑资源组管理器，所述方法还包括：利用所述逻辑资源组管理器监测所述第二集群管理系统中逻辑资源组的增删事件; 按照监测到的增删事件，在所述第一集群管理系统中创建 /删除虚拟节点。

6、根据权利要求 5所述的方法，还包括：利用所述逻辑资源组管理器监测所述第二集群管理系统中逻辑资源组的资源水位状态; 在监测到任一逻辑资源组的资源水位状态发生变化的情况下，更新所述第一集群管理系统中与所述逻辑资源组相映射的虚拟节点所对应的资源水位状态。

7、根据权利要求 6所述的方法，还包括：在所述用户在所述第一集群管理系统中提交所述任务需求的过程中，向所述用户展示各虚拟节点所对应的资源水位状态，以供所述用户基于资源水位状态在所述任务需求中指示所需使用的虚拟节点，作为所述目标虚拟节点。

8、根据权利要求 1 所述的方法，其中，所述第二集群管理系统中设置有用于与所述第一集群管理系统通信的代理组件；向所述第二集群管理系统提交满足所述任务需求的工作任务，包括：利用所述目标虚拟节点基于所述任务需求，生成符合所述第二集群管理系统所要求的任务格式的工作任务，所述工作任务指示在所述目标逻辑资源组中执行；利用所述目标虚拟节点将所述工作任务提交至所述第二集群管理系统中的所述代理组件，以使所述代理组件将所述工作任务提交至所述第二集群管理系统中的任务调度器进行任务调度。

9、根据权利要求 1所述的方法，还包括：利用所述目标虚拟节点从所述第二集群管理系统中获取所述工作任务的执行状态; 利用所述目标虚拟节点按照获取到的所述工作任务的执行状态，更新所述目标容器组的执行状态；按照所述目标容器组的状态信息，更新所述任务需求对应的执行状态，以供所述用户查询。

10、根据权利要求 1所述的方法，其中，除所述目标集群外，还存在其它集群；其它集群上所采用的集群管理系统中所划分出的逻辑资源组，在所述第一集群管理系统中也映射为虚拟节点，以支持所述第一集群管理系统向其它集群上所采用的集群管理系统提交相应任务格式的工作任务，以使工作任务调度至其它集群中的逻辑资源组中执行。

11、根据权利要求 1或 10所述的方法，其中，所述第二集群管理系统采用 Slurm 系统、负载共享调度系统或便携批处理系统，所述目标集群采用高性能计算集群。

12、根据权利要求 1所述的方法，其中，所述目标容器组不占用物理资源，所述第一集群管理系统中的虚拟节点也不占用物理资源。

13、一种集群管理系统，其中，所述集群管理系统是基于容器的，目标集群上采用的第二集群管理系统所划分出的逻辑资源组，映射为所述集群管理系统中的虚拟节点 , 所述集群管理系统用于执行权利要求 1-12任一项所述的调度方法，以基于用户在所述集群管理系统提交的任务需求，向所述第二集群管理系统提交符合所需任务格式的工作任务，以使所述工作任务在所述目标集群中的目标逻辑资源组中执行。

14、一种存储计算机程序的计算机可读存储介质，其中，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求 1-12任一项所述的调度方法。

15、一种计算机程序产品，包括计算机程序，其中，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求 1-12任一项所述的调度方法。