WO2012113290A1 - 基因计算系统和方法 - Google Patents

基因计算系统和方法 Download PDF

Info

Publication number
WO2012113290A1
WO2012113290A1 PCT/CN2012/071039 CN2012071039W WO2012113290A1 WO 2012113290 A1 WO2012113290 A1 WO 2012113290A1 CN 2012071039 W CN2012071039 W CN 2012071039W WO 2012113290 A1 WO2012113290 A1 WO 2012113290A1
Authority
WO
WIPO (PCT)
Prior art keywords
task
computing
working node
gene
calculation
Prior art date
Application number
PCT/CN2012/071039
Other languages
English (en)
French (fr)
Inventor
陈天健
龙灿
杜睿
李雯榕
陈炎
吴家胜
王俊
Original Assignee
深圳华大基因科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳华大基因科技有限公司 filed Critical 深圳华大基因科技有限公司
Publication of WO2012113290A1 publication Critical patent/WO2012113290A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/483—Multiproc

Abstract

提供了一种基因计算系统和方法。其中，该基因计算系统包括：任务调度器和工作节点，其中，任务调度器用于结合工作节点的资源使用率向工作节点分配计算任务；工作节点用于接收任务调度器分配的计算任务，将计算任务预部署到本地，执行计算任务，并回收计算结果数据。

Description

基因计算系统和方法
优先权信息
本申请请求 2011 年 2 月 22 日向中国国家知识产权局提交的、 专利申请号为 201110042633.5的专利申请的优先权和权益， 并且通过参照将其全文并入此处。 技术领域
本发明涉及生物信息计算领域， 具体而言， 涉及一种基因计算系统和方法。 背景技术
基因研究中计算量主要集中在基因组装和比对运算上， 其中又以基因比对运算为 盛。 现有的基因计算平台釆用例如通用网格引擎（Grid Engine )进行集群作业管理， 虽 然能够满足基本使用要求，但是在应对大量用户并发大量比对类型计算需求时，存在很 多不足， 运行效率有待提高。 发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。 为此， 本发明提供了一种基 因计算系统和方法， 能够显著提高运行效率。
根据本发明的一个方面， 本发明提供了一种基因计算系统。 根据本发明的实施例， 该 基因计算系统包括： 任务调度器和工作节点， 其中， 任务调度器用于结合工作节点的资源 使用率向工作节点分配计算任务； 工作节点用于接收任务调度器分配的计算任务， 将计算 任务预部署到本地， 执行计算任务， 并回收计算结果数据。 根据本发明实施例的基因计算 系统， 能够有效地应对大量用户并发大量基因比对运算， 并且运行效率高、 稳定性好。 此外， 根据本发明的具体示例， 本发明的基因计算系统解决了传统基因计算系统存在的 诸多问题， 例如： 过于重型、 安装配置麻烦， 未对 10密集型的任务进行优化， 基于优先级 模型的调度算法设计在公平性上有明显缺失， 接口复杂且与云计算服务系统结合困难， 系 统于网络存储依赖严重， 导致共享存储故障时， 所有计算任务均受到影响等。
根据本发明的基因计算系统的一个实施例， 任务调度器釆用权重轮询调度算法向工作 节点分配计算任务。
根据本发明的基因计算系统的一个实施例， 任务调度器实时釆集工作节点的资源使用 率， 当接收到计算任务时， 釆用权重轮询调度算法向工作节点分配计算任务。
根据本发明的基因计算系统的一个实施例， 工作节点釆用 ICE通信。
根据本发明的基因计算系统的一个实施例， 任务调度器包括： 任务查询模块， 用于通 过实时资源信息的搜集记录各个工作节点的资源使用率的情况； 任务投递模块， 用于接收 用户投递的计算任务， 发送给控制中心模块； 任务调度模块， 用于根据各工作节点资源情 况对计算任务做全局的投放分配； 控制中心模块， 用于存储获得的信息， 对任务调度器各 个模块进行调度管理， 通过任务调度模块对计算任务做全局的投放分配。
根据本发明的基因计算系统的一个实施例， 任务调度器进一步包括： 日志信息模块， 用于实时收集任务信息记录任务日志。
根据本发明的另一方面， 本发明提供了一种基因计算方法。 根据本发明的实施例， 该 基因计算方法包括： 接收任务调度器分配的计算任务， 计算任务由任务调度器结合工作节 点的资源使用率进行分配； 将计算任务预部署到本地； 执行计算任务； 以及回收计算任务 的计算结果数据。 根据本发明实施例的基因计算方法， 能够有效地应用于大量用户并发的 大量基因比对运算， 并且运行效率高、 稳定性好。
根据本发明的基因计算方法的一个实施例， 任务调度器釆用权重轮询调度算法向工作 节点分配计算任务。
根据本发明的基因计算方法的一个实施例， 釆用 ICE进行计算任务预部署和计算结果 数据回收。
根据本发明的基因计算方法的一个实施例， 对各个计算任务进行并行处理。
根据本发明实施例的基因计算系统和方法， 将计算任务拆分成三个阶段由工作节点执 行， 克服了现有技术没有对 10 ( Input/Output,输出 /输入） 密集型的任务进行优化的问题， 提高了系统的运行效率和稳定性。 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得 明显， 或通过本发明的实践了解到。 附图说明
本发明的上述和 /或附加的方面和优点从结合下面附图对实施例的描述中将变得明 显和容易理解， 其中：
图 1示出根据本发明一个实施例的基因计算系统的结构图；
图 2示出根据本发明一个实施例的任务调度器釆用的调度算法的示意图； 图 3示出根据本发明一个实施例的任务调度器的结构示意图；
图 4示出根据本发明一个实施例的工作节点的并行执行模型示意图；
图 5示出根据本发明一个实施例的工作节点的结构图；
图 6示出根据本发明一个实施例的基因计算方法的流程图；
图 7示出根据本发明一个实施例的基因计算方法的预部署流程图；
图 8示出根据本发明一个实施例的基因计算方法的计算流程图； 以及
图 9示出根据本发明一个实施例的基因计算方法的回收流程图。 具体实施方式
下面将结合实施例对本发明的方案进行解释。 本领域技术人员将会理解， 下面的实施 例仅用于说明本发明， 而不应视为限定本发明的范围。 所述实施例的示例在附图中示出， 其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。 下面通过参考附图描述的实施例是示例性的，仅用于解释本发明， 而不能理解为对本发 明的限制。
图 1示出根据本发明一个实施例的基因计算系统的结构图。 如图 1所示， 该基因计算 系统包括任务调度器 11和工作节点 12。 根据本发明的实施例， 任务调度器 11负责分发计 算任务、 监控工作节点 12的状态并在全局优化计算任务的调度。 根据本发明的实施例， 工 作节点 12负责启动计算任务、 数据的部署和回收。 任务调度器 11结合工作节点 12的资源 使用率向工作节点 12分配计算任务； 工作节点 12接收任务调度器 11分配的计算任务， 将 计算任务预部署到本地， 执行计算任务， 回收计算结果数据。 任务调度器 11接收用户命令 获得计算任务， 将计算任务的相关信息存储在用户任务信息存储模块 13中， 釆用全局优化 调度算法结合工作节点 12的资源使用率向各个工作节点 12分配计算任务； 工作节点 12接 收计算任务， 进行计算任务预部署， 从数据源获取计算数据部署到本地， 执行计算任务， 完成后将计算结果数据输出。 本领域技术人员可以理解的是， 工作节点 12的数目并不受特 别限制， 可以为一个或者更多个。
上述实施例中， 将计算任务拆分成三个阶段由工作节点执行， 克服了现有技术没有对
10密集型的任务进行优化， 系统于网络存储依赖严重， 导致共享存储故障时所有计算任务 均受到影响的问题， 提高了系统的运行效率和稳定性。 各个计算任务之间可以并行处理， 也提高了系统的运行效率。 而任务调度器对所有的计算任务进行全局优化调度分配给各个 工作节点， 可以提升整个系统的运行处理效率。
图 2 示出根据本发明一个实施例的任务调度器釆用的调度算法的示意图。 根据本发明 的实施例， 任务调度器可以釆用权重轮询调度算法（ Weighted Round-Robin ) 向工作节点分 配计算任务。 每个用户 （用户 1、 用户 2, ...... , 用户 N ) 的所有任务釆用按照优先级别排 序的优先队列算法进行投放分配。 根据每个工作节点的处理能力为每个工作节点分配不同 的权值， 使其能够接受相应权值数的任务请求。 此算法与基因计算系统紧密结合， 克服了 现有技术中基于优先級模型的调度算法设计在公平性上有明显缺失的问题， 对计算任务进 行公平的投放分配。
图 3示出根据本发明一个实施例的任务调度器的结构示意图。 如图 3所示， 根据本发 明的实施例， 任务调度器可以包括控制中心模块 31、 任务查询模块 32、 任务投递模块 33、 和任务调度模块 34。 根据本发明的具体示例， 该任务调度器可以进一步包括日志信息模块 35。 控制中心模块 31是任务调度器的核心， 用于存储获得的信息， 对各个模块进行调度管 理， 负责根据调度算法， 向工作节点分配计算任务。 任务查询模块 32通过实时资源信息的 搜集， 记录着各个工作节点的资源使用率的情况。 当用户通过前端 Web服务器投递任务时， 任务投递模块 33接收计算任务， 并发送给控制中心模块 31。 任务调度模块 34根据各工作 节点资源情况对计算任务做全局的投放分配； 控制中心模块 31根据各工作节点资源情况， 通过任务调度模块 34对计算任务做全局的投放分配。 日志信息模块 35实时收集任务信息， 记录任务日志。 图 4示出根据本发明一个实施例的工作节点的并行执行模型示意图。 如图 4所示， 根 据本发明的实施例， 工作节点将各个计算任务（例如， 任务 A、 任务 B和任务 C )拆分成 三个阶段进行执行，分别为数据预部署（ Prefetch ),计算（ Compute ),和结果数据回收（ Store )。 而各个计算任务之间可以并行处理。 例如， 在进行任务 A的计算时可以执行任务 B的数据 预部署， 可以充分利用系统的性能， 提高系统的运行效率。
在上述实施例中， 通过将计算任务分为预部署到本地、 执行计算和回收结果数据三个 阶段， 并釆用图 4所示的模型将三个阶段并行， 实现了 10和计算的并行化。 这样做可以充 分利用 NFS( Network File System,网络文件系统）带宽，由于预部署和数据回收的 10 Pattern (模式）较为单纯， 且为连续数据读写， 有利于发挥网络存储的性能； 预先取到本地的任 务后， 其状态即与 NFS存储设备无关， 即便 NFS网络设备故障， 当前任务仍然可以继续运 行下去。
根据本发明的一个实施例， 工作节点可以釆用 ICE通信， 使调度引擎能够很好的与云 计算服务系统结合。 ICE ( Internet Communications Engine, 因特网通信引擎）是一款高性能 的中间件， 支持分布式的部署管理， 消息中间件， 以及网格计算等等。 其主要优点有： 面 向对象的语义， 所有的操作调用都使用迟后绑定； 支持同步和异步的消息传递， 能够提供 同步和异步的操作调用和分派， 且能够提供发布一一订阅消息传递机制； 与硬件架构无关， 客户端及服务器与底层的硬件架构屏蔽开来； 对于应用代码而言， 像字节序和填充这样的 问题都被隐藏； 与上层的编程语言无关， 客户端和服务器可以被分别部署， 所用语言也可 以不同， 支持 C++、 Java语言， 客户端支持 PHP ( Hypertext Preprocessor, 超級文本预处理 语言）语言； 与釆用的操作系统无关， ICE完全是可移植的， 同样的源码能够在 Windows, Linux、 MacOS和 UNIX上编译和运行； 完全是线程化的， 其 API ( Application Programming Interface, 应用程序编程接口）是线程安全的。
图 5示出才艮据本发明一个实施例的工作节点的结构图。 如图 5所示， 工作节点通过监 控器（Observer ) 51监控整个工作节点的状态； 通过准备（Prepare ) 53获取分配的计算任 务， 进行预部署； 通过运行（Run ) 54获取准备就绪的计算任务， 发送给容器（ Container ) 52进行计算； 计算结果由代理（ Agent ) 55通过 ICE通信 56进行网络存储。
图 6示出根据本发明一个实施例的基因计算方法的流程图。
如图 6所示， 在步骤 602, 任务调度器接收用户的计算任务， 结合工作节点的资源使用 率分配计算任务。 例如， 任务调度器对所有的计算任务进行全局优化调度分配给各个工作 节点。
在步骤 604, 工作节点接收任务调度器分配的计算任务。
在步骤 606, 工作节点将计算任务预部署到本地。
在步骤 608 , 工作节点执行计算任务。
在步骤 610, 工作节点回收计算任务的计算结果数据。
上述实施例中， 将计算任务拆分成三个阶段由工作节点执行， 克服了现有技术没有对
10密集型的任务进行优化， 系统于网络存储依赖严重， 导致共享存储故障时所有计算任务 均受到影响的问题， 提高了系统的运行效率和稳定性。 各个计算任务之间可以并行处理， 也提高了系统的运行效率。 而任务调度器对所有的计算任务进行全局优化调度分配给各个 工作节点， 可以提升整个系统的运行处理效率。
图 7示出根据本发明一个实施例的基因计算方法的预部署流程图。
如图 7所示， 在步骤 701 , 工作节点从任务调度器取任务。
在步骤 702, 判断 DISK (磁盘） 资源是否满足， 如果不满足， 则等待， 如果满足则执 行步骤 703。
在步骤 703, 在工作节点资源满足的情况下， 调用预取接口， 根据任务的资源地址预取 任务， 将任务相关资源拷贝到本地例如 /Prefetch目录下。 如果预取任务失败， 则置任务状态 为错误， 进行清除（步骤 704 ); 如果预取任务成功， 则置任务状态为就绪， 任务预部署结 束。
图 8示出根据本发明一个实施例的基因计算方法的计算流程图。
在步骤 801 , 在一定时间间隔内查询记录表中计算任务的状态。
在步骤 802,判断是否有处于 "就绪 "（ Ready )状态的任务，如果没有，则休眠等待（ 807 ), 如果有， 则把第一个处于 Ready状态的任务取出。
在步骤 803, 确定当前系统剩下资源是否符合该任务运行所需资源， 如果符合， 则创建 一线程去执行处理该任务， 如果不符合， 则休眠等待（ 807 ), 每隔一段时间再重新比较一 次。
在步骤 804, 开始执行计算任务。
在步骤 805, 检查计算过程是否存在错误， 如果存在错误， 则进行处理。
在步骤 806 , 进行计算结果回收。
图 9示出根据本发明一个实施例的基因计算方法的回收流程图。
在步骤 901 , 遍历记录表， 检查计算任务状态。
在步骤 902, 判断是否有计算任务运行结束， 如果没有， 则返回步骤 901 , 如果有则执 行步骤 903。
在步骤 903, 对运行结束的计算任务回收计算结果数据。
在步骤 904, 回收结束后删除该任务。
在步骤 905, 判断是否需要删除库（Lib ), 如果是， 则删除库（906 ), 否则结束。 上述实施例中， 在加速云计算产品市场化、 实用化的背景下， 发明人基于前期积累的 经验， 在云计算产品中应用基因计算系统， 解决了： （1 ) 系统过于重型， 安装配置麻烦； ( 2 )没有对 10密集型的任务进行优化； （3 )基于优先級模型的调度算法设计在公平性上 有明显缺失； （4 )接口复杂， 与云计算服务系统结合困难； （5 ) 系统于网络存储依赖严重， 导致共享存储故障时， 所有计算任务均受到影响等问题。 工业实用性
本发明的基因计算系统和方法， 能够有效地应用于大量用户并发大量基因比对运算， 并且相对于传统基因计算系统和方法， 其运行效率显著提高, 尽管本发明的具体实施方式已经得到详细的描述， 本领域技术人员将会理解。 根据已 经公开的所有教导， 可以对那些细节进行各种修改和替换， 这些改变均在本发明的保护范 围之内。 本发明的全部范围由所附权利要求及其任何等同物给出。
在本说明书的描述中， 参考术语 "一个实施例"、 "一些实施例"、 "示意性实施例"、 "示 例"、 "具体示例"、 或 "一些示例" 等的描述意指结合该实施例或示例描述的具体特征、 结 构、 材料或者特点包含于本发明的至少一个实施例或示例中。 在本说明书中， 对上述术语 的示意性表述不一定指的是相同的实施例或示例。 而且， 描述的具体特征、 结构、 材料或 者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

Claims

权利要求书
1、 一种基因计算系统， 其特征在于， 包括： 工作节点和任务调度器，
其巾，
所述任务调度器用于结合所述工作节点的资源使用率向所述工作节点分配计算任务； 以及
所述工作节点用于接收所述任务调度器分配的计算任务， 将所述计算任务预部署到本 地， 执行所述计算任务， 并回收计算结果数据。
2、 根据权利要求 1所述的基因计算系统， 其特征在于， 所述任务调度器釆用权重轮询 调度算法向所述工作节点分配计算任务。
3、 根据权利要求 2所述的基因计算系统， 其特征在于， 所述任务调度器实时釆集工作 节点的资源使用率， 当接收到计算任务时， 釆用权重轮询调度算法向工作节点分配计算任 务。
4、 根据权利要求 1所述的基因计算系统， 其特征在于， 所述工作节点釆用 ICE通信。
5、 根据权利要求 1所述的基因计算系统， 其特征在于， 所述任务调度器包括： 任务查询模块， 用于通过实时资源信息的搜集记录各个工作节点的资源使用率的情况； 任务投递模块， 用于接收用户投递的计算任务， 发送给控制中心模块；
任务调度模块， 用于根据各工作节点资源情况对计算任务做全局的投放分配； 以及 控制中心模块， 用于存储获得的信息， 对任务调度器各个模块进行调度管理， 通过任 务调度模块对计算任务做全局的投放分配。
6、 根据权利要求 5所述的基因计算系统， 其特征在于， 所述任务调度器进一步包括： 日志信息模块， 用于实时收集任务信息记录任务日志。
7、 一种基因计算方法， 其特征在于， 包括：
接收任务调度器分配的计算任务， 所述计算任务由所述任务调度器结合工作节点的资 源使用率进行分配；
将所述计算任务预部署到本地；
执行所述计算任务； 以及
回收所述计算任务的计算结果数据。
8、 根据权利要求 7所述的基因计算方法， 其特征在于， 所述任务调度器釆用权重轮询 调度算法向工作节点分配计算任务。
9、 根据权利要求 7所述的基因计算方法， 其特征在于， 釆用 ICE进行计算任务预部署 和计算结果数据回收。
10、 根据权利要求 7 所述的基因计算方法， 其特征在于， 对各个所述计算任务进行并 行处理。
PCT/CN2012/071039 2011-02-22 2012-02-10 基因计算系统和方法 WO2012113290A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2011100426335A CN102222174A (zh) 2011-02-22 2011-02-22 一种基因计算系统和方法
CN201110042633.5 2011-02-22

Publications (1)

Publication Number Publication Date
WO2012113290A1 true WO2012113290A1 (zh) 2012-08-30

Family

ID=44778724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/071039 WO2012113290A1 (zh) 2011-02-22 2012-02-10 基因计算系统和方法

Country Status (2)

Country Link
CN (1) CN102222174A (zh)
WO (1) WO2012113290A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685402A (zh) * 2012-09-17 2014-03-26 联想(北京)有限公司 远程控制资源的方法、服务器和任务发起设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222174A (zh) * 2011-02-22 2011-10-19 深圳华大基因科技有限公司 一种基因计算系统和方法
CN102521050A (zh) * 2011-12-02 2012-06-27 曙光信息产业(北京)有限公司 一种面向cpu和gpu的混合调度方法
CN102495759A (zh) * 2011-12-08 2012-06-13 曙光信息产业(北京)有限公司 一种云计算环境中作业调度的方法
US8751166B2 (en) 2012-03-23 2014-06-10 International Business Machines Corporation Parallelization of surprisal data reduction and genome construction from genetic data for transmission, storage, and analysis
US8812243B2 (en) 2012-05-09 2014-08-19 International Business Machines Corporation Transmission and compression of genetic data
US10353869B2 (en) 2012-05-18 2019-07-16 International Business Machines Corporation Minimization of surprisal data through application of hierarchy filter pattern
US8855938B2 (en) 2012-05-18 2014-10-07 International Business Machines Corporation Minimization of surprisal data through application of hierarchy of reference genomes
US9002888B2 (en) 2012-06-29 2015-04-07 International Business Machines Corporation Minimization of epigenetic surprisal data of epigenetic data within a time series
US8972406B2 (en) 2012-06-29 2015-03-03 International Business Machines Corporation Generating epigenetic cohorts through clustering of epigenetic surprisal data based on parameters
CN103067468B (zh) * 2012-12-22 2016-03-09 深圳先进技术研究院 云调度方法及其系统
CN103699448A (zh) * 2014-01-14 2014-04-02 浪潮(北京)电子信息产业有限公司 一种云计算环境下基于时间期限和预算的调度方法
CN110750362A (zh) * 2019-12-19 2020-02-04 深圳华大基因科技服务有限公司 生物信息的分析方法、装置和存储介质
CN112887407B (zh) * 2021-01-26 2023-01-17 北京百度网讯科技有限公司 用于分布式集群的作业流量控制方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1963763A (zh) * 2005-11-09 2007-05-16 同济大学 网格环境下动态在线式任务调度系统及其调度方法
CN101753461A (zh) * 2010-01-14 2010-06-23 中国建设银行股份有限公司 实现负载均衡的方法、负载均衡服务器以及集群系统
CN102222174A (zh) * 2011-02-22 2011-10-19 深圳华大基因科技有限公司 一种基因计算系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207550B (zh) * 2007-03-16 2010-09-15 中国科学技术大学 负载均衡系统及多种业务实现负载均衡的方法
CN100456703C (zh) * 2007-08-02 2009-01-28 上海交通大学 电力计算网格应用系统
CN101719082B (zh) * 2009-12-24 2013-01-02 中国科学院计算技术研究所 虚拟化计算平台中应用请求调度的方法及其系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1963763A (zh) * 2005-11-09 2007-05-16 同济大学 网格环境下动态在线式任务调度系统及其调度方法
CN101753461A (zh) * 2010-01-14 2010-06-23 中国建设银行股份有限公司 实现负载均衡的方法、负载均衡服务器以及集群系统
CN102222174A (zh) * 2011-02-22 2011-10-19 深圳华大基因科技有限公司 一种基因计算系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685402A (zh) * 2012-09-17 2014-03-26 联想(北京)有限公司 远程控制资源的方法、服务器和任务发起设备
CN103685402B (zh) * 2012-09-17 2017-06-27 联想(北京)有限公司 远程控制资源的方法、服务器和任务发起设备

Also Published As

Publication number Publication date
CN102222174A (zh) 2011-10-19

Similar Documents

Publication Publication Date Title
WO2012113290A1 (zh) 基因计算系统和方法
Wang et al. Optimizing load balancing and data-locality with data-aware scheduling
US9262210B2 (en) Light weight workload management server integration
Vijayakumar et al. Dynamic resource provisioning for data streaming applications in a cloud environment
Wang et al. A three-phases scheduling in a hierarchical cloud computing network
CN109075988B (zh) 任务调度和资源发放系统和方法
Guo et al. Improving mapreduce performance in heterogeneous network environments and resource utilization
US20130198755A1 (en) Apparatus and method for managing resources in cluster computing environment
Fakhfakh et al. Workflow scheduling in cloud computing: a survey
Xu et al. Adaptive task scheduling strategy based on dynamic workload adjustment for heterogeneous Hadoop clusters
CN102915254A (zh) 任务管理方法及装置
JP2012221273A (ja) 動的にリソースを割り当てる方法、システム及びプログラム
WO2013107012A1 (zh) 分布式计算任务处理系统和任务处理方法
Lai et al. Sol: Fast distributed computation over slow networks
Fan et al. Agent-based service migration framework in hybrid cloud
US11455187B2 (en) Computing system for hierarchical task scheduling
Jin et al. Improving resource utilization by timely fine-grained scheduling
CN103716372A (zh) 一种数字图书馆即服务的云计算平台构建方法
CN110958311A (zh) 一种基于yarn的共享集群弹性伸缩系统及方法
Gautam et al. Empirical study of job scheduling algorithms in hadoop MapReduce
Wang et al. Dependency-aware network adaptive scheduling of data-intensive parallel jobs
Li et al. Research and application of server cluster load balancing technology
Shu-Jun et al. Optimization and research of hadoop platform based on fifo scheduler
Haladu et al. Optimizing task scheduling and resource allocation in cloud data center, using enhanced min-min algorithm
Cheng et al. Dynamic resource provisioning for iterative workloads on Apache Spark

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12750212

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12750212

Country of ref document: EP

Kind code of ref document: A1