WO2021004025A1 - 一种基于混合云计算平台的对账系统及其对账方法 - Google Patents

一种基于混合云计算平台的对账系统及其对账方法 Download PDF

Info

Publication number
WO2021004025A1
WO2021004025A1 PCT/CN2019/128190 CN2019128190W WO2021004025A1 WO 2021004025 A1 WO2021004025 A1 WO 2021004025A1 CN 2019128190 W CN2019128190 W CN 2019128190W WO 2021004025 A1 WO2021004025 A1 WO 2021004025A1
Authority
WO
WIPO (PCT)
Prior art keywords
task
data
reconciliation
computing
processing module
Prior art date
Application number
PCT/CN2019/128190
Other languages
English (en)
French (fr)
Inventor
马颜芃
林帅康
刘阳
马健
温书豪
Original Assignee
深圳晶泰科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳晶泰科技有限公司 filed Critical 深圳晶泰科技有限公司
Priority to US16/973,775 priority Critical patent/US20210374814A1/en
Priority to PCT/CN2019/128190 priority patent/WO2021004025A1/zh
Publication of WO2021004025A1 publication Critical patent/WO2021004025A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/04—Billing or invoicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/541—Interprogram communication via adapters, e.g. between incompatible applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0206—Price or cost determination based on market factors

Definitions

  • the present invention belongs to the field of data processing technology, and specifically relates to an account reconciliation system based on a hybrid cloud computing platform and an account reconciliation method.
  • the present invention provides a reconciliation system based on a hybrid cloud computing platform and a reconciliation method thereof, which is suitable for the field of high-performance computing, and combines monitoring and alarm systems to realize the cost of computing resources for multi-cloud service providers. Accounting and actual utilization statistics.
  • An account reconciliation system based on a hybrid cloud computing platform includes:
  • the bill data processing module can be directly obtained through the API interface according to the difference of cloud service providers and the support of the statement interface, or manually download the detailed bill file, or obtain the detailed data through the object storage of the statement file storage. Since each cloud provider has different computing instance types, the number of virtual cores is diverse, and the billing time zone is also inconsistent. It is necessary to calculate the total cost, the cost per instance, and the cost per unit of core hour according to the billing cycle of each cloud service provider. , Unified data information such as total nuclear time;
  • Task data processing module the scheduling system of the computing platform will start, run, complete and other status changes according to actual tasks, and record the task life cycle, CPU consumption, memory consumption and other parameter data in the database.
  • the consuming core time of each computing task and the occupancy time of the scheduled computing instance can be obtained by statistics;
  • Monitoring data processing module the monitoring system of the computing platform will collect the CPU information of each computing cluster, including the total number of CPUs, the number of CPUs used by the task request, the number of CPUs actually used by the task, and form a time series CPU in the database Quantity data. Through the analysis and processing of this time series database, the core time consumed by the computing cluster and the core time actually used by the task can be obtained, and the bill data and task data can be compared.
  • the statistical alarm module through the analysis and integration of the processing data of the above three modules, can obtain the three-party periodic verification table, and also obtain the correspondence between the billing data calculation instance and the task data calculation instance based on the calculation instance id, When the utilization rate meets the benchmark and is consistent with the monitoring data error, the account reconciliation is correct; otherwise, an alarm is issued where the account reconciliation is abnormal. And based on historical reconciliation data, predict the time consumption of the next reconciliation cycle, the unit time cost, etc.
  • the reconciliation method of the reconciliation system based on the hybrid cloud computing platform is specifically coordinated by four modules, and the steps of each module are described below:
  • the bill data processing module completes the access to the cloud provider. Generally, in order to maintain uniformity, it will wait for all cloud vendors’ monthly detailed bills to be generated before triggering the reconciliation system ; Secondly, it will check whether the detailed bills of all supported cloud vendors are complete, and use a unified interface layer to obtain cloud computing total cost, instance cost, total consumed core time and other data information; finally persisted to the database for storage;
  • the task data processing module can be run in real time, or can be synchronized by triggering the reconciliation system.
  • the monitoring data processing module can be run in real time, or can be synchronized by triggering the reconciliation system. First check whether the data in the current cycle has been processed. If not, obtain the number of CRJ cores in the public cloud resource pool at the sequential time point and the number of CRJ cores actually applied for by the calculation task from the collection timing database of the alarm system to obtain the core time of the cycle time Consumption, as the comparison data between the billing cycle and the task cycle
  • this module can obtain the current cycle billing core time data and monitoring calculation pool core time data, task core time data and Monitor the tripartite comparison table of task verification data, bill verification data and task verification data; based on the calculation instance id, obtain the matching calculation instance id data table from the bill processing database and the task processing database; thereby obtaining calculation tasks efficiently and accurately Packing utilization rate and difference range, determine which party has data problems. Based on these data tables to make a consolidated reconciliation view, you can see the cloud provider-level nuclear time consumption, unit cost, and nuclear time utilization efficiency, and estimate the time consumption and budget for the next cycle.
  • the reconciliation method of a reconciliation system based on a hybrid cloud computing platform provided by the present invention has the following technical effects:
  • FIG. 1 is a schematic diagram of the principle of the reconciliation method of the present invention
  • FIG. 2 is a schematic diagram of the structure of the reconciliation system of the present invention.
  • FIG. 3 is a flowchart of the reconciliation system of the present invention.
  • FIG. 4 is a schematic diagram of the docking structure with the outside when the present invention is in use.
  • the reconciliation of computing resources needs to be accurate and efficient, the reconciliation method is flexible, the operation is simple and automated, the reconciliation cycle can be flexibly set, and it supports different time zones. It can be set monthly, quarterly, or based on cloud
  • the vendor’s support is reconciled on a daily basis, or according to different resource types; the result of the reconciliation can guide the application of computing resources in the next cycle, and alarm for abnormal accounting, and you can view abnormal data records .
  • FIG. 1 shows a schematic diagram of the principle of an account reconciliation method of the present invention:
  • the calculation amount core time can be calculated through the calculation instance core number and running time interval of each public cloud platform; and the pool core number can be calculated by the time series of the monitoring data .
  • the actual calculation amount of core hours in this period can be calculated; and through the number of time series task cores of monitoring data, the actual calculation amount of core hours used in this period can be calculated; By monitoring the reconciliation between the actual use of the core time and the task core time, it is determined whether the error range exceeds the threshold.
  • the monitoring data has a certain bias relative to the real data.
  • the utilization rate calculated through the monitoring task verification time and the monitoring application verification time is roughly equal to the utilization rate calculated during the task operation verification time and the billing verification time. relationship. Through the difference between the two utilization rates, determine whether the difference range exceeds the threshold.
  • FIG. 2 shows a schematic structural diagram of the second embodiment of the account reconciliation system of the present invention, including a bill data processing module, a task data processing module, a monitoring data processing module, and a statistical alarm module Four modules.
  • the billing data processing module has the following attributes after billing data processing:
  • the billing processing module can either periodically call the billing API of the public cloud service provider for billing data processing; it can also periodically process from the detailed bill file stored in the object store such as S3; it can also download the corresponding The monthly bill detail file manually triggers bill processing, and dumps the processed data in the database.
  • the task data processing module is to obtain the relevant data of the task operation from the time point of the status feedback from the start of the task to the end of the task.
  • the records after processing and statistics have the following attributes:
  • the calculation amount of the audit time can be calculated.
  • the cost range of the calculation task is estimated by the unit price of the check, which corresponds to the user who submitted the task; the calculation instance ID is used as the reconciliation identification code of the calculation amount.
  • the monitoring data processing module periodically obtains the number of real-time computing resource pool time series cores from the monitoring collection database, runs the number of time series cores of the container in real time, and calculates the number of task cores actually packed.
  • the calculation amount of the resource pool core time and task core time can be estimated. Based on the historical fluctuation data of the resource pool, the data of the total number of computing cores required in a short period of time can also be predicted, which facilitates the estimation of the purchase limit for the public cloud computing instance in the next cycle.
  • a detailed reconciliation table and a tripartite reconciliation form with the calculation instance ID as the reconciliation identifier are generated by the statistical alarm module.
  • the actual calculation amount of the calculation task and the calculation amount of the applied calculation instance have a certain difference, and the core time utilization rate of the calculation instance is taken as the calculation flow data.
  • It is judged whether there is an error in one party's core time data by checking whether the difference between the bill core time and the monitoring resource pool core time, the task core time and the monitoring task container core time exceeds a preset threshold of 2%.
  • a detailed data comparison table needs to be generated to compare the abnormal time point data; if it is within the normal range, a calculation volume forecast table for the next cycle of calculation instance purchases is generated. Then, the utilization ratio of the task packing is obtained by the ratio of the task verification time to the bill verification time, to see if it is consistent with the verification time utilization rate between the monitoring verification time, and the verification time utilization rate of the calculation instance is used as a review and reconciliation. Through the reconciliation system, the actual use cost and actual use efficiency of the calculation task finally reach the preset value and know well.
  • a host and database can be applied for on the cloud and the relevant operation authority can be attached, and then it can be run, as shown in Figure 4.
  • a reconciliation report can be formed through the database generated by the reconciliation system.

Abstract

一种基于混合云计算平台的对账系统及其对账方法，所述系统包括：账单数据处理模块，从公有云账单API或下载的账单详细文件处理数据；监控数据处理模块，处理从计算管理系统资源池采集资源池和任务资源请求的数据；任务数据处理模块，处理从计算调度系统的任务数据库中统计任务消耗资源核时；统计告警模块，结合以上三个模块所得出的资源数据表，得到计算任务装箱的利用率和差异范围，实现任务核时的对账告警和预测。所述系统通过集成各大公有云厂商的账单API实现全球计算实例单价的管控；针对高性能计算任务计算力成本的校验核算，和计算力利用率的检测判断；可以通过对大量现有任务的计算力需求，对未来计算力的购买具有指导意义。

Description

一种基于混合云计算平台的对账系统及其对账方法
技术领域
[0001] 本发明属于数据处理技术领域， 具体涉及一种基于混合云计算平台的对账系统 及其对账方法。
背景技术
[0002] 现今企业服务托管在公有云上， 并通过云服务提供商购买大量计算资源替代自 建本地搭建计算服务器的做法越发普遍。 而在直接对接单个云服务提供商时， 可以直接通过对应云服务提供商账单系统直接获取每月使用成本， 并可以通过 手动下载账单详情文件计算出各个服务的使用量和成本， 以及计算池的使用量 和成本。 该技术存在以下问题：
[0003] ( 1) 这种对账与单个云服务提供商架构绑定较强， 而对跨云以及本地计算需 要单独分别手动核算， 从而增加不同云服务提供商时的成本评估难度。
[0004] (2) 不同的云服务提供商账单产品的数据结构和服务名称无统一标准， 导致 用户在统一核算很难对计算结果聚合， 无法对多云服务的历史数据进行分析处 理。
[0005] (3) 由于计算任务调度系统的资源装箱以及弹性伸缩导致的空跑问题， 实际 计算资源使用上存在一定的损耗， 无法获知实际计算任务运行需要申请的计算 资源， 缺乏对实际任务对应的成本控制。
发明概述
技术问题
问题的解决方案
技术解决方案
[0006] 针对上述技术问题， 本发明提供一种基于混合云计算平台的对账系统及其对账 方法， 适用于高性能计算领域， 结合监控和告警系统， 实现多云服务提供商的 计算资源成本核算和实际利用率统计。
[0007] 所采用的技术方案为： [0008] 一种基于混合云计算平台的对账系统， 包括：
[0009] 账单数据处理模块， 根据云服务提供商的区别和对账单接口的支持， 可以直接 通过 API接口获取， 或者手动下载账单详细文件， 或者通过账单文件存储的对象 存储来获取详细数据。 由于每个云提供商的计算实例类型不同， 虚拟核数多种 多样， 所在账单时区也不一致， 需要根据每个云服务提供商的结算周期， 统计 总花费， 每个实例花费， 单位核时花费， 总核时等统一的数据信息；
[0010] 任务数据处理模块， 计算平台的调度系统会根据实际任务启动， 运行， 完成等 状态变动， 在数据库中记录任务的生命周期， CPU消耗， 内存消耗等参数的数据 。 通过对任务数据库的分析处理， 可以统计得到每个计算任务的消耗核时， 对 调度的计算实例的占用时长；
[0011] 监控数据处理模块， 计算平台的监控系统会采集各个计算集群的 CPU信息， 包 括总共 CPU数量， 任务请求使用的 CPU数量， 任务实际使用的 CPU数量， 并在数 据库中形成时间序列的 CPU数量数据。 通过对这个时序数据库的分析处理， 可以 得到计算集群的消耗核时和任务实际使用核时， 对账单数据和任务数据起到对 照作用。
[0012] 统计告警模块， 通过对上述三个模块的处理数据进行分析整合， 可以获取三方 的周期核时对照表， 也基于计算实例 id， 获取账单数据计算实例和任务数据计算 实例的对应关系， 当利用率满足基准， 且与监控数据误差保持一致时， 对账正 确； 否则告警对账异常的地方。 并基于历史对账数据， 预测下个对账周期的核 时消耗， 单位核时成本等。
[0013] 该基于混合云计算平台的对账系统的对账方法， 具体的， 是由四个模块协调工 作的， 下面针对每个模块的步骤步骤予以说明：
[0014] ( 1) 账单数据处理模块， 首先本模块统计接口层完成对云提供商的接入， 一 般为了保持统一， 会等所有云厂商的月度明细账单都生成完毕后， 再触发对账 系统； 其次会检查支持的所有云厂商明细账单是否齐全， 使用统一的接口层获 取云计算总花费， 实例花费， 总消耗核时等数据信息； 最后持久化到数据库保 存；
[0015] (2) 任务数据处理模块， 可实时运行， 也可由触发对账系统， 同步进行。 首 先查看数据库是否已录入本周期数据， 如果没有， 则从调度系统的计算任务的 生命周期数据中获取任务运行的起止时间， 核数以及运行计算实例等数据， 从 而获取每个计算任务的消耗核时作为成本信息， 并获取计算任务所在计算实例 的耗时周期， 与账单处理数据对照；
[0016] (3) 监控数据处理模块， 可实时运行， 也可由触发对账系统， 同步进行。 首 先查看本周期数据是否处理完毕， 如果没有， 则从告警系统的采集时序数据库 中获取顺序时间点的公有云资源池 CRJ核数以及计算任务实际申请的 CRJ核数， 从而获取周期时间的核时消耗， 作为账单周期核时和任务周期核时的对照数据
[0017] (4) 统计告警模块， 上述步骤 ( 1 ) 、 (2) 、 (3) 完成的时候， 本模块可以 得到本周期账单核时数据与监控计算池核时数据、 任务核时数据与监控任务核 时数据、 账单核时数据与任务核时数据的三方对照表； 基于计算实例 id， 从账单 处理数据库和任务处理数据库中得到匹配的计算实例 id数据表； 从而高效准确地 获取计算任务装箱的利用率和差异范围， 确定哪一方数据是否存在问题。 基于 这些数据表做出汇聚的对账视图， 可以看到以云提供商级别的核时消耗， 单位 成本以及核时利用效率， 预估下个周期的核时消耗和预算。
发明的有益效果
有益效果
[0018] 本发明提供的一种基于混合云计算平台的对账系统的对账方法， 具有以下技术 效果：
[0019] ( 1 ) 通过集成各大公有云厂商的账单 API和账单明细数据， 进一步消除各个公 有云的差异， 提供标准格式的账单数据； 并可以输出数据视图， 是使用人员更 好的了解计算任务的资源使用情况；
[0020] (2) 通过一系列的数据处理模块， 可以对这些数据进行分析和处理， 了解实 际计算任务的计算力成本和计算力利用率的使用情况， 指导以后计算任务的成 本管理；
[0021] (3) 通过监控数据的引入， 确保三方对账有任何一方出现数据问题， 可以及 时发现 对附图的简要说明
附图说明
[0022] 图 1是本发明的对账方法的原理示意图；
[0023] 图 2是本发明的对账系统结构示意图；
[0024] 图 3是本发明的对账系统流程图；
[0025] 图 4是本发明使用时与外部对接结构示意图。
发明实施例
本发明的实施方式
[0026] 下面通过附图和实施例， 对本发明的技术方案做进一步的详细描述。
[0027] 计算资源的对账需准确、 高效， 对账方式灵活， 操作简单、 自动化， 对账的周 期可以灵活设定， 支持不同时区进行设定， 可以按月、 按季， 也可以根据云厂 商的支持与否按天进行对账， 也可以按不同的资源类型进行对账； 对账的结果 能对下一周期的计算资源申请有指导意义， 对账异常进行报警， 可以查看异常 数据记录。
[0028] 实施例一：
[0029] 本发明提供了一种对账方法， 图 1示出了本发明一种对账方法的原理示意图：
[0030] 具体地， 当对账周期明细账单出来后， 通过每个公有云平台的计算实例核数和 运行时间区间， 可以计算出计算量核时； 并通过监控数据的时间序列计算池核 数， 可以计算出本周期的申请计算量核时； 通过监控申请核时与账单核时的对 账， 确定误差范围是否超过阀值。 通过任务数据的任务请求核数和运行生命周 期， 可以计算出本周期的实际计算量核时； 并通过监控数据的时间序列任务核 数， 可以计算出本周期的实际使用的计算量核时； 通过监控实际使用核时与任 务核时的对账， 确定误差范围是否超过阀值。
[0031] 而监控数据相对于真实数据具有一定偏向性， 通过监控任务核时和监控申请核 时计算出的利用率， 与任务运行核时和账单核时计算出的利用率之间存在大致 相等关系。 通过两者利用率的差异， 确定差值范围是否超过阀值。
[0032] 而通过这种三方对账， 可以较为快速地得出计算资源的对账情况。
[0033] 实施例二： [0034] 本发明还提供了一种对账系统， 图 2示出了本发明对账系统实施例二的结构示 意图， 包括账单数据处理模块、 任务数据处理模块、 监控数据处理模块、 统计 告警模块四个模块。 在面向高性能混合云计算中， 账单数据处理模块账单数据 处理后有以下属性：
[] [表 1]
Figure imgf000007_0001
[0035] 根据计算实例运行区间和单价， 可以计算出计算实例花费； 根据计算实例运行 时间区间和计算实例核数， 可以计算出计算量消耗核时 =核数 x时间（:小时）； 即可 统计起止时间段的计算资源的成本和核时计算量； 计算实例 ID作为计算量的使 用流水的对账标识码。
[0036] 其中计算实例多种多样， 有竞价实例、 按需实例、 年费实例等， 不同型号实例 对应物理核心也不同， 这里统一以各个公有云的 lu为一核， 一核时为计算量的 标准计量单位， 核时单价为一核时的花费。 根据账单数据输入形式的不同， 账 单处理模块既可以定期调用公有云服务提供商的账单 API进行账单数据处理； 也 可以定期从存储在对象存储如 S3中的明细账单文件处理； 还可以下载对应每月账 单明细文件手动触发账单处理， 并将处理后的数据转储在数据库中。
[]
[表 2]
Figure imgf000008_0001
[0037] 任务数据处理模块是从任务启动至结束中反馈的状态时间点来获取任务运行的 相关数据， 处理统计后的记录有以下属性：
[] [表 3]
Figure imgf000008_0002
[0038] 通过任务申请核数和运行总时长， 可以计算出核时计算量。 并且通过核时单价 估算出计算任务成本范围， 对应到任务提交用户； 计算实例 ID作为计算量的使 用流水的对账标识码。
[表 4]
Figure imgf000009_0001
[0039] 监控数据处理模块定期从监控采集数据库中获取实时计算资源池时间序列核数 ， 实时运行容器的时间序列核数， 并计算出实际装箱的任务核数。
[] [表 5]
Figure imgf000009_0002
[0040] 根据资源池核数和任务核数的不同时间点数据， 可以估算出资源池核时和任务 核时的计算量。 而根据资源池的历史波动数据， 也可以预测短时间内需求的总 计算核数的数据， 方便预估针对公有云计算实例下个周期的购买限额。
[] [表 6]
Figure imgf000009_0003
[0041] 最终如图 3 , 通过统计告警模块生成以计算实例 ID为对账标识的明细对账表和 三方核时对账表单。 其中由于计算任务的调度延后性和装箱的匹配性问题， 计 算任务的实际使用计算量和申请的计算实例的计算量具有一定差异， 取计算实 例的核时利用率为计算流水数据。 [0042] 通过账单核时与监控资源池核时、 任务核时与监控任务容器核时的差值， 是否 超过 2%的预设阀值， 来判断是否有一方的核时数据有误。 如果差值过大， 则需 要生成详细数据对照表， 比对异常时间点数据； 如果正常范围内， 则生成下个 周期的计算实例购买的计算量预测表。 然后通过任务核时与账单核时的比例得 出任务装箱的利用率， 看是否与监控核时之间的核时利用率吻合， 并通过计算 实例的核时利用率作为复查对账。 通过对账系统， 最终对计算任务的实际使用 成本和实际利用效率达到预设值以及心中有数。
[0043] 利用本发明可以在云上申请一台主机和数据库并附加相关的操作权限， 就可以 运行起来， 如图 4。 当用户提交对账申请， 即可通过对账系统生成的数据库形成 对账报告。

Claims

权利要求书 [权利要求 1] 一种基于混合云计算平台的对账系统， 其特征在于， 包括： 账单数据处理模块， 从公有云账单 API或下载的账单详细文件处理数 据； 监控数据处理模块， 从计算平台的监控系统获取任务请求资源并处理 数据； 任务数据处理模块， 从计算平台的调度系统任务数据库中获取任务数 据并处理； 统计告警模块， 从账单监控以及任务数据中得到数据对比表， 根据对 账差异阀值对用户告警； 并利用历史对账数据指导未来成本管理。 [权利要求 2] 根据权利要求 1所述的一种基于混合云计算平台的对账系统的对账方 法， 其特征在于， 包括以下步骤：
( 1) 账单数据处理模块根据公有云服务提供商的明细账单进行数据 处理， 生成的账单计算实例成本计算力数据， 待对账系统后续流程处 理；
(2) 任务数据处理模块从计算平台调度系统存储的计算任务的生命 周期数据库中获取任务运行的起止时间和申请核数数据， 从而获取每 个计算任务的消耗核时作为成本信息；
(3) 监控数据处理模块从计算平台的监控系统采集的数据库获取数 据， 其中采集的数据包括每个公有云资源池各个时间点的 CPU核数以 及各个时间点计算任务实际申请的 CPU核数； 通过任务监控数据， 获 取公有云计算集群监控核时和任务请求监控核时， 作为对照组数据；
(4) 统计告警模块根据步骤 ( 1) 到 (3) 的所得出的资源数据表， 得到计算任务装箱的利用率和差异范围， 实现任务核时的三方对账； 对异常对账数据进行告警， 并积累历史对账数据， 预测指导计算成本 的管理。
PCT/CN2019/128190 2019-12-25 2019-12-25 一种基于混合云计算平台的对账系统及其对账方法 WO2021004025A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/973,775 US20210374814A1 (en) 2019-12-25 2019-12-25 A reconciliation system based on hybrid cloud computing platform and its reconciliation method
PCT/CN2019/128190 WO2021004025A1 (zh) 2019-12-25 2019-12-25 一种基于混合云计算平台的对账系统及其对账方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/128190 WO2021004025A1 (zh) 2019-12-25 2019-12-25 一种基于混合云计算平台的对账系统及其对账方法

Publications (1)

Publication Number Publication Date
WO2021004025A1 true WO2021004025A1 (zh) 2021-01-14

Family

ID=74114080

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/128190 WO2021004025A1 (zh) 2019-12-25 2019-12-25 一种基于混合云计算平台的对账系统及其对账方法

Country Status (2)

Country Link
US (1) US20210374814A1 (zh)
WO (1) WO2021004025A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404126A (zh) * 2011-11-25 2012-04-04 浪潮电子信息产业股份有限公司 一种云计算在应用过程中的收费方法
CN103152393A (zh) * 2013-02-05 2013-06-12 北京邮电大学 一种云计算的计费方法和计费系统
CN107993137A (zh) * 2017-11-15 2018-05-04 浪潮金融信息技术有限公司 对账方法及装置、计算机存储介质和终端
US20190243616A1 (en) * 2016-11-30 2019-08-08 South China University Of Technology Graphical programming control and storage system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867494A (en) * 1996-11-18 1999-02-02 Mci Communication Corporation System, method and article of manufacture with integrated video conferencing billing in a communication system architecture
US9026658B2 (en) * 2012-03-28 2015-05-05 Microsoft Technology Licensing, Llc Enhanced computer cluster operation using resource allocation requests
US11836578B2 (en) * 2019-03-29 2023-12-05 Accenture Global Solutions Limited Utilizing machine learning models to process resource usage data and to determine anomalous usage of resources
US11392843B2 (en) * 2019-04-01 2022-07-19 Accenture Global Solutions Limited Utilizing a machine learning model to predict a quantity of cloud resources to allocate to a customer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404126A (zh) * 2011-11-25 2012-04-04 浪潮电子信息产业股份有限公司 一种云计算在应用过程中的收费方法
CN103152393A (zh) * 2013-02-05 2013-06-12 北京邮电大学 一种云计算的计费方法和计费系统
US20190243616A1 (en) * 2016-11-30 2019-08-08 South China University Of Technology Graphical programming control and storage system
CN107993137A (zh) * 2017-11-15 2018-05-04 浪潮金融信息技术有限公司 对账方法及装置、计算机存储介质和终端

Also Published As

Publication number Publication date
US20210374814A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
US11188954B2 (en) Method and system for dynamic pricing of web services utilization
WO2017219874A1 (zh) 一种资源处理方法及装置
JP6854352B2 (ja) クラウドサービスブローカー業務における多層課金システム及び方法
US20070011092A1 (en) System and method for controlling on-demand service delivery costs
CN111192123A (zh) 一种基于混合云计算平台的对账系统及其对账方法
CN102411515A (zh) 一种服务器容量估算的方法和系统
JP7206698B2 (ja) 提供装置、処理システム及び通信方法
Narayan et al. Smart metering of cloud services
CN110618867A (zh) 一种预测资源使用量的方法和装置
US11887197B2 (en) System and method for a revenue allocation engine for use with subscription economy
CN114416891B (zh) 在知识图谱中进行数据处理的方法、系统、装置和介质
TWI765363B (zh) 管理系統、交換電池系統以及程式
WO2021004025A1 (zh) 一种基于混合云计算平台的对账系统及其对账方法
WO2015049515A1 (en) Improvements relating to distributed resource management in real-time systems
CN111798012A (zh) 一种物流园共享运营管理系统
CN111581483A (zh) 一种计费方法、电子设备及存储介质
US7849008B1 (en) Real-time charge calculation system
AU2012346010B2 (en) Configurable billing with subscriptions having conditional components
US8306911B1 (en) Payment option analyzer based on measured utilization
CN113722557A (zh) 一种燃气供销差的确定方法及装置
CN113947441A (zh) 一种用于SaaS化工业APP应用的计费方法
US9178785B1 (en) Accounting for usage and usage-based pricing of runtime engine
CN115379007B (zh) 基于SaaS的账单核验方法、装置、设备及存储介质
US11516033B1 (en) System and method for metering consumption
KR102075410B1 (ko) 전력 거래 중개 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19936727

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 21.11.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19936727

Country of ref document: EP

Kind code of ref document: A1