WO2014075425A1 - 数据处理方法、计算节点及系统 - Google Patents

Abstract

本发明实施例提供一种数据处理方法、计算节点及系统。方法包括：BPE向CEP实例注册算法；所述CEP实例在检测到算法关注的事件满足该算法触发计算的条件时，将该计算所需的事件传递给所述BPE；所述BPE得到计算结果，若判断所述计算结果需进一步计算，则将所述计算结果作为中间事件写入所述CEP实例；所述CEP实例在检测到其它算法关注的事件满足其触发计算的条件且中间事件为其计算所需的事件时，将所述中间事件传递给注册了所述其它算法的BPE。由CEP实例完成多事件多算法的关联，简化了计算过程，提高了时效性。

Description

数据处理方法、 计算节点及系统

技术领域 本发明实施例涉及数据计算领域， 尤其涉及一种数据处理方法、 计算 节点及系统。 背景技术

Hadoop技术是最近几年兴起的处理海量数据的分布式计算平台， 在 处理海量数据和可靠性方面有着巨大的优势。 Hadoop 是一个能够对大量 数据进行分布式处理的软件框架， 以一种可靠、 高效、 可伸缩的方式进行 处理的。 Hadoop 是可靠的， 因为它假设计算元素和存储会失败， 因此它 维护多个工作数据副本， 确保能够针对失败的节点重新分布处理。 Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。 Hadoop 还是可伸缩的， 能够处理拍字节 （PB ) 级数据。

关键绩效指标（ Key Performance Indicator, 简称 KPI ) /关键质量指标 ( Key Quality Indicator, 简称 KQI )计算往往需要在多个事件之间建立关 联， 即多个事件基于某个维度关联， 并满足条件才生成一个 KPI/KQL 但 Hadoop 在处理此类问题上缺少很好的支持， 需要多次映射化简 （Map Reduce, 简称 MR ) 的复杂操作， 生成更多的中间文件才能部分达成。 而 MR时效性不高， 所有的中间结果都要通过输入输出 （Input Output, 简称 10 ) 写入 Hadoo 文件系统 （ Hadoop File System, 简称 HDFS ) 中， 然后 再读出参与下次的运算， 对于超大数据的处理 10成为瓶颈， 实时性下降。 发明内容 本发明实施例提供一种数据处理方法、 计算节点及系统， 用以一定程 度上解决现有 Hadoop中关联运算需要多次 MR的复杂操作导致实时性下 降的问题。

第一方面， 本发明实施例提供的一种数据处理方法， 所述方法应用于 商业处理实体 BPE上， 所述方法包括： 向与所述 BPE位于同一计算节点上的复杂事件处理 CEP实例注册所 述 BPE的预设算法， 所述 BPE的预设算法包括关注的事件的标识、 计算 所需的事件的标识和触发计算的条件,所述关注的事件的标识用于标识预 设算法关注的事件， 所述计算所需的事件的标识用于标识预设算法计算所 需的事件；

获得所述 CEP实例传递的所述预设算法计算所需的事件，其中所述预 设算法计算所需的事件是所述 CEP实例在检测到所述预设算法关注的事 件满足所述触发计算的条件时， 所传递的；

根据所述预设算法对所述预设算法计算所需的事件进行计算， 得到计 算结果；

若根据预设的业务逻辑判断所述计算结果需进一步计算， 则将所述计 算结果作为中间事件写入所述 CEP实例， 使得所述 CEP实例在检测到已 注册的除所述预设算法之外的其它算法关注的事件满足所述其它算法中 的触发计算的条件且所述中间事件为所述其它算法计算所需的事件时， 将 所述中间事件传递给位于所述计算节点上、向所述 CEP实例注册了所述其 它算法的 BPE。

在第一方面的第一种可能的实现方式中， 所述根据所述预设算法对所 述预设算法计算所需的事件进行计算， 得到计算结果之后还包括：

将所述计算结果传递给入库处理实体 DPE, 以使所述 DPE将所述计 算结果保存到数据库中； 所述 DPE位于所述计算节点或另一计算节点上。

结合上述第一方面的第一种可能的实现方式， 在第一方面的第二种可 能的实现方式中， 所述将所述计算结果传递给入库处理实体 DPE包括： 根据预设的业务逻辑判断所述计算结果是否需要汇总， 若需要则将所 述计算结果传递给算术处理实体 APE, 以使所述 APE对所述 BPE和其它 BPE的计算结果进行汇总计算、 将汇总结果传递给所述 DPE;

所述 APE位于所述计算节点或另一计算节点上，所述 APE与所述 DPE 位于同一计算节点或不同计算节点。

第二方面， 本发明实施例提供的一种数据处理方法， 所述方法应用于 复杂事件处理 CEP实例上， 所述方法包括：

执行与所述 CEP位于同一计算节点上的商业处理实体 BPE的预设算 法的注册， 所述 BPE的预设算法包括关注的事件的标识、计算所需的事件 的标识和触发计算的条件， 所述关注的事件的标识用于标识预设算法关注 的事件， 所述计算所需的事件的标识用于标识预设算法计算所需的事件； 在检测到所述预设算法关注的事件满足所述触发计算的条件时， 将所 述预设算法计算所需的事件传递给所述 BPE, 以使所述 BPE根据所述预 设算法对所述预设算法计算所需的事件进行计算、 得到计算结果；

获得所述 BPE写入的所述计算结果， 所述计算结果为所述 BPE在根 据预设的业务逻辑判断所述计算结果需进一步计算时， 以中间事件的方式 写入的；

在检测到已注册的除所述预设算法之外的其它算法关注的事件满足 所属其它算法中的触发计算的条件且所述中间事件为所述其它算法计算 所需的事件时， 将所述中间事件传递给位于所述计算节点上、 向所述 CEP 实例注册了所述其它算法的 BPE。

在第二方面的第一种可能的实现方式中， 所述预设算法关注的事件包 括所述预设算法关注的原始事件和所述预设算法关注的的中间事件； 所述 在检测到所述预设算法关注的事件满足所述触发计算的条件之前， 还包 括：

从消息总线上提取所述预设算法关注的原始事件；

所述 CEP实例检测所述预设算法关注的原始事件和所述预设算法关 注的中间事件是否满足所述触发计算的条件。

第三方面， 本发明实施例提供的一种数据处理方法， 所述方法应用于 包括商业处理实体 BPE与复杂事件处理 CEP实例的物理节点上， 所述方 法包括：

BPE向 CEP实例注册所述 BPE的预设算法， 所述预设算法包括关注 的事件的标识、 计算所需的事件的标识和触发计算的条件， 所述关注的事 件的标识用于标识预设算法关注的事件， 所述计算所需的事件的标识用于 标识预设算法计算所需的事件；

所述 CEP实例在检测到所述预设算法关注的事件满足所述触发计算 的条件时， 将所述预设算法计算所需的事件传递给所述 BPE;

所述 BPE根据所述预设算法对所述预设算法计算所需的事件进行计 算， 得到计算结果；

若所述 BPE根据预设的业务逻辑判断所述计算结果需进一步计算，则 将所述计算结果作为中间事件写入所述 CEP实例；

所述 CEP实例在检测到已注册的除所述预设算法之外的其它算法关 注的事件满足所述其它算法中的触发计算的条件且所述中间事件为所述 其它算法计算所需的事件时， 将所述中间事件传递给位于所述计算节点 上、 向所述 CEP实例注册了所述其它算法的 BPE。

在第三方面的第一种可能的实现方式中，所述 BPE根据所述预设算法 对所述预设算法计算所需的事件进行计算， 得到计算结果之后还包括： 所述 BPE将所述计算结果传递给入库处理实体 DPE, 以使所述 DPE 将所述计算结果保存到数据库中； 所述 DPE位于所述计算节点或另一计 算节点上。

结合上述第三方面的第一种可能的实现方式， 在第三方面的第二种可 能的实现方式中，所述 CEP实例在检测到所述预设算法关注的事件满足所 述触发计算的条件之前， 还包括：

从消息总线上提取原始事件；

所述 CEP实例检测所述提取的原始事件和被写入的中间事件中所述 预设算法关注的事件是否满足所述触发计算的条件。

结合上述第三方面的第二种可能的实现方式， 在第三方面的第三种可 能的实现方式中， 所述从消息总线上提取原始事件包括：

接收消息服务器根据调度器的订购指令发送的所述计算节点上所有 BPE的算法关注的原始事件； 或

位于所述计算节点上的事件过滤器根据调度器的订购配置从消息总 线上提取所述计算节点上所有 BPE的算法关注的原始事件，并传递给所述 CEP实例。

结合第三方面的上述任一种可能的实现方式， 在第三方面的第四种可 能的实现方式中， 所述 BPE将所述计算结果传递给入库处理实体 DPE包 括：

所述 BPE根据预设的业务逻辑判断所述计算结果是否需要汇总 ,若需 要则将所述计算结果传递给算术处理实体 APE,以使所述 APE对所述 BPE 和其它 BPE的计算结果进行汇总计算、 将汇总结果传递给所述 DPE; 所述 APE位于所述计算节点或另一计算节点上，所述 APE与所述 DPE 位于同一计算节点或不同计算节点。

结合上述第三方面的第四种可能的实现方式， 在第三方面的第五种可 能的实现方式中， 所述 APE对所述 BPE和其它 BPE的计算结果进行汇总 计算之后， 还包括：

若所述 APE根据预设的业务逻辑判断所述汇总结果需进一步计算， 则所述 APE将所述汇总结果作为中间事件写入与所述 APE位于同一计算 节点的 CEP实例。

第四方面， 本发明实施例提供的一种计算节点， 包括： 商业处理实体

BPE和复杂事件处理 CEP实例；

所述 BPE, 用于向所述 CEP实例注册所述 BPE的预设算法， 所述预 设算法包括关注的事件的标识、 计算所需的事件的标识和触发计算的条 件， 所述关注的事件的标识用于标识预设算法关注的事件， 所述计算所需 的事件的标识用于标识预设算法计算所需的事件；

所述 CEP实例，用于在检测到所述预设算法关注的事件满足所述触发 计算的条件时， 将所述预设算法计算所需的事件传递给所述 BPE;

所述 BPE还用于，根据所述预设算法对所述预设算法计算所需的事件 进行计算， 得到计算结果； 若根据预设的业务逻辑判断所述计算结果需进 一步计算， 则将所述计算结果作为中间事件写入所述 CEP实例；

所述 CEP实例还用于，在检测到已注册的除所述预设算法之外的其它 算法关注的事件满足所述预设算法中的触发计算的条件时， 将所述中间事 件传递给位于所述计算节点上、 向所述 CEP实例注册了所述其它算法的 BPE。

在第四方面的第一种可能的实现方式中， 所述 BPE还用于，将所述计 算结果发送给另一计算节点上的入库处理实体 DPE, 以使所述 DPE将所 述计算结果保存到数据库中； 或

所述计算节点还包括 DPE, 所述 BPE还用于， 将所述计算结果发送 给同一计算节点上的 DPE, 以使所述 DPE将所述计算结果保存到数据库 中。 结合第四方面或第四方面的第一种可能的实现方式， 在第四方面的第 二种可能的实现方式中， 所述 CEP实例还用于：

从消息总线上提取原始事件；

检测所述提取原始事件和被写入的中间事件中所述预设算法关注的 事件是否满足所述触发计算的条件。

结合第四方面的第二种可能的实现方式， 在第四方面的第三种可能的 实现方式中， 所述 CEP实例具体用于，

接收消息服务器根据调度器的订购指令发送的所述计算节点上所有 BPE的算法关注的原始事件，检测所述原始事件和所述被写入的中间事件 中所述预设算法关注的事件是否满足所述触发计算的条件， 在检测到满足 所述触发计算的条件时， 将所述预设算法计算所需的事件传递给所述

BPE, 以及用于在检测到已注册的除所述预设算法之外的其它算法关注的 事件满足所述其它算法中的触发计算的条件且所述中间事件为所述其它 算法计算所需的事件时， 将所述中间事件传递给位于所述计算节点上、 向 所述 CEP实例注册了所述其它算法的 BPE;

或， 所述计算节点还包括事件过滤器， 所述事件过滤器用于根据调度 器的订购配置从消息总线上提取所述计算节点上所有 BPE的算法关注的 原始事件， 并传递给所述 CEP实例；

所述 CEP实例具体用于， 接收所述事件过滤器传递的所述原始事件， 检测所述原始事件和所述被写入的中间事件中所述预设算法关注的事件 是否满足所述触发计算的条件， 在检测到满足所述触发计算的条件时， 将 所述预设算法计算所需的事件传递给所述 BPE, 以及用于在检测到已注册 的除所述预设算法之外的其它算法关注的事件满足所述其它算法中的触 发计算的条件且所述中间事件为所述其它算法计算所需的事件时， 将所述 中间事件传递给位于所述计算节点上、向所述 CEP实例注册了所述其它算 法的 BPE。

结合第四方面或第四方面的上述任一种可能的实现方式， 在第四方面 的第四种可能的实现方式中， 所述 BPE还用于，根据预设的业务逻辑判断 所述计算结果是否需要汇总， 若需要则将所述计算结果发送给另一计算节 点上的算术处理实体 APE, 以使所述 APE对所述 BPE和其它 BPE的计算 结果进行汇总计算、 将汇总结果传递给所述 DPE; 或

所述计算节点还包括 APE, 所述 BPE还用于， 根据预设的业务逻辑 判断所述计算结果是否需要汇总， 若需要则将所述计算结果发送给同一计 算节点上的 APE,以使所述 APE对所述 BPE和其它 BPE的计算结果进行 汇总计算、 将汇总结果传递给所述 DPE;

所述 APE与所述 DPE位于同一计算节点或不同计算节点。

结合第四方面的第四种可能的实现方式， 在第四方面的第五种可能的 实现方式中所述 APE还用于， 若根据预设的业务逻辑判断所述汇总结果 需进一步计算， 则将所述汇总结果作为中间事件写入同一计算节点上的 CEP实例。

第五方面， 本发明实施例提供了一种分布式计算系统， 包括： 调度器和至少一个计算节点， 各计算节点均为如上所述的计算节点； 所述调度器， 用于收集各计算节点的资源信息， 根据所述资源信息确 定各计算节点的调度方式， 根据各计算节点的调度方式分别调度各计算节 点。

在第五方面的第一种可能的实现方式中， 所述调度方式包括： 预设算 法， 预设业务逻辑， 是否开启计算节点上的商业处理实体 BPE、 算术处理 实体 APE、 入库处理实体 DPE。

结合第五方面或第五方面的第一种可能的实现方式， 在第五方面的第 二种可能的实现方式中， 所述计算节点有多个； 所述调度器具体用于， 预 留一个计算节点作为备用计算节点， 调度除所述备用计算节点之外的其它 计算节点； 当所述调度的其它计算节点中一个计算节点异常时， 根据所述 异常的计算节点的调度方式和所述异常的计算节点的緩存数据调度所述 备用计算节点。

以上多个技术方案中的至少一个技术方案具有如下优点或有益效果： 本发明实施例釆用计算节点上的商业处理实体 ( Business Processor Entity , 简称 BPE ) 向该计算节点上的复杂事件处理 （ Complex event processing , 简称 CEP ) 实例注册所述 BPE的预设算法， 所述 CEP实例在 检测到所述预设算法关注的事件满足所述预设算法的触发计算的条件时 将计算所需的事件传递给所述 BPE, 所述 BPE在根据所述预设算法进行 计算得到计算结果后， 若判断所述计算结果需进一步计算， 则将所述计算 结果作为中间事件写入所述 CEP实例， 所述 CEP实例在检测到已注册的 其它算法关注的事件满足所述其它算法中触发计算的条件且所述中间事 件为所述其它算法计算所需的事件时， 将所述中间事件传递给注册了所述 其它算法的 BPE的技术手段， 由 CEP实例完成多事件多算法的关联， 简 化了计算过程， 提高了时效性。 附图说明

实施例或现有技术描述中所需要使用的附图作一简单地介绍， 显而易见 地， 下面描述中的附图是本发明的一些实施例， 对于本领域普通技术人员 来讲， 在不付出创造性劳动性的前提下， 还可以根据这些附图获得其它的 附图。

图 1为本发明实施例提供的一种数据处理方法的流程示意图； 图 2为本发明实施例提供的又一种数据处理方法的流程示意图； 图 3为本发明实施例提供的再一种数据处理方法的流程示意图； 图 4为本发明实施例提供的另一种数据处理方法的流程示意图； 图 5为本发明实施例提供的一种计算节点 300的结构示意图； 图 6为本发明实施例提供的一种计算节点 400的结构示意图； 图 7为本发明实施例提供的一种计算节点 500的结构示意图； 图 8为本发明实施例提供的一种分布式计算系统 600的结构示意图； 图 9为本发明实施例的一种应用场景示意图；

图 10为本发明实施例的又一种应用场景示意图；

图 11为本发明实施例的再一种应用场景示意图。 具体实施方式 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本 发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描 述，显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其它实施例， 都属于本发明保护的范围。

图 1为本发明实施例提供的一种数据处理方法的流程示意图。 所述方 法应用于包括 BPE与 CEP实例的计算节点上， 如图 1所示， 该方法包括： 101、 BPE向 CEP实例注册所述 BPE的预设算法， 所述预设算法包括 关注的事件的标识、 计算所需的事件的标识和触发计算的条件。

本发明实施例中 BPE的功能包括 KPI/KQI的计算、 用户信令分析等。 BPE和 CEP实例可以一同部署在每个计算节点上， 举例来说， 本发明实 施例的计算节点可以是刀片系统的一个刀片实体 （其产品形态可以是单 板） ， 也可称为物理节点。 这里的预设算法是 BPE负责的 KPI/KQI计算 的算法、 信令分析的算法等， 算法也可称为功能函数、 商业逻辑。

举例来说， 任何一个 KPI的计算都可以表示为： K=f(IEl,IE2,IE3...)， 其中 K为 KPI , f为功能函数， 信息元素 （ Information Element , 简称 IE ) 为网络中某个或某些事件参数的汇聚， 常见的有以下几种情况：

1 ) 计算字节数的汇总： IE = SUM ( EVENT.x )

2 ) 计算平均时长， 跨网元的情况类似： IE= AVG

( EVENT 1.T-EVENT2.T )

3 ) 计算次数， 如错误码的次数： IE=count ( EVENT )

计算任何一个 KPI可以分为两个过程： 1 ) 某个集合中事件 （Event ) 参数的汇聚计算 IE; 2 ) 通过 IE的运算来得出 KPI。

预设算法可以以实体查询语言 （ Entity Query Language , 简称 EQL ) 语句的形式来表达， 包括该算法关注的事件的标识、 该算法计算所需的事 件的标识和触发计算的条件等。 具体地， 所述关注的事件的标识用于标识 预设算法关注的事件， 所述计算所需的事件的标识用于标识预设算法计算 所需的事件。

102、 所述 CEP实例在检测到所述预设算法关注的事件满足所述触发 计算的条件时， 将所述预设算法计算所需的事件传递给所述 BPE。

预设算法中的触发计算的条件是启动该预设算法计算的条件， 只有当 该预设算法关注的事件满足触发计算的条件时， 才启动根据所述预设算法 的计算。

103、 所述 BPE根据所述预设算法对所述预设算法计算所需的事件进 行计算， 得到计算结果。

举例来说， 所述 BPE的算法关注两个事件：

EVENT1 {ID,TIME,V0LUMN}和 EVENT2{TIME,SUCCESS} , 需要实现如 下算法： 当 EVENT2中的 SUCCESS为真， 同时 EVENT2中的 TIME等于 EVENT 1中的 TIME时 , 计算在 10分钟内， 累加 EVENT 1中的 VOLUMN 的值，并计算 EVENT1事件的个数；于是 BPE就向 CEP实例注册如下 EQL 语句以实现其算法：

Select Eventl.id, count(*), sum(Eventl .Volumn) from

Event 1. win_batch( 10 min) where E vent 1. time = Event2.time And

Event2.Success=l

这样 CEP实例就会跟踪 EVENT 1和 EVENT2, 当 EVENT2中的 SUCCESS为真， 同时 EVENT2中的 TIME等于 EVENT 1中的 TIME时 , 即该算法关注的 EVENT1和 EVENT2满足触发计算的条件时， 将该算法 计算所需的事件 EVENT 1传递给 BPE , 所述 BPE根据上述算法累加 EVENT 1中的 VOLUMN的值， 并计算 EVENT1事件的个数， 每隔 10分 钟得到一条对应于 Eventl.id, count(*), sum(E vent 1. Volumn)的计算结果，这 就是一条 KPI记录。

104、 若所述 ΒΡΕ根据预设的业务逻辑判断所述计算结果需进一步计 算， 则将所述计算结果作为中间事件写入所述 CEP实例。

计算结果是否需进一步计算， 取决于预先设计好的业务逻辑。 举例来 说， 有些计算结果作为初级 ΚΡΙ, 还需进一步地计算， 得到高级 ΚΡΙ, 因 此， 根据业务逻辑这些初级 ΚΡ I的计算结果与其它的高级 ΚΡ I算法有关， 则这些初级 ΚΡΙ的计算结果需进一步计算。 通常， 由其它 ΒΡΕ根据自己 的算法对计算结果进行进一步的计算。 如果计算结果需进一步计算， 可以 理解为， 所述计算结果为中间计算结果。

应当理解的是， 本发明实施例中， 将中间计算结果作为中间事件写入 所述 CEP实例， 可见， 所有中间结果都保存在内存或是分布式 cache中， 相比于现有 Hadoop技术将所有的中间计算结果写入数据库、 然后再从数 据库中读出进行进一步的计算， 本发明实施例减少了不必要的 10操作， 从而提升时效性。 105、 所述 CEP实例在检测到已注册的除所述预设算法之外的其它算 法关注的事件满足所述其它算法中的触发计算的条件且所述中间事件为 所述其它算法计算所需的事件时， 将所述中间事件传递给位于所述计算节 点上、 向所述 CEP实例注册了所述其它算法的 BPE。

具体地，本发明实施例中由 CEP实例根据已注册算法关注的事件、计 算所需的事件和触发计算的条件来判断事件与算法之间的关联性， 进而实 现多事件和多算法之间的关联。 其中， 每个计算节点上可能部署了一个或 多个 BPE, 每个 BPE均向部署于同一计算节点的 CEP实例注册自己的算 法。 应当理解的是， 全文中提到的位于计算节点与部署于计算节点是同一 种技术含义， 都可以理解为作为软件逻辑部署于物理实体上， 或者， 作为 软件逻辑被包括于物理实体中。

进一步地， 在步骤 103完成了计算之后， 还需将计算结果保存到数据 库中。 本发明实施例中利用入库处理实体 ( Data Storage Processor Entity, 简称 DPE ) 来完成入库。 对应地， 103之后还包括：

所述 BPE将所述计算结果传递给 DPE, 以使所述 DPE将所述计算结 果保存到数据库中。

其中， DPE与所述 BPE可以部署在同一计算节点， 也可以部署在不 同的计算节点， 本实施例对此不作限定。 具体地， 这里的数据库可以是所 述 DPE所在计算节点的本地数据库， 也可以是分布式计算系统中的共享 数据库。 需要说明的是， 103之后， 所述 BPE根据预设的业务逻辑判断所 述计算结果是否需进一步计算， 若是则可以并行执行将计算结果传递给 DPE入库和 104中将所述计算结果作为中间事件写入 CEP实例的步骤， 否则只需执行将计算结果传递给 DPE入库的步骤。

应当理解的是， 本发明实施例中， 保存到数据库中的对象为完成初级 运算的计算结果， 从而实现较高的数据收缩比， 降低了联机分析处理

( OLAP , Online analytical processing )操作对数据库的冲击， 同时也降低 了数据库的数据存储量。

另外， 需要说明的是， 一个算法关注的事件既可以包括原始事件， 也 可以包括中间事件。 对应地， 102和 105中 CEP实例同时检测原始事件和 中间事件中所述算法关注的事件是否满足触发计算的条件。 对应地， 102 之前还包括：

所述 CEP实例从从消息总线上提取原始事件；

所述 CEP实例检测所述提取的原始事件和被写入的中间事件中所述 预设算法关注的事件是否满足所述触发计算的条件。

通常， 事件源以广播方式将原始事件发布到消息总线上， 事件源可以 是网络探针 PROBE或深度包检测 （ Deep Package Inspection, 简称 DPI ) 服务器。

进一步地， 所述从消息总线上提取所述原始事件具体包括：

接收消息服务器根据调度器的订购指令发送的所述计算节点上所有 BPE的算法关注的原始事件； 或

位于所述计算节点上的事件过滤器根据调度器的订购配置从消息总 线上提取所述计算节点上所有 BPE的算法关注的原始事件，并传递给所述

CEP实例。

具体地，可以由调度器通知每个计算节点的 BPE启动什么算法，该算 法关注什么事件， 相应地从消息总线上订购什么事件， 这是一个订购和发 布的过程， 订阅发布有两个选择方式： 1、 在应用层面实现订阅发布， 即 消息服务器直接将关注的原始事件发送给 CEP实例； 2、 在网络的二层下 实现消息的订阅， 即事件过滤器通过控制计算节点上的网络适配器在消息 总线中提取关注的原始事件， 这个方法效率高， 但需要硬件配合完成。 通 常，一个计算节点上的 CEP实例从消息总线上提取该计算节点上所有 BPE 的算法关注的事件。 举例来说， 当一个计算节点上的所有 BPE只关注 EVENT 1和 E VENT2时， 则该计算节点上的 CEP实例仅从消息总线上提 取 EVENT 1和 E VENT2 , 而不提取 E VENT3； 当一个计算节点上两个 BPE 中一个 BPE的算法关注 EVENT1 , 另一个 BPE的算法关注 EVENT2, 贝' J 该计算节点上的 CEP实例也从消息总线上提取 EVENT 1和 E VENT2。

需要说明的是， 若一个算法仅关注原始事件， 则对应地， CEP实例仅 为该算法检测该算法关注的原始事件； 若一个算法仅关注中间事件， 则对 应地， CEP实例仅为该算法检测该算法关注的中间事件。 进一步地， 考虑 到某类事件特别多， 无法在一个计算节点上完成针对此类事件的计算， 需 要将该类事件以某个纬度划分为不同的计算节点上的 BPE来计算，当这些 BPE计算完成后， 再将这些结果汇总， 因此还可以设置一类 PE, 如算术 处理实体（ Arithmetic Processor Entity , 简称 APE ) 用于计算结果的汇总。

图 2为本发明实施例提供的又一种数据处理方法的流程示意图。 在上 述实施例的基础上， 如图 2所示， 101〜103之后， 还包括：

106、所述 BPE根据预设的业务逻辑判断所述计算结果是否需要汇总， 若需要则将所述计算结果发送给 APE。

具体地， 负责汇总的 APE与负责计算的 BPE可以部署于在同一计算 节点， 也可以部署在不同的计算节点。 BPE根据预设的业务逻辑确定将计 算结果发给同一计算节点上的 APE还是另一计算节点上的 APE。 通常， 若与所述 BPE位于同一计算节点的 APE也开启了， 较优地， 设计业务逻 辑以使 BPE将计算结果发给同一计算节点上的 APE进行汇总。

需要说明的是，若所述 BPE根据预设的业务逻辑判断所述计算结果不 需要汇总， 则直接将所述计算结果传递给 DPE入库。 另外， 104〜105与 106-108可以并行执行。

107、 所述 APE对所述 BPE和其它 BPE的计算结果进行汇总计算。 具体地， 其它 BPE与所述 APE、 所述 BPE可以部署于在同一计算节 点， 也可以部署在不同的计算节点。 较优地， 负责汇总的 APE与计算结 果需由该 APE汇总的各 BPE位于同一计算节点。

108、 所述 APE将汇总结果发送给所述 DPE, 以使所述 DPE将所述 汇总结果保存到数据库中。

具体地， 负责汇总的 APE与负责入库的 DPE可以部署于在同一计算 节点， 也可以部署在不同的计算节点。 APE根据预设的业务逻辑确定将汇 总结果发给同一计算节点上的 DPE还是另一计算节点上的 DPE。 通常， 若与所述 APE位于同一计算节点的 DPE也开启了， 为了尽量减少跨物理 节点的网络通讯流量， 较优地， 在设计中优选地保证 APE将汇总结果发 给同一计算节点上的 DPE进行入库。

在一些场景下， 汇总结果还需要进一步地计算。 对应地， 107之后， 还包括：

若所述 APE根据预设的业务逻辑判断所述汇总结果需进一步计算， 则所述 APE将所述汇总结果作为中间事件写入与所述 APE位于同一计算 节点的 CEP实例。

需要说明的是， 当一个计算节点上同时部署有 BPE和 APE时， 该计 算节点上的 CEP实例中被写入的中间事件除了 BPE写入的中间事件， 还 包括 APE写入的中间事件。 进一步地， 107之后， 所述 APE根据预设的 业务逻辑判断所述汇总结果是否需进一步计算， 若是则可以并行执行将汇 总结果传递给 DPE入库和将所述汇总结果作为中间事件写入 CEP实例的 步骤， 否则只需执行将汇总结果传递给 DPE入库的步骤。

进一步地， 为了均衡各计算节点的负载， 整个系统的运作都是由调度 器来完成协调工作的， 调度器根据收集到的每个计算节点上的资源信息， 如 CPU当前使用的情况和内存剩余情况来判定各计算节点的负载情况， 从而来确定各计算节点的调度方式， 包括 BPE的预设算法、预设业务逻辑 以及是否开启计算节点上的各类 PE, 并根据各计算节点的调度方式分别 调度各计算节点。举例来说，调度方式包括是否开启各计算节点上的 BPE、 APE或 DPE,若开启 BPE则进一步地配置该 BPE的预设算法，比如该 BPE 计算哪些 KPI, 进一步地， 还可以包括是否开启各计算节点上的事件过滤 器，若开启事件过滤器则该事件过滤器的订购配置如何等。需要说明的是， 为了易于管理和扩展， 各物理节点上优选地部署相同的 PE, 确保所有物 理节点是同质的， 但运行时可以由调度器决策开启不同的 PE。

进一步地， 设计上还可以考虑容错机制， 比如釆取 N+1的方式， 即有 一个计算节点是作为备用计算节点， 当任何一个其它计算节点由于其它原 因而损坏， 备用计算节点就会立刻接手其工作， 从而确保整个处理流不会 长时间的中断。 对应地， 所述计算节点有多个； 所述根据各计算节点的调 度方式分别调度各计算节点具体包括：

预留一个计算节点作为备用计算节点， 调度除所述备用计算节点之外 的其它计算节点；

当所述调度的其它计算节点中一个计算节点异常时， 根据所述异常的 计算节点的调度方式和所述异常的计算节点的緩存数据调度所述备用计 算节点。

其中， 调度器在这个过程中起到关键的作用， 调度器可以跟踪每个计 算节点的资源信息， 并实时监控每个计算节点的健康状况， 当一个计算节 点损坏离线后， 调度器可以立刻将损坏的计算节点的緩存数据发送给备用 计算节点， 使其替代损坏的计算节点继续事件处理的工作。 通常， 调度器 也可以在一个物理节点上实现。

可见， 本发明实施例釆用 BPE向位于同一计算节点的 CEP实例注册 所述 BPE的预设算法， 所述 CEP实例在检测到所述预设算法关注的事件 满足所述预设算法中的触发计算的条件时将所述预设算法计算所需的事 件传递给所述 BPE, 所述 BPE在根据所述预设算法进行计算得到计算结 果后， 若判断所述计算结果需进一步计算， 则将所述计算结果作为中间事 件写入所述 CEP实例， 所述 CEP实例在检测到已注册的其它算法关注的 事件满足所述其它算法的触发计算的条件且所述中间事件为所述其它算 法计算所需的事件时，将所述中间事件传递给注册了所述其它算法的 BPE 的技术手段， 由 CEP实例完成多事件多算法的关联， 简化了计算过程， 提 高了时效性。

图 3为本发明实施例提供的再一种数据处理方法的流程示意图。 所述 方法应用于 BPE上， 如图 3所示， 所述方法包括：

201、 向与所述 BPE位于同一计算节点上的 CEP实例注册所述 BPE 的预设算法， 所述 BPE的预设算法包括关注的事件的标识、计算所需的事 件的标识和触发计算的条件。

具体地， 所述关注的事件的标识用于标识预设算法关注的事件， 所述 计算所需的事件的标识用于标识预设算法计算所需的事件。

202、 获得所述 CEP实例传递的所述预设算法计算所需的事件， 其中 所述预设算法计算所需的事件是所述 CEP实例在检测到所述预设算法关 注的事件满足所述触发计算的条件时， 所传递的。

203、 根据所述预设算法对所述预设算法计算所需的事件进行计算， 得到计算结果。

204、 若根据预设的业务逻辑判断所述计算结果需进一步计算， 则将 所述计算结果作为中间事件写入所述 CEP实例， 使得所述 CEP实例在检 测到已注册的除所述预设算法之外的其它算法关注的事件满足所述其它 算法中的触发计算的条件且所述中间事件为所述其它算法计算所需的事 件时，将所述中间事件传递给位于所述计算节点上、向所述 CEP实例注册 了所述其它算法的 BPE。

进一步地， 203之后还可以包括：

将所述计算结果传递给 DPE, 以使所述 DPE将所述计算结果保存到 数据库中； 所述 DPE位于所述计算节点或另一计算节点上。

可选地， 所述将所述计算结果传递给入库处理实体 DPE包括： 根据预设的业务逻辑判断所述计算结果是否需要汇总， 若需要则将所 述计算结果传递给 APE,以使所述 APE对所述 BPE和其它 BPE的计算结 果进行汇总计算、 将汇总结果传递给所述 DPE;

所述 APE位于所述计算节点或另一计算节点上，所述 APE与所述 DPE 位于同一计算节点或不同计算节点。

本实施例的具体实现可参照图 1、 图 2所示实施例。

可见， 本发明实施例釆用 BPE向位于同一计算节点的 CEP实例注册 所述 BPE的预设算法， 所述 CEP实例在检测到所述预设算法关注的事件 满足所述预设算法中的触发计算的条件时将所述预设算法计算所需的事 件传递给所述 BPE, 所述 BPE在根据所述预设算法进行计算得到计算结 果后， 若判断所述计算结果需进一步计算， 则将所述计算结果作为中间事 件写入所述 CEP实例， 所述 CEP实例在检测到已注册的其它算法关注的 事件满足所述其它算法的触发计算的条件且所述中间事件为所述其它算 法计算所需的事件时，将所述中间事件传递给注册了所述其它算法的 BPE 的技术手段， 由 CEP实例完成多事件多算法的关联， 简化了计算过程， 提 高了时效性。

图 4为本发明实施例提供的另一种数据处理方法的流程示意图。 所述 方法应用于 CEP实例上， 如图 4所示， 所述方法包括：

301、执行与所述 CEP位于同一计算节点上的 BPE的预设算法的注册， 所述 BPE的预设算法包括关注的事件的标识、计算所需的事件的标识和触 发计算的条件。

具体地， 所述关注的事件的标识用于标识预设算法关注的事件， 所述 计算所需的事件的标识用于标识预设算法计算所需的事件。

302、 在检测到所述预设算法关注的事件满足所述触发计算的条件时， 将所述预设算法计算所需的事件传递给所述 BPE, 以使所述 BPE根据所 述预设算法对所述预设算法计算所需的事件进行计算、 得到计算结果。

303、 获得所述 BPE写入的所述计算结果， 所述计算结果为所述 BPE 在根据预设的业务逻辑判断所述计算结果需进一步计算时， 以中间事件的 方式写入的。

304、 在检测到已注册的除所述预设算法之外的其它算法关注的事件 满足所述其它算法中的触发计算的条件且所述中间事件为所述其它算法 计算所需的事件时， 将所述中间事件传递给位于所述计算节点上、 向所述 CEP实例注册了所述其它算法的 BPE。

可选地， 所述预设算法关注的事件包括所述预设算法关注的原始事件 和所述预设算法关注的的中间事件； 对应地， 301之前， 还可以包括： 从消息总线上提取所述预设算法关注的原始事件；

所述 CEP实例检测所述预设算法关注的原始事件和所述预设算法关 注的的中间事件是否满足所述触发计算的条件。

本实施例的具体实现可参照图 1、 图 2所示实施例。

可见， 本发明实施例釆用 BPE向位于同一计算节点的 CEP实例注册 所述 BPE的预设算法， 所述 CEP实例在检测到所述预设算法关注的事件 满足所述预设算法中的触发计算的条件时将所述预设算法计算所需的事 件传递给所述 BPE, 所述 BPE在根据所述预设算法进行计算得到计算结 果后， 若判断所述计算结果需进一步计算， 则将所述计算结果作为中间事 件写入所述 CEP实例， 所述 CEP实例在检测到已注册的其它算法关注的 事件满足所述其它算法的触发计算的条件且所述中间事件为所述其它算 法计算所需的事件时，将所述中间事件传递给注册了所述其它算法的 BPE 的技术手段， 由 CEP实例完成多事件多算法的关联， 简化了计算过程， 提 高了时效性。

本领域普通技术人员可以理解： 实现上述各方法实施例的全部或部分 步骤可以通过程序指令相关的硬件来完成。 前述的程序可以存储于一计算 机可读取存储介质中。 该程序在执行时， 执行包括上述各方法实施例的步 骤； 而前述的存储介质包括： ROM、 RAM, 磁碟或者光盘等各种可以存 储程序代码的介质。

图 5为本发明实施例提供的一种计算节点 300的结构示意图。 如图 5 所示， 计算节点 300包括：

BPE21 , 用于向 CEP实例 22注册 BPE21的预设算法， 所述预设算法 包括关注的事件的标识、 计算所需的事件的标识和触发计算的条件， 所述 关注的事件的标识用于标识预设算法关注的事件， 所述计算所需的事件的 标识用于标识预设算法计算所需的事件；

CEP实例 22,用于在检测到所述预设算法关注的事件满足所述触发计 算的条件时， 将所述预设算法计算所需的事件传递给 BPE21 ;

BPE21还用于，根据所述预设算法对所述预设算法计算所需的事件进 行计算， 得到计算结果； 若根据预设的业务逻辑判断所述计算结果需进一 步计算， 则将所述计算结果作为中间事件写入 CEP实例 22;

CEP实例 22还用于， 在检测到已注册的除所述预设算法之外的其它 算法关注的事件满足所述其它算法中的触发计算的条件且所述中间事件 为所述其它算法计算所需的事件时， 将所述中间事件传递给位于计算节点 300上向 CEP实例 22注册了所述其它算法的 BPE。

需要说明的是， 一个计算节点上可以部署一个或多个 BPE, 该一个或 多个 BPE均向该计算节点上的 CEP实例注册自己的算法， 每个算法均包 括各自关注的事件的标识、 计算所需的事件的标识和触发计算的条件。 通 常， 事件的标识可以是事件的名称。

可选地， BPE21还用于， 将所述计算结果发送给另一计算节点上的 DPE, 以使所述 DPE将所述计算结果保存到数据库中。

图 6为本发明实施例提供的又一种计算节点 400的结构示意图。 如图 6所示，在图 5所示计算节点 300的基础上，计算节点 400还包括： DPE23 , 对应地， BPE21还用于， 将所述计算结果发送给 DPE23 , 以使 DPE23将 所述计算结果保存到数据库中。

进一步地， ， CEP实例 22还用于：

从消息总线上提取原始事件；

检测所述提取原始事件和被写入的中间事件中所述预设算法关注的 事件是否满足所述触发计算的条件。

进一步地， CEP实例 22具体用于， 接收消息服务器根据调度器的订 购指令发送的计算节点 300上所有 BPE的算法关注的原始事件，检测所述 原始事件和所述被写入的中间事件中所述预设算法关注的事件是否满足 所述触发计算的条件， 在检测到满足所述触发计算的条件时， 将所述预设 算法计算所需的事件传递给 BPE21 , 以及用于在检测到已注册的除所述预 设算法之外的其它算法关注的事件满足所述其它算法中的触发计算的条 件且所述中间事件为所述其它算法计算所需的事件时， 将所述中间事件传 递给位于计算节点 300上、 向 CEP实例 22注册了所述其它算法的 BPE; 或， 计算节点 300还包括事件过滤器 24, 事件过滤器 24用于根据调 度器的订购配置从消息总线上提取计算节点上 300所有 BPE的算法关注的 原始事件， 并传递给所述 CEP实例；

CEP实例 22具体用于， 接收事件过滤器 24传递的所述原始事件， 检 测所述原始事件和所述被写入的中间事件中所述预设算法关注的事件是 否满足所述触发计算的条件， 在检测到满足所述触发计算的条件时， 将所 述预设算法计算所需的事件传递给 BPE21 , 以及用于在检测到已注册的除 所述预设算法之外的其它算法关注的事件满足所述其它算法中的触发计 算的条件且所述中间事件为所述其它算法计算所需的事件时， 将所述中间 事件传递给位于计算节点 300上、 向 CEP实例 22注册了所述其它算法的 BPE。

可选地， BPE21还用于， 根据预设的业务逻辑判断所述计算结果是否 需要汇总， 若需要则将所述计算结果发送给另一计算节点上的 APE, 以使 所述 APE对所述 BPE和其它 BPE的计算结果进行汇总计算、 将汇总结果 传递给 DPE。

可选地， 计算节点 400还包括 APE25; 对应地， BPE21还用于， 根据 预设的业务逻辑判断所述计算结果是否需要汇总， 若需要则将所述计算结 果发送给 APE25 , 以使所述 APE25对所述 BPE和其它 BPE的计算结果进 行汇总计算、 将汇总结果传递给 DPE23;

在一种实现方式下， APE25与所述 DPE23可以是位于同一计算节点； 在另一种实现方式下， APE25与所述 DPE23可以是位于不同计算节点。

进一步地， APE25还用于， 若根据预设的业务逻辑判断所述计算结果 需进一步计算， 则将所述计算结果作为中间事件写入同一计算节点上的 CEP实例 22。 上述计算节点实施例的具体实现参照本发明实施例提供的一种数据 处理方法。

可见， 本发明实施例釆用 BPE向位于同一计算节点上的 CEP实例注 册所述 BPE的预设算法， 所述 CEP实例在检测到所述预设算法关注的事 件满足所述预设算法中的触发计算的条件时将所述预设算法计算所需的 事件传递给所述 BPE, 所述 BPE在根据所述预设算法进行计算得到计算 结果后， 若判断所述计算结果需进一步计算， 则将所述计算结果作为中间 事件写入所述 CEP实例， 所述 CEP实例在检测到已注册的其它算法关注 的事件满足所述其它算法中的触发计算的条件且所述中间事件为所述其 它算法计算所需的事件时， 将所述中间事件传递给注册了所述其它算法的 BPE的技术手段， 由 CEP实例完成多事件多算法的关联， 简化了计算过 程， 提高了时效性。

图 7是本发明实施例提供的又一种计算节点 500的结构示意图。 如图 7所示， 计算节点 500—般包括至少一个处理器 510, 例如中央处理单元 ( Central Processing Unit, 简称 CPU ) , 数字信号处理器 （ Digital Signal Processor, 简称 DSP ) , 至少一个端口 520, 存储器 530, 和至少一个通 信总线 540。通信总线 540用于实现这些装置之间的连接通信。处理器 510 用于执行存储器 530中存储的可执行模块， 例如计算机程序； 可选地， 计 算节点 500可包括用户接口 550, 用户接口 550包括但不限于显示器， 键 盘和点击设备， 例如鼠标、 轨迹球（ trackball ) 、 触感板或者触感显示屏。 存储器 530可能包含高速随机存储器 （ Random Access Memory, 简称 RAM ) , 也可能还包括非易失性存储器 （ non- volatile memory ) , 例如至 少一个磁盘存储器。

在一些实施方式中， 存储器 530存储了如下的元素， 可执行模块或者 数据结构， 或者他们的子集， 或者他们的扩展集：

操作系统 532, 包含各种系统程序， 用于实现各种基础业务以及处理 基于硬件的任务；

应用模块 534, 包含各种应用程序， 用于实现各种应用业务。

应用模块 534中包括但不限于 BPE21和 CEP实例 22。 进一步地， 应 用模块 534中还包括： DPE23、 事件过滤器 24、 APE25。 应用模块 534中各单元的具体实现参见图 3或图 4所示实施例中的相 应单元， 在此不赘述。

可见， 本发明实施例釆用 BPE向位于同一计算节点上的 CEP实例注 册所述 BPE的预设算法， 所述 CEP实例在检测到所述预设算法关注的事 件满足所述预设算法中的触发计算的条件时将所述预设算法计算所需的 事件传递给所述 BPE, 所述 BPE在根据所述预设算法进行计算得到计算 结果后， 若判断所述计算结果需进一步计算， 则将所述计算结果作为中间 事件写入所述 CEP实例， 所述 CEP实例在检测到已注册的其它算法关注 的事件满足所述其它算法中的触发计算的条件且所述中间事件为所述其 它算法计算所需的事件， 将所述中间事件传递给注册了所述其它算法的 BPE的技术手段， 由 CEP实例完成多事件多算法的关联， 简化了计算过 程， 提高了时效性。

图 8为本发明实施例提供的一种分布式计算系统 600的结构示意图。 如图 8所示， 系统 600包括：

调度器 61和至少一个计算节点 62 ,各计算节点 62均为如上实施例所 述的计算节点；

调度器 61 , 用于收集各计算节点 62的资源信息， 根据所述资源信息 确定各计算节点 62的调度方式， 根据各计算节点 62的调度方式分别调度 各计算节点 62。 需要说明的是， 这里的资源信息包括但不限于 CPU利用 率和内存占用率等。

进一步地， 所述调度方式包括： 预设算法， 预设业务逻辑， 是否开启 计算节点 62上的 BPE、 APE, DPE, 等。

进一步地， 当计算节点 62有多个时， 调度器 61具体用于， 预留一个 计算节点作为备用计算节点， 调度除所述备用计算节点之外的其它计算节 点； 当所述调度的其它计算节点中一个计算节点异常时， 根据所述异常的 计算节点的调度方式和所述异常的计算节点的緩存数据调度所述备用计 算节点。

需要说明的是， 本实施例中的调度器 61也可以部署在一个计算节点 (例如， 刀片系统中的某个刀片实体或刀片节点）上， 换言之， 即本实施 例中的调度器 61也可以被包括在一个计算节点内。 较优的， 部署有调度 器的计算节点上进一步包括但不限于 BPE21和 CEP实例 22。 进一步地， 还可以包括： DPE23、 事件过滤器 24、 APE25。

本实施例的具体实现参照本发明实施例提供的一种数据处理方法。 可见， 本发明实施例釆用 BPE向位于同一计算节点上的 CEP实例注 册所述 BPE的预设算法， 所述 CEP实例在检测到所述预设算法关注的事 件满足所述预设算法中的触发计算的条件时将所述预设算法计算所需的 事件传递给所述 BPE, 所述 BPE在根据所述预设算法进行计算得到计算 结果后， 若判断所述计算结果需进一步计算， 则将所述计算结果作为中间 事件写入所述 CEP实例， 所述 CEP实例在检测到已注册的其它算法关注 的事件满足所述其它算法中的触发计算的条件且所述中间事件为所述其 它算法计算所需的事件时， 将所述中间事件传递给注册了所述其它算法的

BPE的技术手段， 由 CEP实例完成多事件多算法的关联， 简化了计算过 程 （尤其是简化 KPI/KQI的计算过程） ， 提高了时效性。

进一步的， 本发明实施例中， 釆用了 N+1的容错机制， 即有一个计算 节点是作为备用计算节点， 当任何一个计算节点损坏， 备用的计算节点能 立刻接手其工作， 从而确保整个处理流不会长时间的中断。

进一步的， 本发明实施例的分布式计算系统的运作是由调度器来完成 协调工作的， 调度器根据收集到的各计算节点 62的资源信息确定各计算 节点 62的调度方式， 所述调度方式包括： 预设算法， 预设业务逻辑， 是 否开启计算节点 62上的 BPE、 APE, DPE等 （例如， 调度器根据收集到 的各计算节点 62来确定在哪个计算节点上计算哪些 KPI ) , 以实现处理 能力能均匀的分布到各个计算节点上， 从而提供了灵活的分布式调度方 案。

图 9为本发明实施例的一种应用场景示意图。 如图 9所示， 本发明实 施例应用在单一计算节点的场景下， 该单一计算节点上设置了 CEP实例、 BPE1-BPE6, DPE, 其中， BPE1-BPE3负责初级 KPI的计算， 即计算 IE, 也可称为 IE factory, BPE4-BPE6负责高级 KPI的计算，也可称为 Metrics。 该场景中执行如下步骤：

401、 BPE1-BPE6向 CEP实例注册各自的算法， 即向 CEP的运行时 ( CEP Runtime )创建模式与注册回调监听器 （ create pattern and register callback listener ) 。

402、 CEP实例在检测到 BPE1-BPE3算法各自关注的事件分别满足各 算法中触发计算的条件时， 将各算法计算所需的事件传递给 ΒΡΕ1-ΒΡΕ3 »

403、 BPE1-BPE3根据各自的算法分别对各自计算所需的事件进行计 算， 将初级 KPI上报给 DPE。

404、 DPE完成入库，即将初级 KPI保存到数据仓库 ( Data Warehouse, 简称 DWH ) 中。

405、 BPE1-BPE3将初级 KPI重新写入 CEP实例。

406、 CEP实例检测到 BPE4-BPE6算法关注的事件满足各算法中触发 计算的条件且初级 KPI为 BPE4-BPE6算法计算所需的事件， 将初级 KPI 传递给 BPE4-BPE6。

407、 BPE4-BPE6生成高级 KPI, 并上报给 DPE。

408、 DPE完成入库， 即将高级 KPI保存到 DWH中。

需要说明的是， 403中 BPE1-BPE3将初级 KPI上报给 DPE、 404和 405-408可以同步进行。

图 10为本发明实施例的又一种应用场景示意图。 如图 10所示， 本发 明实施例应用在多个计算节点的场景下， 两个计算节点上均设置了 CEP 实例、 BPE1-BPE4、 APE和 DPE。 此场景中， 各计算节点上均完成单一场 景下的运算， 包括初级 KPI和高级 KPI , 然后利用 APE完成跨计算节点的 汇总， 并由 DPE完成入库。 具体地， 各计算节点上均执行如下步骤：

501、 BPE1-BPE4分别向各自所在计算节点上的 CEP实例注册各自的 算法。

502、 CEP实例在检测到 BPE1-BPE2算法各自关注的事件分别满足各 算法中的触发计算的条件时， 将各算法计算所需的事件分别传递给

BPE1-BPE2。

503、 BPE1-BPE2根据各自的算法分别对各自计算所需的事件进行计 算， 将初级 KPI传递给 APE。

504、 BPE1-BPE2将初级 KPI重新写入 CEP实例。

505、 APE完成初级 KPI的汇总 , 并将汇总结果上 4艮给 DPE。

506、 DPE完成入库， 即将初级 KPI的汇总结果保存到 DWH。 507、各 CEP实例检测到 BPE3-BPE4算法关注的事件分别满足各算法 中的触发计算的条件且初级 KPI为 BPE3-BPE4算法计算所需的事件， 将 初级 KPI传递给各自计算节点上的 BPE3-BPE4进一步处理。

508、 BPE3-BPE4生成高级 KPI, 将高级 KPI传递给 APE。

509、 APE完成高级 KPI的汇总， 并将汇总结果上报给 DPE。

510、 DPE完成入库 , 即将高级 KPI的汇总结果保存到 DWH中。 需要说明的是， 503中 BPE1-BPE2将初级 KPI传递给 APE、 505、 506 和 504、 507-510可以同步进行。

图 11为本发明实施例的再一种应用场景示意图。 如图 11所示， 本发 明实施例应用在多个计算节点的场景下， 一个计算节点上设置了 CEP实 例、 BPE1-BPE4、 APE和 DPE, 另一计算节点上设置了 CEP实例和 BPE1、 BPE2。 此场景中， 各计算节点上均计算初级 KPI, 然后利用 APE完成跨 计算节点的初级 KPI的汇总， 并在 APE将汇总结果传递给 DPE的同时， 写入 APE所在计算节点的 CEP实例， 由其它 BPE完成高级 KPI的计算， 并通过 DPE入库。 具体地， 该场景中执行如下步骤：

601、 BPE1-BPE4分别向各自所在计算节点上的 CEP实例注册各自的 算法。

602、 CEP实例在检测到 BPE1-BPE2算法关注的事件分别满足各算法 中的触发计算的条件时， 将各算法计算所需的事件传递给 BPE1-BPE2。

603、 BPE 1 -BPE根据各自的算法分别对各自计算所需的事件进行计 算， 将初级 KPI传递给 APE。

604、 APE完成初级 KPI的汇总 , 并将汇总结果上 4艮给 DPE。

605、 DPE完成入库， 即将初级 KPI的汇总结果保存到 DWH中。

606、 APE将汇总结果重新写入 CEP实例。

607、 CEP实例检测到 BPE3 -BPE4算法关注的事件分别满足各算法中 的触发计算的条件且上述汇总结果为 BPE3-BPE4算法计算所需的事件， 将上述汇总结果传递给 BPE3-BPE4进一步处理。

608、 BPE3-BPE4生成高级 KPI, 将计算结果传递给 DPE。

609、 DPE完成入库 , 即将高级 KPI的汇总结果保存到 DWH中。 需要说明的是， 604中 APE将汇总结果上报给 DPE、 605和 606-609 可以同步进行。

综上所述， 本发明实施例釆用 BPE向位于同一计算节点的 CEP实例 注册所述 BPE的预设算法， 所述 CEP实例在检测到所述预设算法关注的 事件满足所述预设算法中的触发计算的条件时将所述预设算法计算所需 的事件传递给所述 BPE, 所述 BPE在根据所述预设算法进行计算得到计 算结果后， 若判断所述计算结果需进一步计算， 则将所述计算结果作为中 间事件写入所述 CEP实例， 所述 CEP实例在检测到已注册的其它算法关 注的事件满足所述其它算法的触发计算的条件且所述中间事件为所述其 它算法计算所需的事件时， 将所述中间事件传递给注册了所述其它算法的 BPE的技术手段， 由 CEP实例完成多事件多算法的关联， 简化了计算过 程， 提高了时效性。

最后应说明的是： 以上实施例仅用以说明本发明的技术方案， 而非对 其限制； 尽管参照前述实施例对本发明进行了详细的说明， 本领域的普通 技术人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修 改， 或者对其中部分技术特征进行等同替换； 而这些修改或者替换， 并不 使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

权 利 要 求 书

1、 一种数据处理方法， 其特征在于， 所述方法应用于商业处理实体 BPE上， 所述方法包括：

向与所述 BPE位于同一计算节点上的复杂事件处理 CEP实例注册所 述 BPE的预设算法， 所述 BPE的预设算法包括关注的事件的标识、 计算 所需的事件的标识和触发计算的条件,所述关注的事件的标识用于标识预 设算法关注的事件， 所述计算所需的事件的标识用于标识预设算法计算所 需的事件；

获得所述 CEP实例传递的所述预设算法计算所需的事件，其中所述计 算所需的事件是所述 CEP实例在检测到所述预设算法关注的事件满足所 述触发计算的条件时， 所传递的；

根据所述预设算法对所述预设算法计算所需的事件进行计算， 得到计 算结果；

若根据预设的业务逻辑判断所述计算结果需进一步计算， 则将所述计 算结果作为中间事件写入所述 CEP实例， 使得所述 CEP实例在检测到已 注册的除所述预设算法之外的其它算法关注的事件满足所述其它算法中 的触发计算的条件且所述中间事件为所述其它算法计算所需的事件时， 将 所述中间事件传递给位于所述计算节点上、向所述 CEP实例注册了所述其 它算法的 BPE。

2、 根据权利要求 1所述的方法， 其特征在于， 所述根据所述预设算 法对所述预设算法计算所需的事件进行计算， 得到计算结果之后还包括： 将所述计算结果传递给入库处理实体 DPE, 以使所述 DPE将所述计 算结果保存到数据库中； 所述 DPE位于所述计算节点或另一计算节点上。

3、 根据权利要求 2所述的方法， 其特征在于， 所述将所述计算结果 传递给入库处理实体 DPE包括：

根据预设的业务逻辑判断所述计算结果是否需要汇总， 若需要则将所 述计算结果传递给算术处理实体 APE, 以使所述 APE对所述 BPE和其它 BPE的计算结果进行汇总计算、 将汇总结果传递给所述 DPE;

所述 APE位于所述计算节点或另一计算节点上，所述 APE与所述 DPE 位于同一计算节点或不同计算节点。

4、 一种数据处理方法， 其特征在于， 所述方法应用于复杂事件处理 CEP实例上， 所述方法包括：

执行与所述 CEP位于同一计算节点上的商业处理实体 BPE的预设算 法的注册， 所述 BPE的预设算法包括关注的事件的标识、计算所需的事件 的标识和触发计算的条件， 所述关注的事件的标识用于标识预设算法关注 的事件， 所述计算所需的事件的标识用于标识预设算法计算所需的事件； 在检测到所述预设算法关注的事件满足所述触发计算的条件时， 将所 述预设算法计算所需的事件传递给所述 BPE, 以使所述 BPE根据所述预 设算法对所述预设算法计算所需的事件进行计算得到计算结果；

获得所述 BPE写入的所述计算结果， 所述计算结果为所述 BPE在根 据预设的业务逻辑判断所述计算结果需进一步计算时， 以中间事件的方式 写入的；

在检测到已注册的除所述预设算法之外的其它算法关注的事件满足 所述其它算法中的触发计算的条件且所述中间事件为所述其它算法计算 所需的事件时， 将所述中间事件传递给位于所述计算节点上、 向所述 CEP 实例注册了所述其它算法的 BPE。

5、 根据权利要求 4所述的方法， 其特征在于， 所述预设算法关注的 事件包括所述预设算法关注的原始事件和所述预设算法关注的的中间事 件； 所述在检测到所述预设算法关注的事件满足所述触发计算的条件之 前， 还包括：

从消息总线上提取所述预设算法关注的原始事件；

所述 CEP实例检测所述预设算法关注的原始事件和所述预设算法关 注的的中间事件是否满足所述触发计算的条件。

6、 一种数据处理方法， 其特征在于， 所述方法应用于包括商业处理 实体 BPE与复杂事件处理 CEP实例的计算节点上， 所述方法包括：

BPE向 CEP实例注册所述 BPE的预设算法， 所述预设算法包括关注 的事件的标识、 计算所需的事件的标识和触发计算的条件， 所述关注的事 件的标识用于标识预设算法关注的事件， 所述计算所需的事件的标识用于 标识预设算法计算所需的事件；

所述 CEP实例在检测到所述预设算法关注的事件满足所述触发计算 的条件时， 将所述预设算法计算所需的事件传递给所述 BPE; 所述 BPE根据所述预设算法对所述预设算法计算所需的事件进行计 算， 得到计算结果；

若所述 BPE根据预设的业务逻辑判断所述计算结果需进一步计算，则 将所述计算结果作为中间事件写入所述 CEP实例；

所述 CEP实例在检测到已注册的除所述预设算法之外的其它算法关 注的事件满足所述其它算法中的触发计算的条件且所述中间事件为所述 其它算法计算所需的事件时， 将所述中间事件传递给位于所述计算节点 上、 向所述 CEP实例注册了所述其它算法的 BPE。

7、 根据权利要求 6所述的方法， 其特征在于， 所述 BPE根据所述预 设算法对所述预设算法计算所需的事件进行计算， 得到计算结果之后还包 括：

所述 BPE将所述计算结果传递给入库处理实体 DPE, 以使所述 DPE 将所述计算结果保存到数据库中； 所述 DPE位于所述计算节点或另一计 算节点上。

8、 根据权利要求 6或 7所述的方法， 其特征在于， 所述 CEP实例在 检测到所述预设算法关注的事件满足所述触发计算的条件之前， 还包括： 从消息总线上提取原始事件；

所述 CEP实例检测所述提取的原始事件和被写入的中间事件中所述 预设算法关注的事件是否满足所述触发计算的条件。

9、 根据权利要求 8所述的方法， 其特征在于， 所述从消息总线上提 取原始事件包括：

接收消息服务器根据调度器的订购指令发送的所述计算节点上所有 BPE的算法关注的原始事件； 或

位于所述计算节点上的事件过滤器根据调度器的订购配置从消息总 线上提取所述计算节点上所有 BPE的算法关注的原始事件，并传递给所述 CEP实例。

10、 根据权利要求 7-9中任一项所述的方法， 其特征在于， 所述 BPE 将所述计算结果传递给入库处理实体 DPE包括：

所述 BPE根据预设的业务逻辑判断所述计算结果是否需要汇总，若需 要则将所述计算结果传递给算术处理实体 APE,以使所述 APE对所述 BPE 和其它 BPE的计算结果进行汇总计算、 将汇总结果传递给所述 DPE; 所述 APE位于所述计算节点或另一计算节点上，所述 APE与所述 DPE 位于同一计算节点或不同计算节点。

11、根据权利要求 10所述的方法，其特征在于，所述 APE对所述 BPE 和其它 BPE的计算结果进行汇总计算之后， 还包括：

若所述 APE根据预设的业务逻辑判断所述汇总结果需进一步计算， 则所述 APE将所述汇总结果作为中间事件写入与所述 APE位于同一计算 节点的 CEP实例。

12、 一种计算节点， 其特征在于， 包括： 商业处理实体 BPE和复杂事 件处理 CEP实例；

所述 BPE, 用于向所述 CEP实例注册所述 BPE的预设算法， 所述预 设算法包括关注的事件的标识、 计算所需的事件的标识和触发计算的条 件， 所述关注的事件的标识用于标识预设算法关注的事件， 所述计算所需 的事件的标识用于标识预设算法计算所需的事件；

所述 CEP实例，用于在检测到所述预设算法关注的事件满足所述触发 计算的条件时， 将所述预设算法计算所需的事件传递给所述 BPE;

所述 BPE还用于，根据所述预设算法对所述预设算法计算所需的事件 进行计算， 得到计算结果； 若根据预设的业务逻辑判断所述计算结果需进 一步计算， 则将所述计算结果作为中间事件写入所述 CEP实例；

所述 CEP实例还用于，在检测到已注册的除所述预设算法之外的其它 算法关注的事件满足所述其它算法中的触发计算的条件且所述中间事件 为所述其它算法计算所需的事件时， 将所述中间事件传递给位于所述计算 节点上、 向所述 CEP实例注册了所述其它算法的 BPE。

13、 根据权利要求 12所述的计算节点， 其特征在于， 所述 BPE还用 于， 将所述计算结果发送给另一计算节点上的入库处理实体 DPE, 以使所 述 DPE将所述计算结果保存到数据库中； 或

所述计算节点还包括 DPE, 所述 BPE还用于， 将所述计算结果发送 给同一计算节点上的 DPE, 以使所述 DPE将所述计算结果保存到数据库 中。

14、 根据权利要求 12或 13所述的计算节点， 其特征在于， 所述 CEP 实例还用于：

从消息总线上提取原始事件；

检测所述提取的原始事件和被写入的中间事件中所述预设算法关注 的事件是否满足所述触发计算的条件。

15、 根据权利要求 14所述的计算节点， 其特征在于， 所述 CEP实例 具体用于， 接收消息服务器根据调度器的订购指令发送的所述计算节点上 所有 BPE的算法关注的原始事件，检测所述原始事件和所述被写入的中间 事件中所述预设算法关注的事件是否满足所述触发计算的条件， 在检测到 满足所述触发计算的条件时， 将所述预设算法计算所需的事件传递给所述 BPE, 以及用于在检测到已注册的除所述预设算法之外的其它算法关注的 事件满足所述其它算法中的触发计算的条件且所述中间事件为所述其它 算法计算所需的事件时， 将所述中间事件传递给位于所述计算节点上、 向 所述 CEP实例注册了所述其它算法的 BPE;

或， 所述计算节点还包括事件过滤器， 所述事件过滤器用于根据调度 器的订购配置从消息总线上提取所述计算节点上所有 BPE的算法关注的 原始事件， 并传递给所述 CEP实例；

所述 CEP实例具体用于， 接收所述事件过滤器传递的所述原始事件， 检测所述原始事件和所述被写入的中间事件中所述预设算法关注的事件 是否满足所述触发计算的条件， 在检测到满足所述触发计算的条件时， 将 所述预设算法计算所需的事件传递给所述 BPE, 以及用于在检测到已注册 的除所述预设算法之外的其它算法关注的事件满足所述其它算法中的触 发计算的条件且所述中间事件为所述其它算法计算所需的事件时， 将所述 中间事件传递给位于所述计算节点上、向所述 CEP实例注册了所述其它算 法的 BPE。

16、 根据权利要求 12-15中任一项所述的计算节点， 其特征在于， 所 述 BPE还用于，根据预设的业务逻辑判断所述计算结果是否需要汇总，若 需要则将所述计算结果发送给另一计算节点上的算术处理实体 APE, 以使 所述 APE对所述 BPE和其它 BPE的计算结果进行汇总计算、 将汇总结果 传递给所述 DPE; 或 所述计算节点还包括 APE, 所述 BPE还用于， 根据预设的业务逻辑 判断所述计算结果是否需要汇总， 若需要则将所述计算结果发送给同一计 算节点上的 APE,以使所述 APE对所述 BPE和其它 BPE的计算结果进行 汇总计算、 将汇总结果传递给所述 DPE;

所述 APE与所述 DPE位于同一计算节点或不同计算节点。

17、 根据权利要求 16所述的计算节点， 其特征在于， 所述 APE还用 于， 若根据预设的业务逻辑判断所述汇总结果需进一步计算， 则将所述汇 总结果作为中间事件写入同一计算节点上的 CEP实例。

18、 一种分布式计算系统， 其特征在于， 包括： 调度器和至少一个计 算节点， 各计算节点均为如权利要求 12-17中任一项所述的计算节点； 所述调度器， 用于收集各计算节点的资源信息， 根据所述资源信息确 定各计算节点的调度方式， 根据各计算节点的调度方式分别调度各计算节 点。

19、 根据权利要求 18所述的系统， 其特征在于， 所述调度方式包括： 预设算法， 预设业务逻辑， 是否开启计算节点上的商业处理实体 BPE、 算 术处理实体 APE、 入库处理实体 DPE。

20、 根据权利要求 18或 19所述的系统， 其特征在于， 所述计算节点 有多个；

所述调度器具体用于， 预留一个计算节点作为备用计算节点， 调度除 所述备用计算节点之外的其它计算节点； 当所述调度的其它计算节点中一 个计算节点异常时， 根据所述异常的计算节点的调度方式和所述异常的计 算节点的緩存数据调度所述备用计算节点。