WO2012116587A1 - 相似邮件处理系统和方法 - Google Patents

Abstract

本发明公开了一种相似邮件处理系统和方法，属于网络技术领域。本系统包括：控制节点，用于接收预设格式的样本，并判断所述预设格式的样本是否为相似计算最终结果，如果否，则根据预设标准对所述预设格式的样本进行合并或拆分处理，得到多个子任务数据包，将所述多个子任务数据包分配给多个相似运算节点；多个所述相似运算节点，用于对接收到的子任务数据包内的样本进行相似关系计算，获得相似计算中间结果，所述相似计算中间结果为预设格式的样本，将所述预设格式的样本反馈给所述控制节点，所述相似计算中间结果包括唯一相似样本、相似关系和所述唯一相似样本的相似计数。

Description

相似邮件处理系统和方法 技术领域

本发明涉及网络技术领域， 特别涉及一种相似邮件处理系统和方法。 背景技术

随着网络的发展， 邮件渐渐发展成为人们日常通信的重要工具， 但是， 随之产生的垃圾 邮件也日益增多， 造成了使用者的不便， 在现有技术中， 采用了基于文本相似技术的反垃圾 邮件体系， 从统计到拦截拥有一套成熟的架构， 这套系统主要基于了单机运算的模式， 能够 在较短时间内统计一定数量规模的邮件， 从中统计获得邮件之间的相似关系和相似指数。 由 于这套系统能够识别出经过一定幅度变形和添加了干扰元素的垃圾邮件， 因此实际应用中， 无论在拦截垃圾邮件的规模， 数量和准确度上都具有十分优异的指标。

在对现有技术进行分析后， 发明人发现现有技术至少具有如下缺点：

现有技术中的相似邮件处理系统是基于单机运算模式， 在能够处理的输入数据和输出数 据规模上具有较大限制， 对单次百万级别以上的输入数据规模存在运算速度慢， 系统负载高 的问题， 无法实现实时， 在准实时统计上由于完成时间较长也无法做到。 发明内容

本发明实施例提供了一种相似邮件处理系统和方法。 所述技术方案如下：

一种相似邮件处理系统包括：

控制节点， 用于接收预设格式的样本， 并判断所述预设格式的样本是否为相似计算最终 结果， 如果否， 则根据预设标准对所述预设格式的样本进行合并或拆分处理， 得到多个子任 务数据包， 将所述多个子任务数据包分配给多个相似运算节点；

多个所述相似运算节点， 用于对接收到的子任务数据包内的样本进行相似关系计算， 获 得相似计算中间结果， 所述相似计算中间结果为预设格式， 将所述相似计算中间结果反馈给 所述控制节点， 所述相似计算中间结果至少包括： 唯一相似样本、 相似关系和所述唯一相似 样本的相似计数。

所述系统还包括：

数据输入节点，用于收集原始样本并将所述原始样本并将所述原始样本转换为预设格式， 并将转换后的原始样本包作为预设格式的样本发送给所述控制节点。 所述数据输入节点包括：

数据收集模块， 用于收集相似邮件处理系统服务器或服务器集群上的邮件， 将所述邮件 作为原始样本；

转换模块， 用于将所述原始样本转换为与相似计算匹配的预设格式；

发送模块， 用于为转换后的原始样本包分配任务标识， 并将转换后的原始样本包作为预 设格式的样本整体或分批次发送给所述控制节点。

所述发送模块包括：

优化传输单元， 用于根据网络情况， 将所述转换后的原始样本包分拆成多个数据包； 发送单元， 用于将所述优化传输单元输出的所述多个数据包作为预设格式的样本分批次 发送给所述控制节点。

所述控制节点包括：

接收模块， 用于接收预设格式的样本；

判断模块， 用于判断所述预设格式的样本是否满足预设条件， 如果是， 则所述预设格式 的样本是相似计算最终结果， 如果否， 则所述预设格式的样本不是相似计算最终结果， 并触 发合并拆分模块；

所述合并拆分模块， 用于根据所述相似运算节点的心跳信息， 对所述预设格式的样本进 行合并或拆分处理， 得到多个子任务数据包； 所述心跳信息用于监控和描述所述相似运算节 点的空闲计算能力；

分配模块，用于将所述合并拆分模块得到的所述多个子任务数据包分别分配各个相似运 算节点。

所述合并拆分模块具体用于统计所述转换后的原始样本包和所述预设格式的样本的数据 关键指标， 并根据配置文件登记信息和所述数据关键指标对所述转换后的原始样本包和所述 预设格式的样本进行排序， 并根据排序顺序将所述所述转换后的原始样本包或所述预设格式 的样本进行合并或拆分处理， 得到多个子任务数据包。

所述控制节点还包括：

心跳信息监控模块， 用于每隔预设时长或当接收到预设格式的样本时， 获取所述相似运 算节点的心跳信息。

所述控制节点还用于保存并记录所述预设格式的样本， 记录所述多个子任务数据包及所 述子任务数据包分配的相似运算节点的映射关系， 并记录所述相似运算节点的心跳信息。

所述心跳信息监控模块还用于当所述相似运算节点在预设时长内未返回心跳信息且连续 未返回所述心跳信息超过预设次数， 则标记所述相似运算节点崩溃， 并标记所述相似运算节 点上运行的子任务数据包失败， 并触发所述分配模块根据所述相似运算节点的心跳信息将标 记失败的子任务数据包分配给未崩溃且空闲的相似运算节点。 一种相似邮件处理方法， 包括：

接收原始样本和预设格式的样本， 并将接收到的原始样本转换为预设格式；

判断所述转换后的原始样本包和所述预设格式的样本是否为相似计算最终结果； 如果否， 则根据预设标准对所述转换后的原始样本包和所述预设格式的样本进行合并或 拆分处理， 得到多个子任务数据包；

对每个所述子任务数据包内的样本进行相似关系计算， 获得相似计算中间结果， 所述相 似计算中间结果为预设格式的样本， 反馈所述预设格式的样本， 所述相似计算中间结果至少 包括： 唯一相似样本、 相似关系和所述唯一相似样本的相似计数。

接收原始样本和预设格式的样本， 具体包括：

收集相似邮件处理系统服务器或服务器集群上的邮件， 将所述邮件作为原始样本， 为所 述原始样本分配任务标识；

根据所述预设格式的样本的任务标识判断所述预设格式的样本所属任务是否完成， 如果 否， 则将所述预设格式的样本与所述所属任务的其他样本汇总。

判断转换后的原始样本包和所述预设格式的样本是否为相似计算最终结果， 具体包括： 判断所述转换后的原始样本包是否满足预设条件， 如果所述转换后的原始样本包满足预 设条件， 则所述转换后的原始样本包是相似计算最终结果， 如果所述转换后的原始样本不满 足预设条件， 则所述转换后的的原始样本包不是相似计算最终结果；

判断所述预设格式的样本是否满足预设条件， 如果所述预设格式的样本满足预设条件， 则所述预设格式的样本是相似计算最终结果， 如果所述预设格式的样本不满足预设条件， 则 所述预设格式的样本不是相似计算最终结果。

根据预设标准对所述转换后的原始样本包和所述预设格式的样本进行合并或拆分处理， 得到多个子任务数据包， 具体包括：

统计所述转换后的原始样本包和所述预设格式的样本的数据关键指标， 并根据配置文件 登记信息和所述数据关键指标对所述转换后的原始样本包和所述预设格式的样本进行排序， 并根据排序顺序将所述所述转换后的原始样本包或所述预设格式的样本进行合并或拆分处 理， 得到多个子任务数据包。

当所述预设格式的样本为至少经过一次相似计算的样本且本地服务器上存在至少两个所 述预设格式的样本所属任务返回的预设格式的样本时， 对所述至少两个所述预设格式的样本 所属任务返回的预设格式的样本进行合并处理。

所述预设标准至少包括下列任一项：

当所述转换后的原始样本包中的记录条目数或打成数据包后的总尺寸字节数超过预设阈 值， 对所述转换后的原始样本包进行拆分处理；

所述预设格式的样本中的记录条目数或打成数据包后的总尺寸字节数超过预设阈值， 对 所述预设格式的样本进行拆分处理。

本发明实施例提供的技术方案的有益效果是：

通过由控制节点对输入的样本进行合并或拆分的处理， 并将得到的多个子任务数据包分 配给多个相似运算节点的分布式系统来实现对千万以上级别邮件的相似处理和计算， 从而提 高了运算速度和运算能力， 降低了系统负载， 可以支持实时和准实时统计与拦截的反垃圾邮 件需求。 附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一 些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这 些附图获得其他的附图。

图 la是本发明实施例提供的一种相似邮件处理系统的示意图；

图 lb是本发明实施例提供的一种相似邮件处理系统的示意图；

图 2是本发明实施例提供的一种相似邮件处理方法的流程图；

图 3是本发明实施例提供的一种相似邮件处理方法的流程图。 具体实施方式

为使本发明的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明实施方式作进 一步地详细描述。

在介绍本发明提供的相似邮件处理系统之前，首先对本发明的基础知识进行简要的介绍： 本发明基于如下的简单常识： 垃圾邮件一定在数量和规模上具有显著的规模， 一定在形 式上存在雷同现象， 不难发现， 只要我们处理和运算的速度足够快， 就可以在第一时间识别 出垃圾邮件（具有较大的数量规模）， 从而实施拦截。 可见， 越早发现大规模的相似的垃圾邮 件， 就能越早进行干预， 从而越早的将垃圾邮件挡在邮箱系统外 （根据统计， 邮箱系统超过 60%的邮件为垃圾邮件）。 这对用户在使用上带来的好处不言而喻， 同时也可大幅降低运营成 本 （带宽、 存储） 的压力。

实施例 1

为了提高了运算速度和运算能力， 降低了系统负载， 本发明实施例提供了一种相似邮件 处理系统， 参见图 la， 该系统包括： 控制节点 101和多个相似运算节点 102。

其中， 控制节点 101， 用于接收预设格式的样本， 并判断所述预设格式的样本是否为相 似计算最终结果， 如果否， 则根据预设标准对所述预设格式的样本进行合并或拆分处理， 得 到多个子任务数据包， 将所述多个子任务数据包分配给多个相似运算节点；

多个所述相似运算节点 102， 用于对接收到的子任务数据包内的样本进行相似关系计算， 获得相似计算中间结果， 所述相似计算中间结果为预设格式的样本， 将所述预设格式的样本 反馈给所述控制节点， 所述相似计算中间结果至少包括： 唯一相似样本、 相似关系和所述唯 一相似样本的相似计数。

参见图 lb， 所述系统还包括：

数据输入节点 103， 用于收集原始样本并将所述原始样本并将所述原始样本转换为预设 格式， 并将转换后的原始样本包作为预设格式的样本发送给所述控制节点。

所述数据输入节点 103包括：

数据收集模块 1031， 用于收集相似邮件处理系统服务器或服务器集群上的邮件， 将所述 邮件作为原始样本；

转换模块 1032， 用于将所述原始样本转换为与相似计算匹配的预设格式；

发送模块 1033， 用于为转换后的原始样本包分配任务标识， 并将转换后的原始样本包作 为预设格式的样本整体或分批次发送给所述控制节点。

所述发送模块 1033包括：

优化传输单元 1033a， 用于根据网络情况， 将所述转换后的原始样本包分拆成多个数据 包；

发送单元 1033b， 用于将所述优化传输单元输出的所述多个数据包作为预设格式的样本 分批次发送给所述控制节点。

所述控制节点 101包括：

接收模块 1011， 用于接收预设格式的样本；

判断模块 1012， 用于判断所述预设格式的样本是否满足预设条件， 如果是， 则所述预设 格式的样本是相似计算最终结果， 如果否， 则所述预设格式的样本不是相似计算最终结果， 并触发合并拆分模块；

所述合并拆分模块 1013，用于根据所述相似运算节点的心跳信息，对所述预设格式的样 本进行合并或拆分处理， 得到多个子任务数据包； 所述心跳信息用于描述所述相似运算节点 的空闲计算能力；

进一步地， 所述合并拆分模块 1013， 具体用于统计所述转换后的原始样本包和所述预设 格式的样本的数据关键指标， 并根据配置文件登记信息和所述数据关键指标对所述转换后的 原始样本包和所述预设格式的样本进行排序， 并根据排序顺序将所述所述转换后的原始样本 包或所述预设格式的样本进行合并或拆分处理， 得到多个子任务数据包。

分配模块 1014，用于将所述合并拆分模块得到的所述多个子任务数据包分别分配各个相 似运算节点 102。

所述控制节点 101还包括：

心跳信息监控模块， 用于每隔预设时长或当接收到预设格式的样本时， 获取所述相似运 算节点的心跳信息。

所述控制节点 101还用于保存并记录所述预设格式的样本， 记录所述多个子任务数据包 及所述子任务数据包分配的相似运算节点的映射关系，并记录所述相似运算节点的心跳信息。

所述心跳信息监控模块还用于当所述相似运算节点在预设时长内未返回心跳信息且连续 未返回所述心跳信息超过预设次数， 则标记所述相似运算节点崩溃， 并标记所述相似运算节 点上运行的子任务数据包失败， 并触发所述分配模块根据所述相似运算节点的心跳信息将标 记失败的子任务数据包分配给未崩溃且空闲的相似运算节点。

通过由控制节点对输入的样本进行合并或拆分的处理， 并将得到的多个子任务数据包分 配给多个相似运算节点的分布式系统来实现对千万以上级别邮件的相似处理和计算， 从而提 高了运算速度和运算能力， 降低了系统负载， 可以支持实时和准实时统计与拦截的反垃圾邮 件需求。

实施例 2

为了提高了运算速度和运算能力， 降低了系统负载， 本发明实施例提供了一种相似邮件 处理方法， 该方法的执行主体为上述实施例 1提供的相似邮件处理系统， 参见图 2， 该方法 包括：

201： 相似邮件处理系统接收原始样本和预设格式的样本， 并将接收到的原始样本转换为 预设格式；

202:相似邮件处理系统判断该转换后的原始样本包和该预设格式的样本是否为相似计算 最终结果；

203： 如果否， 则根据预设标准对该转换后的原始样本包和该预设格式的样本进行合并或 拆分处理， 得到多个子任务数据包； 如果是， 则该预设格式的样本是相似计算最终结果， 将该预设格式的样本作为该相似计 算最终结果输出；

204： 相似邮件处理系统对每个该子任务数据包内的样本进行相似关系计算， 获得相似计 算中间结果， 该相似计算中间结果为预设格式的样本， 反馈该预设格式的样本， 该相似计算 中间结果包括唯一相似样本、 相似关系和该唯一相似样本的相似计数。

其中， 接收原始样本和预设格式的样本， 具体包括：

收集相似邮件处理系统服务器或服务器集群上的邮件， 将该邮件作为原始样本， 为该原 始样本分配任务标识；

根据该预设格式的样本的任务标识判断该预设格式的样本所属任务是否完成， 如果否， 则将该预设格式的样本与该所属任务的其他样本汇总。

其中， 判断转换后的原始样本包和该预设格式的样本是否为相似计算最终结果， 具体包 括：

判断所述转换后的原始样本包是否满足预设条件， 如果所述转换后的原始样本包满足预 设条件， 则所述转换后的原始样本包是相似计算最终结果， 如果所述转换后的原始样本不满 足预设条件， 则所述转换后的的原始样本包不是相似计算最终结果；

判断所述预设格式的样本是否满足预设条件， 如果所述预设格式的样本满足预设条件， 则所述预设格式的样本是相似计算最终结果， 如果所述预设格式的样本不满足预设条件， 则 所述预设格式的样本不是相似计算最终结果。

其中，根据预设标准对该转换后的原始样本包和该预设格式的样本进行合并或拆分处理， 得到多个子任务数据包， 具体包括：

统计该转换后的原始样本包和该预设格式的样本的数据关键指标， 并根据配置文件登记 信息和该数据关键指标对该转换后的原始样本包和该预设格式的样本进行排序， 并根据排序 顺序将该该转换后的原始样本包或该预设格式的样本进行合并或拆分处理， 得到多个子任务 数据包。

其中， 当该预设格式的样本为至少经过一次相似计算的样本且本地服务器上存在至少两 个该预设格式的样本所属任务返回的预设格式的样本时， 对该至少两个该预设格式的样本所 属任务返回的预设格式的样本进行合并处理。

所述预设标准至少包括下列任一项：

当该转换后的原始样本包中的记录条目数超过预设阈值， 对该转换后的原始样本包进行 拆分处理；

当所述转换后的原始样本包中的记录条目数或打成数据包后的总尺寸字节数超过预设阈 值， 对所述转换后的原始样本包进行拆分处理；

所述预设格式的样本中的记录条目数或打成数据包后的总尺寸字节数超过预设阈值， 对 所述预设格式的样本进行拆分处理。

本实施例提供的方法， 与系统实施例属于同一构思， 其具体实现过程详见系统实施例， 这里不再赘述。

通过由控制节点对输入的样本进行合并或拆分的处理， 并将得到的多个子任务数据包分 配给多个相似运算节点的分布式系统来实现对千万以上级别邮件的相似处理和计算， 从而提 高了运算速度和运算能力， 降低了系统负载， 可以支持实时和准实时统计与拦截的反垃圾邮 件需求。

实施例 3

为了提高了运算速度和运算能力， 降低了系统负载， 本发明实施例提供了一种相似邮件 处理方法， 该方法的执行主体为上述实施例 1提供的相似邮件处理系统的各个不同节点， 该 相似邮件处理系统包括数据输入节点、 控制节点和相似计算节点， 在本实施例中以该相似邮 件处理系统中包含数据输入节点、 控制节点、 4 个相似计算节点为例进行说明， 需要说明的 是， 控制节点既可以接收原始样本进行转换， 也可以接收来自数据输入节点的样本， 并由数 据输入节点进行转换， 在本发明实施例中， 以数据输入节点进行转换为例进行说明， 参见图 3， 该方法的一个实施例具体包括：

301 :数据输入节点中的数据收集模块收集相似邮件处理系统服务器或服务器集群上的邮 件， 将该邮件作为原始样本；

其中， 该数据输入节点用于收集原始样本并将该原始样本并将该原始样本转换为预设格 式， 并将转换后的原始样本包作为预设格式的样本发送给该控制节点。

本领域技术人员可以获知， 该数据输入节点可以为能够与控制节点通信的一台服务器， 还可以为多台服务器组成的服务器集群。

302： 数据输入节点中的转换模块将该原始样本转换为与相似计算匹配的预设格式； 需要说明的是， 在后续进行相似计算时， 为提升处理速度与方便记录处理结果， 需要对 原始样本进行转换， 该转换是根据后续的相似计算节点上配置的相似计算算法进行的， 需转 换为该相似计算算法对应的数据格式。 其中， 该相似计算算法可以为多种， 本发明对此不做 限定。

303： 数据输入节点中的发送模块为转换后的原始样本包分配任务标识， 并将转换后的原 始样本包作为预设格式的样本整体或分批次发送给该控制节点；

其中， 分配任务标识是为了使系统正在运行的任务透明化， 技术人员可以通过任务标识 获知当前系统正在运行的是哪些任务， 并可以当需要终止某项任务时， 控制节点可以根据任 务标识向正在运行该任务的子任务的相似运算节点发送终止指令。

可选地， 根据该预设格式的样本的任务标识判断该预设格式的样本所属任务是否完成， 如果否， 则将该预设格式的样本与该所属任务的其他样本汇总。

具体地， 当原始样本的规模超过一定值， 例如 1G时， 发送模块中的优化传输单元根据网 络情况， 将该转换后的原始样本包分拆成多个数据包； 并由发送单元将该优化传输单元输出 的该多个数据包作为预设格式的样本分批次发送给该控制节点，占用较少的内存和带宽资源。

需要说明的是， 数据输入节点可以为控制节点的一部分， 其转换格式的功能也可以由控 制节点进行， 当控制节点包含该功能时， 数据输入节点负责收集邮件， 并将邮件打包作为原 始样本发送给控制节点， 控制节点接收到原始样本后， 扫描原始样本， 将原始样本转换为预 设格式的样本， 进行步骤 305的判断后， 当该预设格式的样本不是相似计算最终结果时， 统 计预设格式的关键数据指标（包括数据包尺寸或记录条目等指标）， 根据样本的配置信息（包 括每个包包括的记录条数或每个包的尺寸）， 根据关键数据指标进行排序， 将排序后的排列拆 分或合并成多个子任务数据包。 上述的步骤是对原始样本的处理。

304： 控制节点的接收模块接收预设格式的样本， 该预设格式的样本包括转换后的原始样 本包和由相似计算节点反馈的相似计算中间结果；

其中， 控制节点用于接收预设格式的样本， 并判断该预设格式的样本是否为相似计算最 终结果， 如果否， 则根据预设标准对该预设格式的样本进行合并或拆分处理， 得到多个子任 务数据包， 将该多个子任务数据包分配给多个相似运算节点；

后续步骤中出现的预设格式的样本根据其来源和经过的处理步骤的不同， 可以分为经过 数据输入节点转换的转换后的原始样本包和未经数据输入节点转换的预设格式的样本， 而对 于控制节点来说， 控制节点接收到的数据都为预设格式， 因此， 后续不对转换后的原始样本 包和预设格式的样本进行区别， 而统称为预设格式的样本。

需要说明的是， 在接收样本时， 分 2种情况：

1、所有样本一次性输入，任务的生命周期在本次输入数据的相似运算完成后达到结束点， 相似关系只覆盖本次输入的样本；

2、样本分开多次传输， 任务生命周期较长或无终止时间， 需要输出的相似关系数据要覆 盖所有输入数据， 并且能够即输出已经传输完毕的样本部分之间的相似结果， 无需等待所有 样本全部传输完再启动相似计算过程；

需要说明的是， 该控制节点是整套系统中的控制部分， 该控制节点还用于处理来自数据 输入节点的请求， 在本实例中， 该请求用于请求对预设格式的样本进行相似计算处理， 为了 保障安全性， 控制节点可以对该请求的合法性进行验证， 当请求验证合法时， 再对接收到的 预设格式的样本进行处理。 该控制节点一般为一台服务器， 在热备情况下， 可由两台或更多。

进一步地， 该控制节点还用于保存并记录该预设格式的样本， 记录该多个子任务数据包 及该子任务数据包分配的相似运算节点的映射关系， 并记录该相似运算节点的心跳信息。

305： 控制节点的判断模块判断该预设格式的样本是否满足预设条件；

如果是， 则该预设格式的样本是相似计算最终结果， 将该预设格式的样本作为该相似计 算最终结果输出；

如果否， 则该预设格式的样本不是相似计算最终结果， 并执行步骤 306;

其中， 预设条件是指样本的相似计数达到预设阈值且此样本包已经过滤并剔除掉独立样 本， 独立样本是指未与其他任何样本有相似关系的； 或经过相似计算后并未发现新的相似关 系， 例如， 输入 1000个样本， 经过计算后没有可合并的样本， 仍然为 1000个样本。

其中该预设条件为技术人员根据系统的承载能力或其他要素设定的， 本发明实施例不做 具体限定。

在一个实施例中， 当预设格式的样本为转换后的原始样本包时， 该转换后的原始样本包 内的记录条目之间的差异很大， 无需进行相似计算， 此时， 该转换后的原始样本包即可以作 为相似计算最终结果。

306： 控制节点的合并拆分模块根据该相似运算节点的心跳信息， 对该预设格式的样本 进行合并或拆分处理， 得到多个子任务数据包；

其中， 该心跳信息用于监控和描述该相似运算节点的空闲计算能力， 包括： 其 CPU或内 存的配置情况和计算能力与当前正在运行的任务列表。 心跳信息监控模块用于每隔预设时长 或当接收到预设格式的样本时， 获取该相似运算节点的心跳信息。 具体地， 心跳信息监控模 块每隔预设时长 （例如 1分钟） 向相似运算节点发送心跳信息请求或当控制节点接收到预设 格式的样本时触发心跳信息监控模块向相似运算节点发送心跳信息请求， 相似计算节点接收 到心跳信息请求时， 向控制节点反馈当前正在运行的子任务列表等信息。 心跳信息监控模块 保存反馈的心跳信息， 定期监控所有相似计算节点的状况， 并监控正在运行的子任务的完成 情况， 包括正在运行、 结束或异常失败等， 用于在分派子任务数据包和相似计算节点崩溃时 的查询处理。

需要说明的是， 控制节点和所有的相似计算模块之间维持 TCP长链接。

进一步地， 本发明实施例中， 所述预设格式的样本中的记录条目数或打成数据包后的总 尺寸字节数超过预设阈值， 对所述预设格式的样本进行拆分处理， 具体地， 当预设格式的样 本必须满足如下几个方面中的任一条时， 需对样本进行拆分处理： 1、 样本已经按照数据关键指标排序；

2、 记录条目数超过预设阈值， 如 10万；

3、 打成数据包后的数据包尺寸超过预设阈值， 如 1G;

进一步地， 本发明实施例中， 当样本必须满足如下几个方面中的任一条时， 需对样本进 行合并处理：

1、样本在排序后， 相似的记录条目只出现在此数据关键指标的某个连续范围内， 或以较 高概率出现；

2、 根据数据关键指标在完成相似计算， 经过唯一化样本步骤（即只保留一个样本， 但记 录合并掉的所有样本与此唯一样本之间的相似指数）， 保持不变；

3、 一个任务标识在其生命周期内， 存在多次和较慢的原始数据提交过程时， 必定发生一 部分已经先行计算相似的情况， 或在数据量较大， 一次需分发多个子任务数据包并接收对应 的相似运算结果时， 当所述预设格式的样本为至少经过一次相似计算的样本且本地服务器上 存在至少两个所述预设格式的样本所属任务返回的预设格式的样本时， 对所述至少两个所述 预设格式的样本所属任务返回的预设格式的样本进行合并处理。

需要说明的是， 合并运算处理到后期， 会出现全部的唯一相似样本数量仍然庞大的情况， 此时若仍然按照上面方法处理， 会陷入一个分拆合并的死循环过程， 当唯一相似样本数量超 过预设阈值， 为避免陷入死循环， 根据不同的情况进行处理， 具体如下：

1、 丢弃相似计数较小的样本， 例如， 丢弃全部相似计数小于 5的样本；

2、若经过一轮相似计算后， 若某个子任务数据包中的样本之间均不存在相似关系， 则标 记此部分子任务数据已经达到了最终计算状态， 不在参与后续的合并和分拆过程， 直至这个 任务标识有新的输入数据传入并排序在这个子任务数据包的数据范围内；

3、 经过的计算次数越多， 则丢弃的阈值应该逐步增大；

4、 当全部子任务均达到最终状态或经历的运算次数达到一个阈值， 则不再进行下一轮运 算， 标记此部分原始输入数据已经全部计算完成， 本次相似计算任务完成。

307 :控制节点的分配模块将该合并拆分模块得到的该多个子任务数据包分别分配各个相 似运算节点；

本领域技术人员可以获知， 在步骤 305的分配时已经考虑到了各个相似计算节点的计算 能力， 所以各个相似计算节点接收到的数据包大小和包含条目可以不一致。

需要说明的是， 如果当前相似运算节点无法处理所有的子任务数据包， 可以先分配一部 分， 等待相似运算节点的心跳信息显示该相似运算节点空闲， 再将后续的子任务数据包分配 出去， 一个相似计算节点上可以分配有一个或多个子任务数据包。 308： 相似计算节点接收一个或多个子任务数据包， 并对接收到的子任务数据包内的样 本进行相似关系计算， 获得相似计算中间结果， 该相似计算中间结果为预设格式的样本， 将 该预设格式的样本反馈给该控制节点， 执行步骤 304， 直到该样本所属任务完成。

进一步的， 当控制节点接收到预设格式的样本时， 根据其任务标识判断该样本所属任务 中的子任务数据包是否都已经反馈， 如果是， 则该次任务结束， 如果否， 将该反馈的预设格 式的样本和后续输入的样本再进行合并或拆分， 并再次分配给相似计算节点进行相似计算。

该相似计算中间结果至少包括唯一相似样本、 相似关系和该唯一相似样本的相似计数， 还可以包括其他信息。 相似关系是指样本之间的相似指数， 例如， 样本 A与 B之间不相似， 则其相似关系为 Sim (A, B) =0。

在本实施例中， 相似计算节点只负责每个数据包内部条目的相似计算， 并将每个数据包 的相似计算中间结果反馈给控制节点， 而不对数据包之间进行处理。 且运算节点单元负责进 行具体的相似计算任务， 除了数据的输入和输出外， 不对原始数据进行任何改变。

其中， 相似计算节点可以为不同 CPU计算能力的服务器， 并可以使用一个或几个相似计 算的核心算法；

优选地， 为了避免系统信息过于繁杂， 相似计算节点不会主动上报自己的心跳信息， 只 在收到心跳信息请求后才返回必要的信息给控制节点。

优选地， 每个任务具有最长运行时间限制， 即如果运算时间超过指定秒数， 则该任务作 废， 此时只有部分相似样本完成了相似运算， 根据子任务的配置信息来决定是否需要返回未 完成的结果给控制节点。 在子任务运行期间， 当接收到控制节点发出了终止指令， 则该运算 立即停止并立即丢弃； 当子任务运算完毕， 由相似计算节点发请求给控制节点， 返回结果数 据， 具备超时重试机制； 即当相似计算节点发送的请求在预设时长内未接收到控制节点的反 馈时， 则重新发送， 当重新发送次数超过预设次数， 则认为控制节点崩溃。 若发生相似计算 节点崩溃， 相似计算节点内的数据和未完成的子任务不做恢复处理， 在相似计算节点恢复响 应后， 等待新的运算请求；

下面给出一个简化后的实例来示意如何获得海量输入原始样本之间的完整相似关系： 原始样本中含有 ABCDEFGHI9个样本，根据数据关键指标排序后，拆分成 3个包，分别为：

1号包 A B C

2号包 D E F

3号包 G H I 经过第一轮派发和样本反馈后， 得到如下结果:

3 个子任务均已经完成并返回结果， 准备进行第二轮派发， 由于数据量少， 经过合并后 不需要再次拆分：

将这个数据包作为新的子任务派发后， 得到下面结果:

单独的 G代表无任何样本与他相似。 由于只有一个包， 且运算完毕， 本次请求已经全部 处理好。 此时， 整理后的唯一相似样本和全部的相似关系如下：

将这个结果记录在磁盘文件或数据库当中， 可随时被查阅， 整个处理过程结束。

在实际运行中， 会出现相似计算节点崩溃的情况， 当所述相似运算节点在预设时长内未 返回心跳信息且连续未返回所述心跳信息超过预设次数， 则标记所述相似运算节点崩溃， 并 标记所述相似运算节点上运行的子任务数据包失败， 并触发所述分配模块根据所述相似运算 节点的心跳信息将标记失败的子任务数据包分配给未崩溃且空闲的相似运算节点。 下面以一 个例子进行说明： 本实施例中， 该相似邮件处理系统包括一控制节点和 4个相似计算节点， 该 4个相似计 算节点分别为 NodeK Node2、 Node3和 Node4, 正在运行的子任务数据包为 Pl、 P2、 P3和 P4， 其相似计算节点上正在运行的子任务数据包可以见下表 1。

表 1

由表 3可以获知， Node2在崩溃时正在运行 P3， 且由表 2可以知道 Node4空闲， 且 Node3 已经运行完毕， Node4和 Node3中， Node3的运算能力较强， 而 P3数据量较大， 则将 P3分配 给 Node3重新进行相似计算。

在实际运行中， 还会出现控制节点崩溃的情况， 正常情况下， 控制节点会定时通过 LOG 保存一份子任务信息列表， 通过跟重构的子任务列表对比， 可以找到需要派发和崩溃时派发 失败的那部分子任务， 从而能够恢复崩溃前的大致状态。 这种情况包括控制节点崩溃， 相似 计算节点正常运作。 此时， 相似计算节点在短时间内回报的运算结果请求将全部超时， 但由 于有超时重试直到成功为止的机制， 已经分派出去的子任务信息和数据均保持完整， 当控制 节点恢复服务后， 相似计算节点回报请求会被正常接收和处理。 另外， 控制节点恢复启动后 立即通过心跳服务来收集此刻正在运行的子任务情况， 结合控制节点的 LOG数据可以重新构 造子任务列表。 需要注意， 在极端情况下， 这里存在丢失部分信息的可能性， 丢失的信息可 能为已经接受了相似计算请求， 但还没来得及拆分或已经拆分但没来得及派发的那一部分。

通过由控制节点对输入的样本进行合并或拆分的处理， 并将得到的多个子任务数据包分 配给多个相似运算节点的分布式系统来实现对千万以上级别邮件的相似处理和计算， 从而提 高了运算速度和运算能力， 降低了系统负载， 可以支持实时和准实时统计与拦截的反垃圾邮 件需求。

本发明实施例提供的上述技术方案的全部或部分可以通过程序指令相关的硬件来完成， 所述程序可以存储在可读取的存储介质中， 该存储介质包括： 醒、 RAM, 磁碟或者光盘等各 种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例， 并不用以限制本发明， 凡在本发明的精神和原则之 内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求 书

1、 一种相似邮件处理系统， 其特征在于， 包括：

控制节点， 用于接收预设格式的样本， 并判断所述预设格式的样本是否为相似计算最终 结果， 如果否， 则根据预设标准对所述预设格式的样本进行合并或拆分处理， 得到多个子任 务数据包， 将所述多个子任务数据包分配给多个相似运算节点；

多个所述相似运算节点， 用于对接收到的子任务数据包内的样本进行相似关系计算， 获 得相似计算中间结果， 所述相似计算中间结果为预设格式， 将所述相似计算中间结果反馈给 所述控制节点， 所述相似计算中间结果至少包括： 唯一相似样本、 相似关系和所述唯一相似 样本的相似计数。

2、 根据权利要求 1所述的系统， 其特征在于， 所述系统还包括：

数据输入节点，用于收集原始样本并将所述原始样本并将所述原始样本转换为预设格式， 并将转换后的原始样本包作为预设格式的样本发送给所述控制节点。

3、 根据权利要求 2所述的系统， 其特征在于， 所述数据输入节点包括：

数据收集模块， 用于收集相似邮件处理系统服务器或服务器集群上的邮件， 将所述邮件 作为原始样本；

转换模块， 用于将所述原始样本转换为与相似计算匹配的预设格式；

发送模块， 用于为转换后的原始样本包分配任务标识， 并将转换后的原始样本包作为预 设格式的样本整体或分批次发送给所述控制节点。

4、 根据权利要求 3所述的系统， 其特征在于， 所述发送模块包括：

优化传输单元， 用于根据网络情况， 将所述转换后的原始样本包分拆成多个数据包； 发送单元， 用于将所述优化传输单元输出的所述多个数据包作为预设格式的样本分批次 发送给所述控制节点。

5、 根据权利要求 1所述的系统， 其特征在于， 所述控制节点包括：

接收模块， 用于接收预设格式的样本；

判断模块， 用于判断所述预设格式的样本是否满足预设条件， 如果是， 则所述预设格式 的样本是相似计算最终结果， 如果否， 则所述预设格式的样本不是相似计算最终结果， 并触 发合并拆分模块；

所述合并拆分模块， 用于根据所述相似运算节点的心跳信息， 对所述预设格式的样本进 行合并或拆分处理， 得到多个子任务数据包； 所述心跳信息用于监控和描述所述相似运算节 点的空闲计算能力；

分配模块， 用于将所述合并拆分模块得到的所述多个子任务数据包分别分配各个相似运 算节点。

6、根据权利要求 5所述的系统， 其特征在于， 所述合并拆分模块具体用于统计所述转换 后的原始样本包和所述预设格式的样本的数据关键指标， 并根据配置文件登记信息和所述数 据关键指标对所述转换后的原始样本包和所述预设格式的样本进行排序， 并根据排序顺序将 所述所述转换后的原始样本包或所述预设格式的样本进行合并或拆分处理， 得到多个子任务 数据包。

7、 根据权利要求 5所述的系统， 其特征在于， 所述控制节点还包括：

心跳信息监控模块， 用于每隔预设时长或当接收到预设格式的样本时， 获取所述相似运 算节点的心跳信息。

8、根据权利要求 7所述的系统， 其特征在于， 所述控制节点还用于保存并记录所述预设 格式的样本， 记录所述多个子任务数据包及所述子任务数据包分配的相似运算节点的映射关 系， 并记录所述相似运算节点的心跳信息。

9、根据权利要求 7所述的系统， 其特征在于， 所述心跳信息监控模块还用于当所述相似 运算节点在预设时长内未返回心跳信息且连续未返回所述心跳信息超过预设次数， 则标记所 述相似运算节点崩溃， 并标记所述相似运算节点上运行的子任务数据包失败， 并触发所述分 配模块根据所述相似运算节点的心跳信息将标记失败的子任务数据包分配给未崩溃且空闲的 相似运算节点。

10、 一种相似邮件处理方法， 其特征在于， 包括：

接收原始样本和预设格式的样本， 并将接收到的原始样本转换为预设格式；

判断所述转换后的原始样本包和所述预设格式的样本是否为相似计算最终结果； 如果否， 则根据预设标准对所述转换后的原始样本包和所述预设格式的样本进行合并或 拆分处理， 得到多个子任务数据包；

对每个所述子任务数据包内的样本进行相似关系计算， 获得相似计算中间结果， 所述相 似计算中间结果为预设格式的样本， 反馈所述预设格式的样本， 所述相似计算中间结果至少 包括： 唯一相似样本、 相似关系和所述唯一相似样本的相似计数。

11、 根据权利要求 10所述的方法， 其特征在于， 接收原始样本和预设格式的样本， 具体 包括：

收集相似邮件处理系统服务器或服务器集群上的邮件， 将所述邮件作为原始样本， 为所 述原始样本分配任务标识；

根据所述预设格式的样本的任务标识判断所述预设格式的样本所属任务是否完成， 如果 否， 则将所述预设格式的样本与所述所属任务的其他样本汇总。

12、根据权利要求 10所述的方法， 其特征在于， 判断转换后的原始样本包和所述预设格 式的样本是否为相似计算最终结果， 具体包括：

判断所述转换后的原始样本包是否满足预设条件， 如果所述转换后的原始样本包满足预 设条件， 则所述转换后的原始样本包是相似计算最终结果， 如果所述转换后的原始样本不满 足预设条件， 则所述转换后的的原始样本包不是相似计算最终结果；

判断所述预设格式的样本是否满足预设条件， 如果所述预设格式的样本满足预设条件， 则所述预设格式的样本是相似计算最终结果， 如果所述预设格式的样本不满足预设条件， 则 所述预设格式的样本不是相似计算最终结果。

13、根据权利要求 10所述的方法， 其特征在于， 根据预设标准对所述转换后的原始样本 包和所述预设格式的样本进行合并或拆分处理， 得到多个子任务数据包， 具体包括：

统计所述转换后的原始样本包和所述预设格式的样本的数据关键指标， 并根据配置文件 登记信息和所述数据关键指标对所述转换后的原始样本包和所述预设格式的样本进行排序， 并根据排序顺序将所述所述转换后的原始样本包或所述预设格式的样本进行合并或拆分处 理， 得到多个子任务数据包。

14、根据权利要求 10所述的方法， 其特征在于， 当所述预设格式的样本为至少经过一次 相似计算的样本且本地服务器上存在至少两个所述预设格式的样本所属任务返回的预设格式 的样本时， 对所述至少两个所述预设格式的样本所属任务返回的预设格式的样本进行合并处 理。

15、 根据权利要求 10所述的方法， 其特征在于， 所述预设标准至少包括下列任一项： 当所述转换后的原始样本包中的记录条目数或打成数据包后的总尺寸字节数超过预设阈 值， 对所述转换后的原始样本包进行拆分处理；

所述预设格式的样本中的记录条目数或打成数据包后的总尺寸字节数超过预设阈值， 对 所述预设格式的样本进行拆分处理。