WO2015078231A1

WO2015078231A1 - 网页模板生成方法和服务器

Info

Publication number: WO2015078231A1
Application number: PCT/CN2014/087822
Authority: WO
Inventors: 翟光亚; 郑海洪; 江蔚然; 周向根
Original assignee: 优视科技有限公司
Priority date: 2013-11-26
Filing date: 2014-09-29
Publication date: 2015-06-04
Also published as: US20160335243A1; US10747951B2

Abstract

本发明公开了一种网页模板生成方法和服务器。该网页模板生成方法包括：采集网页的网页数据，根据网页数据生成网页的网页模板。通过本发明，解决了现有技术中的网页模板生成方法对目标网站依赖性比较强的问题，降低了网页模板生成方法对目标网站的依赖性。

Description

网页模板生成方法和服务器

技术领域

本发明涉及移动浏览器领域，具体而言，涉及一种网页模板生成方法和服务器。

背景技术

针对网页浏览，在现有技术中提出了一种压缩技术，通过扩展HTTP请求，允许网站提供模板和增量文件，在客户端访问相同模板网页时，仅第一次需要下载模板，其它请求仅需要下载增量文件，使用增量文件和模板文件重建原始页面，从而减少客户端的访问流量。因此，该技术可以利用多网页之间的相同部分来压缩流量。

发明人发现该技术的缺陷在于目标网站必须支持该协议，对目标网站的依赖性比较强，并且需要目标网站自己提供模板和对应的增量文件，这也是该压缩技术不能广泛推广的原因之一。

另外，现有技术的自动生成模板的方式主要是依据解析网页DOM(Document Obiect Model)树结构，提取公共部分，此方法计算量大，不易提取，兼容性不强。而且，现有的常用的模板生成程序是对单个网站的，处理规模小。

在用户浏览网页时，终端设备需要接收由服务器发送的大量网页数据，以实现网页展现。在这些展现的网页之间往往存在大量重复数据，每次用户浏览这些有重复数据的网页时，这些重复的数据需要被重复加载，重复传输，不仅在传输过程中占用较多的带宽，而且在网页加载时增加了响应时间，导致网页浏览速度慢。

针对现有技术中的网页模板生成方法对目标网站依赖性比较强的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种网页模板生成方法和服务器，以解决现有技术中的网页模板生成方法对目标网站依赖性比较强的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种网页模板生成方法。根据本发明的网页模板生成方法包括：采集网页的网页数据；根据网页数据生成网页的网页模板；根据生成的网页模板生成模板索引，通过该模板索引，可以检索与网页对应的网页模板。

进一步地，在根据网页数据生成网页的网页模板之后，网页模板生成方法还包括：向提供网页模板的多个模板服务器发布网页模板和模板索引；多个模板服务器分别存储网页模板和模板索引；多个模板服务器中的第一模板服务器利用模板索引检索与网页匹配的网页模板，向多个模板服务器中除第一模板服务器之外的其它模板服务器提供与网页匹配的模板。

进一步地，向提供网页模板的多个模板服务器发布网页模板和模板索引包括：在生成多个网页模板和模板索引之后；计算多个网页模板的集合与历史模板集合的整体差异率；判断整体差异率是否大于预设整体差异率阈值；如果判断出整体差异率大于预设整体差异率阈值，则发布网页模板和模板索引；如果判断出整体差异率不大于预设整体差异率阈值，则不发布网页模板和模板索引。

进一步地，根据生成的网页模板生成模板索引包括：选取质量符合预定质量条件的模板；确定模板适用的URL路径；从URL路径中选取质量符合预定质量条件的模板适用的URL路径；将选取的路径转换成模板索引。

进一步地，在根据网页数据生成网页的网页模板之后，网页模板生成方法还包括：判断网页模板的数量是否达到预设数量；如果判断出网页模板的数量达到预设数量，则计算每个网页模板的覆盖率；将覆盖率小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板进行对比；如果小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板的差异率小于预设差异率阈值，则将小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板合并。

进一步地，将覆盖率小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板进行对比包括：将多个网页模板按照覆盖率大小进行由大到小的排序；将排在后面的网页模板与排在前面的网页模板进行对比。

进一步地，根据生成的网页模板生成模板索引包括：存储多个网页模板；计算每个网页模板的覆盖率；判断每个路径下的网页模板的覆盖率的总和是否达到第二预设覆盖率阈值；删除网页模板的覆盖率的总和未达到第二预设覆盖率阈值的路径下的网页模板。

为了实现上述目的，根据本发明的另一方面，提供了一种网页模板服务器。根据本发明的网页模板服务器包括：采集单元，用于采集网页的网页数据；生成单元，用于根据网页数据生成网页的网页模板；索引单元，用于根据生成的网页模板生成模板索引。

进一步地，网页模板服务器还包括：发布单元，用于在根据网页数据生成网页的网页模板之后，向提供网页模板的多个模板服务器发布网页模板和模板索引；存储单元，用于在多个模板服务器分别存储网页模板和模板索引；模板检索单元，用于利用模板索引检索与网页匹配的网页模板，向其它服务器提供与网页匹配的模板。

进一步地，发布单元包括：计算模块，用于计算多个网页模板的集合与历史模板集合的整体差异率；判断模块，用于判断整体差异率是否大于预设整体差异率阈值；发布模块，用于在判断出整体差异率大于预设整体差异率阈值，发布网页模板，在判断出整体差异率不大于预设整体差异率阈值，不发布网页模板。

进一步地，索引单元包括：模板选取模块，用于选取质量符合预定质量条件的模板；模板路径推导模块，用于确定模板适用的URL路径；模板路径剪枝模块，用于从URL路径中选取质量符合预定质量条件的模板适用的URL路径；模板索引生成模块，用于将选取的路径转换成模板索引。

进一步地，网页模板服务器还包括：判断单元，用于在根据网页数据生成网页的网页模板之后判断网页模板的数量是否达到预设数量；计算单元，用于在判断出网页模板的数量达到预设数量时，计算每个网页模板的覆盖率；对比单元，用于将覆盖率小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板进行对比；合并单元，用于在小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板的差异率小于预设差异率阈值，将小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板合并。

进一步地，对比单元包括：排序模块，用于将多个网页模板按照覆盖率大小进行由大到小的排序；对比模块，用于将排在后面的网页模板与排在前面的网页模板进行对比。

进一步地，索引单元包括：存储模块，用于在根据网页数据生成网页的网页模板之后，存储多个网页模板；计算模块，用于计算每个网页模板的覆盖率；第三判断模块，用于判断每个路径下的网页模板的覆盖率的总和是否达到第二预设覆盖率阈值；删除模块，用于删除网页模板的覆盖率的总和未达到第二预设覆盖率阈值的路径下的网页模板。

通过本发明，采用采集网页的网页数据，根据网页数据生成网页的网页模板，解决了现有技术中的网页模板生成方法对目标网站依赖性比较强的问题，进而达到了降低网页模板生成方法对目标网站的依赖性的效果。

为了实现上述目的，根据本发明的另一方面，提供了一种网页模板服务器，该网页模板服务器包括：

网页模板数据存储单元，用于存储网页模板数据；

网页模板数据获取单元，用于从网页模板数据存储单元获取与中间件服务器在接收到来自终端设备的网页浏览请求后获取并转发的网页数据对应的网页模板数据；

差量数据生成单元，用于基于从中间件服务器接收的网页数据和与该网页数据对应的网页模板数据，生成所述网页数据和网页模板数据之间的差量数据，以及

发送单元，用于将所生成的差量数据经由中间件服务器向终端设备转发所述差量数据，以供终端设备根据所述差量数据和终端设备本地存储的与差量数据对应的网页模板数据展现所请求的网页。

其中，所述网页浏览请求包含第一网页模板ID列表，所述网页模板数据获取单元被配置为顺序获取第一网页模板ID列表中的网页模板ID，并且基于所获取的网页模板ID，从所述网页模板数据存储单元中获取网页模板数据，以及

所述差量数据生成单元包括：

差值数据计算模块，用于计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据；和

确定模块，用于在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时，将所述差值数据确定为所述差量数据，以及

在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，所述网页模板数据获取单元和所述差量数据生成单元被配置为重复执行处理过程，直到生成所述差量数据。

其中，当所述网页浏览请求包含网页地址和第一网页模板ID列表，所述网页模板服务器包括，

网页模板ID列表库，用于与网页地址相关联地存储第二网页模板ID列表；

网页模板ID列表获取模块，用于根据所请求浏览的网页的网页地址，从网页模板ID列表库中获取对应的第二网页模板ID列表，

网页模板ID列表合并单元，用于将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表；

所述网页模板数据获取单元被配置为顺序获取第三网页模板ID列表中的网页模板ID，并且基于所获取的网页模板ID，从所述网页模板数据存储单元中获取网页模板数据，以及

所述差量数据生成单元包括：差值数据计算模块，用于计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据；和

其中，所述网页模板ID列表合并单元被配置为对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并，形成第三网页模板ID列表，其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高，第一网页模板ID列表中的剩余部分次之，第二网页模板ID列表中的剩余部分最低。

作为优选的本发明的网页模板服务器还包括：差量数据保存单元，用于与网页模板ID和网页地址相关联地存储差量数据；以及

差量数据查询单元，用于根据网页模板ID和网页地址，在所述差量数据保存单元中查询相关联的差量数据，以及

在所述差量数据查询单元没有查询到相关联的差量数据时，所述差量数据生成单元被配置为生成所述差量数据。

作为优选的本发明的所述差量数据生成单元还包括：

计数单元，用于在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，计数所述差值数据计算单元的计算次数，以及

在所述计算次数不超过第二预定阈值时，所述网页模板数据获取单元被配置为获取下一网页模板ID，并且基于所述下一网页模板ID，从所述网页模板数据存储单元中获取网页模板数据，以及

作为优选的本发明的所述网页模板服务器还包括：差量数据生成失败消息生成单元，用于在所述计算次数超过第二预定阈值时，生成差量数据生成失败消息，以及

所述发送单元还被配置为向所述中间件服务器返回差量数据生成失败消息，以便所述中间件服务器在接收到所述差量数据生成失败消息后，向终端设备返回网页数据来进行展现。

作为优选的本发明的网页模板服务器，还包括：第二判断单元，用于在生成所述差量数据后，判断所述网页模板数据获取单元当前使用的网页模板ID是否属于第一网页模板ID列表，以及

在当前使用的网页模板ID属于第一网页模板ID列表时，所述发送单元被配置为将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备，

在当前使用的网页模板ID不属于第一网页模板ID列表时，所述发送单元被配置为将当前使用的网页模板ID返回给中间件服务器，并且中间件服务器将所接收的网页模板ID和网页数据发送给终端设备。

为了实现上述目的，根据本发明的另一方面，提供了一种网页模板生成方法。该网页模板生成方法可以为网页模板服务器执行的利用网页模板实现网页展现的方法，该方法包括：

在获取到中间件服务器响应于所接收的来自终端设备的网页浏览请求后获取并转发的网页数据后，从网页模板服务器中的网页模板数据存储单元获取与所述网页数据对应的网页模板数据；

基于所述网页数据和所述网页模板数据，生成所述网页数据和网页模板数据之间的差量数据，以及

将所生成的差量数据经由中间件服务器转发给终端设备，以供终端设备根据所述差量数据和终端设备本地存储的与差量数据对应的网页模板数据展现所请求的网页。

其中，所述网页浏览请求包含第一网页模板ID列表，以及

从网页模板数据存储单元获取的网页数据对应的网页模板数据，以及基于所述网页数据和所述网页模板数据，生成所述网页数据和网页模板数据之间的差量数据包括：

顺序获取第一网页模板ID列表中的第一网页模板ID来重复执行下述过程，直到生成所述差量数据：

基于当前获取的第一网页模板ID，从网页模板数据存储单元中获取网页模板数据，以及

计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据，

在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时，将所述差值数据确定为所述差量数据，以及

在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，从第一网页模板ID列表中获取下一第一网页模板ID，作为新的当前获取的第一网页模板ID。

其中，所述网页浏览请求包含所请求的网页的网页地址和第一网页模板ID列表，所述网页模板服务器的网页模板ID列表库中与网页地址相关联地存储有第二网页模板ID列表，

根据所请求浏览的网页的网页地址，从网页模板ID列表库中获取对应的第二网页模板ID列表，

将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表；

顺序获取第三网页模板ID列表中的网页模板ID来重复执行下述过程，直到生成所述差量数据：

基于当前获取的网页模板ID，从网页模板数据存储单元中获取网页模板数据，以及

在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，从第三网页模板ID列表中获取下一网页模板ID，作为新的当前获取的网页模板ID。

其中，将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表包括，

对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并，形成第三网页模板ID列表，其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高，第一网页模板ID列表中的剩余部分次之，第二网页模板ID列表中的剩余部分最低。

其中，还包括：在生成所述差量数据后，所述网页模板服务器判断当前使用的网页模板ID是否属于第一网页模板ID列表，以及

在当前使用的网页模板ID属于第一网页模板ID列表时，所述网页模板服务器将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备，

在当前使用的网页模板ID不属于第一网页模板ID列表时，所述网页模板服务器将当前使用的网页模板ID返回给中间件服务器，并且中间件服务器将所接收的网页模板ID和网页数据发送给终端设备。

为了实现上述目的，根据本发明的另一方面，提供了一种具有处理器可执行的程序代码的计算机可读介质，其特征在于，在被执行时，所述程序代码使得处理器执行下述步骤：采集网页的网页数据；根据所述网页数据生成所述网页的网页模板；根据生成的所述网页模板生成模板索引。

为了实现上述目的，根据本发明的另一方面，提供了一种计算机程序，该计算机程序用于执行本发明提供的任意一种网页模板生成方法。

利用本发明的网页模板实现网页展现的方法和网页模板服务器，通过设置网页模板服务器来存储和计算网页模板和网页数据之间的差量数据，由中间件服务器将差量数据发送至终端设备，终端设备本地调用该差量数据对应的网页模板，从而实现网页的展现。传输网页数据时仅仅传输差量数据，而差量数据相较于网页数据较小。能够有效的节约网络资源，减少带宽的占用，并且提高了网页的加载速度，进一步提高用户的浏览网页的速度。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明第一实施例的网页模板生成方法的流程图；

图2是根据本发明第二实施例的网页模板生成方法的流程图；

图3是根据本发明第三实施例的网页模板生成方法的流程图；

图4是根据本发明第四实施例的网页模板生成方法的流程图；

图5是根据本发明第一实施例的网页模板服务器的示意图；

图6是根据本发明第二实施例的网页模板服务器的示意图；

图7是根据本发明第三实施例的网页模板服务器的示意图；

图8是根据本发明第四实施例的网页模板服务器的示意图；

图9是根据本发明实施例的网页模板服务器与中间服务器以及终端设备连接的方框示意图；

图10是根据本发明实施例的终端设备的一个实施例的方框示意图；

图11是根据本发明实施例的中间件服务器的一个实施例的方框示意图；

图12是根据本发明实施例的网页模板服务器的一个实施例的方框示意图；

图13是根据本发明实施例的网页模板服务器的差量数据生成单元一个实施例的方框示意图；

图14是根据本发明实施例的网页模板服务器的第二个实施例的方框示意图；

图15是根据本发明利用网页模板实现网页展现的方法的实施例流程图；

图16a和图16b是根据本发明利用网页模板实现网页展现的方法的网页浏览请求包含第一网页模板ID列表的情况下S703步骤的第一实施例流程图；

图17a和图17b是根据本发明利用网页模板实现网页展现的方法的网页浏览请求包含第一网页模板ID列表的情况下S703步骤的第二实施例流程图；以及

图18a和图18b为本发明利用网页模板实现网页展现的方法中终端设备获取网页模板数据的过程的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供了一种网页模板生成方法。

图1是根据本发明第一实施例的网页模板生成方法的流程图。如图所示，该网页模板生成方法包括如下步骤：

步骤S101，采集网页的网页数据。采集网页的网页数据是需要浏览网页的网页数据，网页的网页数据来自一个客户端或多个客户端，采集网页的网页数据可以是来自一个客户端的一个或者多个网页的网页数据，采集网页的网页数据还可以是相同域名或不同域名下网页的数据。存储这些采集到的网页数据。

需要说明的是，采集网页的网页数据可以根据用户浏览网页的需要进行采集，上述网页的网页数据的来源只是为了举例说明可以采集上述来源的网页的数据，并不用于限定在采集网页的网页数据过程中一定要采集上述所有网页来源的所有网页的网页数据。

步骤S102，根据采集到的网页数据生成该网页的网页模板。

生成网页模板可以利用一种局部敏感的哈希算法(simhash)算法计算生成。具体地，可以利用simhash算法对网页数据生成一个N位的哈希值，对生成的N位哈希值通过随机散列取前缀的方法生成T个标签值，对每个标签值从同域名下的网页模板中查找网页模板，如果找到合适的网页模板，可以将查找到的网页模板作为需要浏览网页的网页模板进行增量数据的传输，如果没有找到合适的网页模板，可以将需要浏览的网页模板作为网页模板存储在模板库中。

步骤S103，根据生成的网页模板生成模板索引。通过该模板索引，可以查找与网页对应的网页模板，为了模板调用方便，根据生成的网页模板生成模板索引，利用模板索引查找匹配的网页模板。

由于通过上述方法生成的网页模板可能会导致出现相同或相似的网页模板，这些相同或相似的模板可能存储在不同的客户端中，为了使得到的网页模板减少存储空间的占用以及使得得到的网页模板更加有代表性，可以保留相同或相似的网页模板中的其中一个，将其余相同或相似的模板删除。

在该实施例中，在建立网页模板时，可以利用采集到的网页数据建立该网页的网页模板，这样，模板的建立不依赖于特定的目标网站，降低了对目标网站的依赖性，能够针对任何的目标网站建立相应的网页模板。

图2是根据本发明第二实施例的网页模板生成方法的流程图。如图所述，该网页模板生成方法包括如下步骤：

步骤S201，采集网页的网页数据。采集网页的网页数据可以是需要浏览网页的网页数据，网页的网页数据可以来自一个客户端或多个客户端，采集网页的网页数据可以是来自一个客户端的一个或者多个网页的网页数据，采集网页的网页数据还可以是相同域名或不同域名下网页的数据。

步骤S202，根据采集到的网页数据生成该网页的网页模板。

由于通过上述步骤生成的模板不止一个，为了能够获得与用户浏览的网页匹配的网页模板，还需要对生成的网页模板进行筛选。为了筛选方便，首先执行以下步骤S203至步骤S205。

步骤S203，向提供网页模板的多个模板服务器发布网页模板和模板索引。在根据网页数据生成网页的网页模板之后，可以向提供网页模板的多个模板服务器发布网页模板。其中，多个模板服务器可以向不同的网站提供网页模板。

步骤S204，多个模板服务器分别存储网页模板和模板索引。多个模板服务器分别存储接收到的网页模板，这样，在多个模板服务器中的每个模板服务器中都存在网页模板，需要在该网页模板的基础上传输网页数据的时候，可以选择多个模板服务器中的网络状况较好的模板服务器中的网页模板进行增量数据的传输，从而增加了调用网页模板的方便性和可靠性。

步骤S205，多个模板服务器中的第一模板服务器利用模板索引检索与网页匹配的网页模板，向该多个模板服务器中除第一模板服务器外的其它模板服务器提供与网页匹配的模板，第一模板服务器可以为多个模板服务器中的任意一个模板服务器。利用模板索引快速确定一个网页请求是否匹配服务器中存储的网页模板，并且根据请求网页的网址确定匹配的网页模板。在确定与网页匹配的网页模板之后，将匹配的网页模板发送至其他模板服务器。

考虑到上述过程要处理的数据量极大，可以使用Hadoop等分布式计算框架构建程序，使用HBase等大数据量存储服务。另外，为了增加可靠性，发明实施例的网页模板生成方法例如采集网页数据、生成网页模板、网页模板发布和网页模板检索等，都可以在多个服务器上部署，使得多个服务器协同服务，即本发明的网页模板服务器的功能可以由多个共同服务器完成。

图3是根据本发明第三实施例的网页模板生成方法的流程图。该图所示实施例可以作为图2所示实施例中步骤S203向提供网页模板的多个模板服务器发布网页模板和模板索引的优选实施方式，在执行图2所示步骤S202之后，执行以下步骤：

步骤S301，在生成多个网页模板之后，建立多个网页模板的索引。在生成多个网页模板之后，为了方便查找网页模板建立多个网页模板索引。网页模板索引可以通过网址或者域名来索引网页模板。具体地，为了提高索引网页模板的准确性，可以利用生成行标签值或者域名的MD5值获得网页模板的索引。

步骤S302，计算多个网页模板的集合与历史模板集合的整体差异率。为了避免网页模板的变动较小时更换网页模板重新生成增量文件而造成的资源浪费，因此计算多个网页模板的集合与历史模板集合的整体差异率。

步骤S303，判断整体差异率是否大于预设整体差异率阈值。判断多个网页模板的集合与历史模板集合的整体差异率是否大于预设整体差异率阈值，如果多个网页模板的集合与历史模板集合的整体差异率大于预设整体差异率阈值，则网页模板变动较大，直接发布网页模板，如果多个网页模板的集合与历史模板集合的整体差异率小于预设整体差异率阈值，则网页模板变动较小，不发布网页模板。

步骤S304，如果判断出整体差异率大于预设整体差异率阈值，则发布网页模板。如果多个网页模板的集合与历史模板集合的整体差异率大于预设整体差异阈值，表示生成的多个网页模板的集合较历史模板集合的变动较大，可以发布网页模板。

步骤S305，如果判断出整体差异率不大于预设整体差异率阈值，则不发布网页模板。如果多个网页模板的集合与历史模板集合的整体差异率小于预设整体差异阈值，表示生成的多个网页模板的集合较历史模板集合的变动较小，可以基于历史模板进行增量文件传输，可以不发布网页模板。

为了方便在生成的网页模板中与网页匹配的网页模板，根据生成的网页模板生成模板索引，生成模板索引的方法如下：

首先，选取质量符合预定质量条件的模板。在生成的网页模板中查找符合预定质量条件的模板，其中，预定质量条件可以是模板对用户访问的网页的覆盖率大于预定阈值，质量符合预定质量条件的模板相较于质量不符合预定质量条件的模板能够节约差量数据的传输量。

其次，确定模板适用的URL路径。根据模板使用的URL路径查找该路径下的所有网页模板，从而能够提高查找网页模板的速度。

再次，从URL路径中选取质量符合预定质量条件的模板适用的URL路径。由于短路径的模板的覆盖度更好，因此查找URL路径可以从距离根目录最近的短路径开始查找。

最后，将选取的路径转换成模板索引。将根据URL路径选取的网页模板的路径与用户访问的网页相对应，形成模板索引。

图4是根据本发明第四实施例的网页模板生成方法的流程图。如图所示，该图所示实施例可以作为图1所示实施例的优选实施方式，具体步骤如下：

步骤S401，采集网页的网页数据。采集网页的网页数据可以是需要浏览网页的网页数据，网页的网页数据可以来自一个客户端或多个客户端，采集网页的网页数据可以是来自一个客户端的一个或者多个网页的网页数据，采集网页的网页数据还可以是相同域名或不同域名下网页的数据。

步骤S402，判断网页模板的数量是否达到预设数量。在根据网页数据生成网页的网页模板之后，需要判断网页模板的数量是否达到预设数量，如果判断出网页模板的数量没有达到预设数量，可以继续根据网页数据生成网页的网页模板，如果判断出网页模板的数量达到预设数量，可以计算每个网页模板的覆盖率。

步骤S403，如果判断出网页模板的数量达到预设数量，则计算每个网页模板的覆盖率。模板覆盖率是衡量生成的网页模板质量的重要指标，模板覆盖率可以是一个网站内，网页模板能够应用到网站内的网页上的数量与该网站全部网页数量的比值，模板覆盖率越大，能应用到该网站内网页的数量也就越多。模板覆盖率不仅可以衡量一个网站的网站模板质量，还可以衡量某一个路径下的网页模板的质量。例如，某个网页模板的网站覆盖率不是很高，但是在某个路径下的覆盖率很高，该网页模板在实际应用中也能达到很好的效果。

步骤S404，将覆盖率小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板进行对比。在计算出每个网页模板的覆盖率之后，为了避免网页模板变动较小的情况下重新选择相似的网页模板进行增量文件传输，可以比较覆盖率小于第一预设覆盖率阈值的模板与覆盖率大于第一预设覆盖率阈值的网页模板。

步骤S405，如果小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板的差异率小于预设差异率阈值，则将小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板合并。小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板的差异率可以是两个模板以open-vcdiff算法算出两个网页模板的差值与小于第一预设覆盖率阈值的网页模板的大小的比值，小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板的差异率可以用来衡量小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板的差异程度。

如果小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板的差异率小于预设差异率阈值，则认为小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板相似，将小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板合并，合并的过程可以是将小于第一预设覆盖率阈值的网页模板的数据合并到大于第一预设覆盖率阈值的网页模板的数据中。

优选地，为了方便的将将覆盖率小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板进行对比，可以将多个网页模板按照覆盖率大小进行由大到小的排序，然后将排在后面的网页模板与排在前面的网页模板进行对比。

在对多个网页模板按照覆盖率大小进行由大到小的排序之后，通过对队列中的网页模板进行两两比较或者逐个比较，能够将网页模板的差异率小于预设差异率阈值的网页模板合并。

在将网页模板的差异率小于预设差异率阈值的网页模板合并之后，根据网页的网址或者域名得到网页模板索引将该网页模板数据和网页模板索引都发布出去。

为了方便存储和调用，优选地，根据生成的网页模板生成模板索引包括如下步骤：

步骤S501，存储多个网页模板。为了方便模板的调用，在生成网页的网页模板之后，存储生成的多个网页模板。

步骤S502，计算每个网页模板的覆盖率。由于接近根目录的模板通常具有更好的覆盖率，查找模板的时候优先处理接近根目录的模板，因此在计算多个网页模板的时候，首先将生成的网页模板按照路径深度进行排序，短路径相对于深路径的网页模板的排列位置更靠近根目录。

由于已经对多个网页模板按照路径深度进行排序，在计算每个网页模板的覆盖率时可以计算一个路径下每个网页模板的覆盖率。其中，每个网页模板的覆盖率可以是该网页模板相对于整个路径下的所有网页模板的覆盖率。

为了便于使用覆盖率较大的网页模板进行增量文件的传输，可以按覆盖率从高到低进行排序。同时，在同一路径下网页模板数量较多时，可以按照路径深度从长到短的顺序截取一定数量的网页模板，避免同一路径下网页模板数量较多降低计算速度。

步骤S503，判断每个路径下的网页模板的覆盖率的总和是否达到第二预设覆盖率阈值。

在计算出每个网页模板的覆盖率之后，判断每个路径下的网页模板的覆盖率的总和是否达到第二预设覆盖率阈值，如果达到第二预设覆盖率阈值保留此路径；如果判断出每个路径下的网页模板的覆盖率总和没有达到第二预设覆盖率阈值，则将网页模板的覆盖率的总和未达到第二预设覆盖率阈值的路径下的网页模板删除。

步骤S504，删除网页模板的覆盖率的总和未达到第二预设覆盖率阈值的路径下的网页模板。由于网页模板的覆盖率的总和未达到第二预设覆盖率阈值，那么网页模板的覆盖率的总和未达到第二预设覆盖率阈值的路径下的网页模板都不需要再进行处理和使用，因此可以将网页模板的覆盖率的总和未达到第二预设覆盖率阈值的路径下的网页模板删除，以节省存储资源。

通过上述步骤S501至步骤S504能够根据生成的网页模板生成模板索引。从而在用户访问网页时可以利用模板索引查找匹配的网页模板。

图5是根据本发明第一实施例的网页模板服务器的示意图，该网页模板服务器可以和前述实施例中的模板服务器为同一个服务器。如图所示，该网页模板服务器包括采集单元10、生成单元30和索引单元60。

采集单元10用于采集网页的网页数据。采集网页的网页数据可以是需要浏览网页的网页数据，网页的网页数据可以来自一个客户端或多个客户端，采集网页的网页数据可以是来自一个客户端的一个或者多个网页的网页数据，采集网页的网页数据还可以是相同域名或不同域名下网页的数据。存储这些采集到的网页数据。

生成单元30用于根据采集到的网页数据生成该网页对应的模板，例如，可以根据网页的网页数据生成该网页的网页模板。

索引单元60用于根据生成的网页模板生成模板索引。索引单元能够根据生成的网页模板可以建立网页模板的URL路径与模板的映射关系，将该映射关系作为模板索引。

图6是根据本发明第二实施例的网页模板服务器的示意图。该实施例可以作为图5所示实施例的优选实施方式，如图所示，该网页模板服务器包括采集单元10、生成单元30、发布单元40、存储单元50、索引单元60和模板检索单元20。

发布单元40用于在根据网页数据生成网页的网页模板之后，向提供网页模板的多个模板服务器发布网页模板。在根据网页数据生成网页的网页模板之后，可以向提供网页模板的多个模板服务器发布网页模板。其中，多个模板服务器可以向多个网站发送网页模板，还可以采集来自多个网站的网页数据。

存储单元50用于在多个模板服务器分别存储网页模板。多个模板服务器分别存储接收到的网页模板，这样，在多个模板服务器中的每个模板服务器中都存在网页模板，需要在该网页模板的基础上传输网页数据的时候，可以选择多个模板服务器中的网络状况的模板服务器中的网页模板进行增量数据的传输，从而增加了基于网页模板加载网页数据的方便性和可靠性。

模板检索单元20用于利用模板索引检索与网页匹配的网页模板，向其它服务器提供与网页匹配的模板。利用模板索引快速确定一个网页请求是否匹配服务器中存储的网页模板，并且根据请求网页的网址确定匹配的网页模板。在多个模板生成服务器中的任意一个模板生成服务器在确定与网页匹配的网页模板之后，将匹配的网页模板发送至多个模板生成服务器中的其他服务器。

考虑到上述过程要处理的数据量极大，可以使用Hadoop等分布式计算框架构建程序，使用HBase等大数据量存储服务。另外，为了增加可靠性，发明实施例的网页模板生成方法例如采集网页数据、生成网页模板、网页模板发布和网页模板检索等，都可以在多个服务器上部署，使得多个服务器协同服务。即本发明的网页模板服务器的功能可以由多个共同服务器完成。不同的功能模板可以部署在不同的服务器中。也可以在不同的服务器中部署相同的功能模块。

优选地，为了生成模板索引，上述索引单元60包括模板选取模块、模板路径推导模块、模板路径剪枝模块和模板索引生成模块。

模板选取模块用于选取质量符合预定质量条件的模板。在生成的网页模板中查找符合预定质量条件的模板，其中，预定质量条件可以是模板对用户访问的网页的覆盖率大于预定阈值，质量符合预定质量条件的模板相较于质量不符合预定质量条件的模板能够节约差量数据的传输量。

模板路径推导模块用于确定模板适用的URL路径。根据模板使用的URL路径查找该路径下的所有网页模板，从而能够提高查找网页模板的速度。

模板路径剪枝模块用于从URL路径中选取质量符合预定质量条件的模板适用的URL路径。由于短路径的模板的覆盖度更好，因此查找URL路径可以从距离根目录最近的短路径开始查找。

模板索引生成模块用于将选取的路径转换成模板索引。将根据URL路径选取的网页模板的路径与用户访问的网页相对应，形成模板索引。

图7是根据本发明第三实施例的网页模板服务器的示意图。该实施例可以作为图5所示实施例的优选实施方式，如图所示，该网页模板服务器包括采集单元10、生成单元30、发布单元40、存储单元50和索引单元60，其中，发布单元40包括计算模块401、判断模块402和发布模块403。

计算模块401用于计算多个网页模板的集合与历史模板集合的整体差异率。为了避免网页模板的变动较小时更换网页模板重新生成增量文件而造成的资源浪费，因此计算多个网页模板的集合与历史模板集合的整体差异率。

判断模块402用于判断整体差异率是否大于预设整体差异率阈值。判断多个网页模板的集合与历史模板集合的整体差异率是否大于预设整体差异率阈值，如果多个网页模板的集合与历史模板集合的整体差异率大于预设整体差异率阈值，则网页模板变动较大，直接发布网页模板，如果多个网页模板的集合与历史模板集合的整体差异率小于预设整体差异率阈值，则网页模板变动较小，不发布网页模板。

发布模块403用于在判断出整体差异率大于预设整体差异率阈值，发布网页模板，在判断出整体差异率不大于预设整体差异率阈值，不发布网页模板。如果多个网页模板的集合与历史模板集合的整体差异率大于预设整体差异阈值，表示生成的多个网页模板的集合较历史模板集合的变动较大，可以发布网页模板。如果多个网页模板的集合与历史模板集合的整体差异率小于预设整体差异阈值，表示生成的多个网页模板的集合较历史模板集合的变动较小，可以基于历史模板进行增量文件传输，可以不发布网页模板。

图8是根据本发明第四实施例的网页模板服务器的示意图。如图所示，该网页模板服务器包括采集单元10、生成单元30、判断单元60、计算单元70、对比单元80和合并单元90。其中，图8所示的采集单元10、和生成单元30的功能与图5所示实施例中的采集单元10、和生成单元30的功能相同，在此不做赘述。

判断单元60用于在根据网页数据生成网页的网页模板之后判断网页模板的数量是否达到预设数量。在根据网页数据生成网页的网页模板之后，需要判断网页模板的数量是否达到预设数量，如果判断出网页模板的数量没有达到预设数量，可以继续根据网页数据生成网页的网页模板，如果判断出网页模板的数量达到预设数量，可以计算每个网页模板的覆盖率。

计算单元70用于在判断出网页模板的数量达到预设数量时，计算每个网页模板的覆盖率。模板覆盖率是衡量生成的网页模板质量的重要指标，模板覆盖率可以是一个网站内，网页模板能够应用到网站内的网页上的数量与该网站全部网页数量的比值，模板覆盖率越大，该网页模板能够应用到该网站内网页的数量也就越多。模板覆盖率不仅可以衡量一个网站的网站模板质量，还可以衡量某一个路径下的网页模板的质量。例如，某个网页模板的网站覆盖率不是很高，但是在某个路径下的覆盖率很高，该网页模板在实际应用中也能达到很好的效果。

对比单元80用于将覆盖率小于预设覆盖率阈值的网页模板与大于预设覆盖率阈值的网页模板进行对比。在计算出每个网页模板的覆盖率之后，为了避免网页模板变动较小的情况下重新选择相似的网页模板进行增量文件传输，可以比较覆盖率小于第一预设覆盖率阈值的模板与覆盖率大于第一预设覆盖率阈值的网页模板。

合并单元90用于在小于预设覆盖率阈值的网页模板与大于预设覆盖率阈值的网页模板的差异率小于预设差异率阈值，将小于预设覆盖率阈值的网页模板与大于预设覆盖率阈值的网页模板合并。小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板的差异率可以是两个模板以open-vcdiff算法算出两个网页模板的差值与小于第一预设覆盖率阈值的网页模板的大小的比值，小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板的差异率可以用来衡量小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板的差异程度。

优选地，为了方便的将将覆盖率小于第一预设覆盖率阈值的网页模板与大于第一预设覆盖率阈值的网页模板进行对比，对比单元80包括排序模块和对比模块，其中，排序模块，用于将多个网页模板按照覆盖率大小进行由大到小的排序；对比模块，用于将排在后面的网页模板与排在前面的网页模板进行对比。

在将网页模板的差异率小于预设差异率阈值的网页模板合并之后，可以根据网页的网址或者域名得到网页模板索引，可以将该网页模板数据和网页模板索引都发布出去。

为了方便存储和调用，索引单元60还包括：存储模块、计算模块、第三判断模块和删除模块。

存储模块，用于在根据网页数据生成网页的网页模板之后，存储多个网页模板.为了方便模板的调用，在生成网页的网页模板之后，存储生成的多个网页模板。

计算模块，用于计算每个网页模板的覆盖率。由于接近根目录的模板通常具有更好的覆盖率，查找模板的时候优先处理接近根目录的模板，因此在计算多个网页模板的时候，首先将生成的网页模板按照路径深度进行排序，短路径相对于深路径的网页模板的排列位置更靠近根目录。

第三判断模块，用于判断每个路径下的网页模板的覆盖率的总和是否达到预设覆盖率阈值。在计算出每个网页模板的覆盖率之后，判断每个路径下的网页模板的覆盖率的总和是否达到第二预设覆盖率阈值，如果达到第二预设覆盖率阈值保留此路径；如果判断出每个路径下的网页模板的覆盖率总和没有达到第二预设覆盖率阈值，则将网页模板的覆盖率的总和未达到第二预设覆盖率阈值的路径下的网页模板删除。

删除模块，用于删除网页模板的覆盖率的总和未达到预设覆盖率阈值的路径下的网页模板。由于网页模板的覆盖率的总和未达到第二预设覆盖率阈值，那么网页模板的覆盖率的总和未达到第二预设覆盖率阈值的路径下的网页模板都不需要再进行处理和使用，因此可以将网页模板的覆盖率的总和未达到第二预设覆盖率阈值的路径下的网页模板删除，以节省存储资源。

在本发明实施例中，网页模板即可以是一个网页，一个网页能够作为另外一个网页的网页模板。例如，如果网页A能够覆盖网页B的大部分的内容，即网页A与网页B结构、内容或者编码相似，网页A与网页B之间存在大量重复的数据，则网页A可以作为网页B的网页模板，同样，网页B也可以作为网页A的网页模板。一个网页可以有一个或多个网页模板，一个网页模板也可以作为一个或多个网页的模板。

图9是根据本发明实施例的网页模板服务器与中间服务器以及终端设备连接的方框示意图。如图9所示。

终端设备10用于向中间件服务器20发送网页浏览请求，接收中间件服务器20响应于所述网页浏览请求而返回的差量数据，以及根据终端设备10本地存储的与差量数据对应的网页模板数据和差量数据展现所请求的网页，所述差量数据是在网页模板服务器30中基于所请求的网页的网页数据和与该网页数据对应的网页模板数据生成的。在进行网页浏览时，用户操作终端设备10，通过终端设备10发出浏览请求，此时，终端设备10接收网页的浏览请求，且将网页的浏览请求发送给中间件服务器20。用户可以通过点击的动作向终端设备10提出浏览请求。

中间件服务器20用于根据所接收的网页浏览请求，获取所请求的网页数据并转发给网页模板服务器30，以及在接收到网页模板服务器30返回的差量数据后，向终端设备10转发所述差量数据。

网页模板服务器30用于基于从中间件服务器20接收的网页数据以及本地获取的与该网页数据对应的网页模板数据，生成所述网页数据和网页模板数据之间的差量数据并转发给中间件服务器20。

网页与相应的网页模板之间存在的差量数据，在传输网页数据的时候，如果终端设备10本地存在网页模板，则仅仅传输差量数据，不必传输网页的全部数据。

在网页模板服务器30无法获取与需要展现的网页匹配的网页模板时，中间件服务器20直接返回获取的网页数据。

本发明的网页模板服务器30还可以生成新的网页模板的网页模板数据。

本发明的网页模板服务器30生成新的网页模板的网页模板数据，可以是网页模板服务器预先通过接收中间件服务器转发的网页数据而生成的。网页模板服务器预先通过接收中间件服务器转发的网页数据的方法中，由于网页模板服务器30从中间件服务器20接收的是海量的网页数据，本发明实施例可以采用Hadoop(分布式系统基础架构)集群进行数据存储与计算。即网页模板服务器30是一个服务器集群，由多个服务器组成。所述服务器集群存放网页数据、模板数据、模板索引等采用的是基于Hadoop的HBase(分布式、面向列的开源式数据库)数据库。网页模板数据生成采用的是MapReduce(大规模数据集的并行运算方法)计算框架。Hadoop集群是天然的分布式存储和计算框架。只需要网页模板服务器30中增加生成网页模板的服务器的数量就能够对集群进行横向扩展，具备良好的容灾能力。

当网页模板服务器30是一个服务器集群时，网页模板服务器30用于基于从中间件服务器20接收的网页数据以及本地获取的与该网页数据对应的网页模板数据，生成所述网页数据和网页模板数据之间的差量数据并转发给中间件服务器20。这里的本地获取的意思是服务器集群中获取。

从上述的分析可以知道，网页和网页模板之间存在重复数据，也存在差量数据，其中，差量数据是网页中存在的数据而网页模板中不存在的数据。这里所说的网页数据包括网页的结构数据、内容数据或者编码数据，这些数据通过无线电通讯网络或者互联网由中间件服务器20发送至终端设备10或者由终端设备10发送至中间件服务器20。本发明的网页模板会以编码的形式存储在缓存中，因此在展现网页时，需要终端设备10对网页模板数据和差量数据进行解码，网页模板数据与差量数据一起还原得到需要展现的网页。

由于差量数据相较于网页数据较小，在终端设备10存在网页模板的情况下，传输网页数据时可仅仅传输差量数据。差量数据是网页数据的一部分，因此差量数据的传输方法可以与网页数据的传输方法相同，通过无线电通讯网络或者互联网等网络传输。中间件服务器20将差量数据发送至终端设备10，终端设备10调用该网页对应的网页模板，从而实现网页的展现，能够有效的节约网络资源，减少带宽的占用，并且提高了网页的加载速度，进一步提高用户的浏览网页的速度。

图10是根据本发明实施例的终端设备的一个实施例的方框示意图。

如图10所示，终端设备10包括网页浏览请求发送单元101、差量数据接收单元102、网页展现单元103。

网页浏览请求发送单元101，用于向中间件服务器20发送网页浏览请求；本发明的终端设备10在网页浏览请求发送单元101向中间件服务器20发送网页浏览请求前，需要在本地查找找到与网页浏览请求的网页相匹配的网页模板，如果找到相匹配的网页模板则需要在所述网页浏览请求包中带上包含该网页模板ID的第一模板ID列表，找不到则列表为空。本地查找找到与网页浏览请求的网页相匹配的网页模板可以是根据请求的网页的网页地址进行查询，或者对网页进行处理生成网页标签进行查询，例如生成哈希值标签等。网页与网页模板的匹配原则根据不同网站或者网页的需求而定，例如，用覆盖率的方式时，即网页A的网页模板与网页A之间的覆盖率达到预定值才认为与网页A相匹配，则需要在网页模板库中查询与网页A的覆盖率达到预定值的网页模板。需要说明的是，网页模板与网页之间的匹配方式还可以是压缩比等除覆盖率以外的其他方式，这里只是举例说明，不做穷举。

需要说明的是，为了减少传输资源的负担，提高终端设备10响应速度，需要限制第一模板ID列表的大小或者包含模板ID的数量在一定的数值范围以内。例如，请求包每次最多只能附带5个模板ID。

差量数据接收单元102，用于接收中间件服务器20响应于所述网页浏览请求而返回的差量数据，所述差量数据是在网页模板服务器30中基于所请求的网页的网页数据和与该网页数据对应的网页模板数据生成的，以及

网页展现单元103，用于根据终端设备10本地存储的与差量数据对应的网页模板数据和差量数据展现所请求的网页。采用TCP/IP协议传输。如果网页展现单元103接收的数据是差量数据，则根据终端设备10本地存储的与差量数据对应的网页模板数据和差量数据展现所请求的网页，如果接收的数据是网页数据，则可直接进行网页展现。

由于网页模板以编码的形式在通讯网络中传输，因此网页展现单元103需要将这些编码数据还原，并与差量数据一起展示原始网页。

基于终端设备1010的存储能力考虑，本发明中终端设备10本地存储的网页模板数量或网页模板数据总大小是有限制的，可以设定阈值，如最多只能保存100个模板并且总大小不能超过10MB。如果超过阈值，则可根据LRU(Least Recently Used，简称最近最少)即最近最少使用页面置换算法对模板进行淘汰。利用LRU算法可以对最近使用较少，并且在未来较长一段时间不使用的网页模板进行删除，能够节省终端设备10的存储资源。

本发明另一个实施例中，终端设备10还包括网页模板下载单元104、网页模板数据保存单元105。

网页模板下载单元104，用于在从中间件服务器20接收到不属于第一网页模板ID列表的网页模板ID后，基于该网页模板ID，经由中间件服务器20从网页模板服务器30中下载对应的网页模板数据。网页模板下载单元104是一个独立的工作线程，可智能的在网络空闲时或者wifi环境下进行模板请求下载，避免占用带宽，影响用户的浏览体验。

网页模板数据保存单元105，用于将网页模板下载单元104下载的网页模板数据与对应的网页模板ID相关联地保存。用于存储终端设备10的网页模板数据，与上一实施例一样，基于终端设备10的存储能力考虑，网页模板数据保存单元105存储的模板数量或网页模板数据总大小是有限制的，可以设定阈值，如最多只能保存100个模板并且总大小不能超过10MB。如果超过阈值，则可根据LRU(Least Recently Used，简称最近最少)即最近最少使用页面置换算法对模板进行淘汰。利用LRU算法可以对最近使用较少，并且在未来较长一段时间不使用的网页模板进行删除，能够节省终端设备10的存储资源。

本发明的终端设备10可以包括移动终端、PDA、IPad等具有显示功能，可以进行网页浏览的终端设备。

图11是根据本发明实施例的中间件服务器的一个实施例的方框示意图。

如图11所示中间件服务器20包括网页数据获取单元201，用于在接收到终端设备10发送的网页浏览请求后，获取所请求的网页数据；网页数据的获取可先从中间件服务器20缓存中查询是否有缓存的网页数据，如果没有则需要访问目标网站服务器获取。

还包括转发单元202，用于向网页模板服务器30转发所获取的网页数据，以及在接收到网页模板服务器30返回的差量数据后，向终端设备10转发所述差量数据。转发单元202可以采用TCP/IP协议传输数据。向网页模板服务器30转发所获取的网页数据的同时，还将网页浏览请求所请求的网页网址、第一模板ID列表一起发送到网页模板服务器30。

在接收到的数据不是差量数据，而是网页模板服务器30返回的推荐的模板ID时，转发单元202向终端设备10发送推荐的模板ID，以及网页数据获取单元201获取的网页数据。

本发明的另一优选的实施例中，中间件服务器20还包括模板数据获取模块203用于接收终端设备10的网页模板下载单元104发送的要下载网页模板数据的模板ID，通过该模板ID从网页模板服务器30中下载网页模板数据。之后发送给转发模块202，由转发模块202将网页模板数据发送给终端设备10，并且由终端设备10的网页模板数据保存单元105保存。

图12是根据本发明实施例的网页模板服务器的一个实施例的方框示意图。

如图12所示所述网页模板服务器30包括网页模板数据存储单元301、网页模板数据获取单元302、差量数据生成单元303和发送单元304。

其中网页模板数据存储单元301用于存储网页模板数据。网页模板数据存储单元301中具体是相关联地存储着网页模板ID和网页模板数据。

网页模板数据获取单元302用于从网页模板数据存储单元301获取与所接收的网页数据对应的网页模板数据。网页模板数据获取单元302是通过第一模板ID列表网页模板数据存储单元301获取网页模板数据的或通过第一模板ID列表和请求的网页的网页地址去网页模板数据存储单元301获取网页模板数据的。

差量数据生成单元303用于基于从中间件服务器20接收的网页数据和与该网页数据对应的网页模板数据，生成所述网页数据和网页模板数据之间的差量数据。

发送单元304用于将所生成的差量数据发送给中间件服务器20。

图13是根据本发明实施例的网页模板服务器的差量数据生成单元一个实施例的方框示意图。

本发明中当终端设备10本地存储有与请求的网页相匹配的网页模板时会将所有相匹配的模板的ID的第一模板ID列表连同网页浏览请求发送给中间件服务器20，同时中间件服务器20会将第一模板ID列表转发给网页模板服务器30，此时网页模板服务器30的所述网页模板数据获取单元302被配置为顺序获取第一网页模板ID列表中的网页模板ID，并且基于所获取的网页模板ID，从所述网页模板数据存储单元301中获取网页模板数据，此时差量数据生成单元303包括如图5所示的差值数据计算模块3031和确定模块3032。

差值数据计算模块3031用于计算网页数据和从网页模板数据存储单元301中获取的网页模板数据之间的差值数据。差值数据计算模块3031是将网页模板数据和网页数据使用差量算法进行计算。

确定模块3032用于在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时，将所述差值数据确定为所述差量数据，在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，重复所述网页模板数据获取单元302和所述差量数据生成单元303的处理过程，直到生成所述差量数据。

差值数据与网页数据之间压缩比，即为差值数据经过压缩后的数值与网页数据进行压缩后的数据的比值，这个压缩比越小说明该差值数据对应的网页模板数据与网页数据之间的差异越小。

图14是根据本发明实施例的网页模板服务器的第二个实施例的方框示意图。

如图14所示，本发明中当终端设备10本地存储有与请求的网页相匹配的网页模板时，会将所有相匹配的模板的ID的第一模板ID列表连同网页浏览请求发送给中间件服务器20，同时中间件服务器20会将第一模板ID列表和请求的网页地址转发给网页模板服务器30，即网页浏览请求包含网页地址和第一网页模板ID列表，此时网页模板服务器30包括：

网页模板ID列表库305，用于与网页地址相关联地存储第二网页模板ID列表。该第二网页模板ID列表为网页模板服务器30推荐的与所请求浏览的网页的地址对应的模板ID列表。网页模板服务器30中存储的与网页的地址相匹配的网页模板数据的模板ID构成页网页模板服务器30推荐的第二网页模板ID列表。

网页模板ID列表获取单元306，用于根据所请求浏览的网页的网页地址，从网页模板ID列表库305中获取对应的第二网页模板ID列表。

网页模板ID列表合并单元307，用于将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表。网页模板ID列表合并单元307将第一网页模板ID列表和第二我难过也模板ID列表合并成第三网页模板ID列表的方法为：对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并，形成第三网页模板ID列表，其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高，第一网页模板ID列表中的剩余部分次之，第二网页模板ID列表中的剩余部分最低。

形成第三网页模板ID列表后，所述网页模板数据获取单元302顺序获取第三网页模板ID列表中的网页模板ID，并且基于所获取的网页模板ID，从所述网页模板数据存储单元301中获取网页模板数据。此时差值数据生成单元包括的差值数据计算模块3031和确定模块3032生成差量数据的过程与图13所示的实施例相同。

本发明的优选实施例中为了避免差量数据生成单元303进行生成所述差量数据时，在计算失败后进行过多的计算而影响系统运行效率，还设置有计数单元(图中未示出)，用于在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，计数所述差值数据计算单元的计算次数，以及

在所述计算次数不超过第二预定阈值时，所述网页模板数据获取单元302被配置为获取下一网页模板ID，并且基于所述下一网页模板ID，从所述网页模板数据存储单元301中获取网页模板数据，以及

在所述计算次数超过第二预定阈值时，所述网页模板服务器30向所述中间件服务器20返回差量数据生成失败消息，以便所述中间件服务器20在接收到所述差量数据生成失败消息后，向终端设备10返回网页数据来进行展现。

本发明另一优选实施例中，网页模板服务器30还包括差量数据保存单元(图中未示出)，用于与网页模板ID和网页地址相关联地存储差量数据；以及

差量数据查询单元(图中未示出)，用于根据网页模板ID和网页地址，在所述差量数据保存单元中查询相关联的差量数据，以及

在所述差量数据查询单元没有查询到相关联的差量数据时，所述差量数据生成单元303被配置为生成所述差量数据。保存一定数量的差量计算结果，当出现相同的模板ID和网页请求时，差量数据生成单元303不需要进行差量数据计算，可直接从差量数据保存单元获取差量数据，提高响应速度。

本发明另一优选实施例中网页模板服务器30还包括第二判断单元(图中未示出)，用于在生成所述差量数据后，判断所述网页模板数据获取单元302当前使用的网页模板ID是否属于第一网页模板ID列表，以及

在当前使用的网页模板ID属于第一网页模板ID列表时，所述发送单元304将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器20并经由中间件服务器20转发给终端设备10，

在当前使用的网页模板ID不属于第一网页模板ID列表时，所述发送单元304将当前使用的网页模板ID返回给中间件服务器20，并且中间件服务器20将所接收的网页模板ID和网页数据发送给终端设备10，供终端设备10的网页模板下载单元104在空闲时或者WIFI情况下下载网页模板ID对应的网页模板数据。

同时本发明的网页模板服务器30还可以包括网页模板数据生成单元308、网页采集单元309和网页保存单元310。

网页采集单元309用于接收中间件服务器20发送过来的网页数据。

网页保存单元310用于存储网页采集单元309接收的中间件服务器20发送过来的网页数据。

网页模板数据生成单元308用于根据网页保存单元310存储的中间件服务器20发送过来的网页数据生成网页模板数据，并且生成对应的网页模板ID，并将网页模板数据和网页模板ID相对应地存储到网页模板数据存储单元301，将网页模板ID与网页地址相对应地存储到网页模板ID列表库305。网页模板数据生成单元308用于根据中间件服务器发送过来的网页数据生成网页模板数据网页模板数据生成单元308是采用特有的算法快速生成网页模板数据。特有的算法快速生成网页模板数据的方法可以是通过对网页生成哈希值的方法或者对网页数据进行分行的方法生成，由于网页模板可以是网页，因此，也可以将该网页本身作为网页模板。

本发明的网页模板数据生成单元308生成网页模板数据可以在差量数据生成单元303生成差量数据失败时，根据用户请求浏览的网页建立新的网页模板，也可以是模板服务器30预先通过接收中间件服务器20转发的网页数据而生成的。

本发明的实施例中网页模板服务器30通过接收中间件服务器20转发的网页数据而生成网页模板数据的方法中，由于每天通过中间件服务器20访问的网页很多，且网页模板服务器30可以接收多个中间件服务器20的网页数据，所以网页模板服务器30从中间件服务器20接收的是海量的网页数据。本发明实施例需要对海量数据进行存储和需要对海量的网页数据进行大量的运算来生成网页模板。所以本发明的实施例可以采用Hadoop(分布式系统基础架构)集群进行数据存储与计算。即网页模板服务器30是一个服务器集群，由多个服务器组成。网页模板数据生成单元308可以设置在服务器集群的多个服务器中。而所述服务器集群存放网页数据、模板数据、模板索引等采用的是基于Hadoop的HBase(分布式、面向列的开源式数据库)数据库。模板生成采用的是MapReduce(大规模数据集的并行运算方法)计算框架。Hadoop集群是天然的分布式存储和计算框架。只需要网页模板服务器30中增加生成网页模板的服务器的数量，即增加包含网页模板数据生成单元308的服务器就能够对集群进行横向扩展，具备良好的容灾能力。本发明的网页展现系统中，当网页模板服务器30向中间件服务器20返回模板ID列表时，为了不影响用户浏览网页的速度，模板ID列表的大小有限制，例如每次返回的网页模板ID最多只能是5个。

本发明的另一优选实施例中网页模板服务器30还可以包括网页模板删除单元(图中未示出)，用于在判断出网页模板数据存储单元301中的网页模板数量或占用空间大小超出预定阈值时，删除网页模板数据存储单元301中最近最少使用的网页模板数据。其中，最近最少使用是指，已经很久没有使用的网页模板数据可能在未来较长的一段时间内不会被用到。那么，根据最近最少原理，分析得到最近一段时间没有使用的网页模板数据，并且可能在未来较长的一段时间内也不会被用到的网页模板数据，则网页模板删除单元将最近一段时间内没有使用的网页模板数据删除。

值得说明的本发明的网页展现系统可以仅仅只包含终端设备和服务器。即本发明网页模板服务器30并不能认为是对某个实体服务器的限定，网页模板服务器30可以是一个服务器，为了减轻计算和存储的压力网页模板服务器30也可以是一个服务器集群，同理中间件服务器20的功能可以在同一个实体服务器完成也可以是一个服务器集群。本发明的中间件服务器20和网页模板服务器30包含的功能模块可以分布的设置于多个服务器中。比如可以设置一个或多个包含网页模板数据生成单元308、网页采集单元309和网页保存单元310的服务器，设置一个或者多个包含网页模板数据获取单元302和差量数据生成单元303的服务器这些服务器组成本发明网页模板服务器30的服务器集群。

本发明的网页展现系统，通过设置网页模板服务器30来存储和计算网页模板和网页数据之间的差量数据，由中间件服务器20将差量数据发送至终端设备10，终端设备10本地调用该差量数据对应的网页模板，从而实现网页的展现。传输网页数据时仅仅传输差量数据，而差量数据相较于网页数据较小。能够有效的节约网络资源，减少带宽的占用，并且提高了网页的加载速度，进一步提高用户的浏览网页的速度。

图15是根据本发明利用网页模板实现网页展现的方法的实施例流程图。

本发明实施例提供了一种网页展现方法。该方法用于传输网页数据，能够提高网页展现速度。

本发明实施例的网页展现方法可以通过本发明实施例所提供的网页展现系统或者网页展现系统来执行，本发明实施例的网页展现系统或者网页展现系统也可以用于执行本发明实施例所提供的网页展现方法。

如图15所示该网页展现方法包括如下步骤。

步骤S701，终端设备获取用户发送的浏览请求，在本地查找找到与网页浏览请求的网页相匹配的网页模板，向中间件服务器发送包含该网页模板ID的第一模板ID列表的网页浏览请求。如果找不到，则列表为空。本地查找找到与网页浏览请求的网页相匹配的网页模板可以是根据请求的网页地址进行查询，或者对网页进行处理生成网页标签进行查询，例如生成哈希值标签等。网页与网页模板的匹配原则根据不同网站或者网页的需求而定。例如，用覆盖率的方式时，即网页A的网页模板与网页A之间的覆盖率达到预定值才认为与网页A相匹配。在进行网页浏览时，用户向终端设备提出浏览请求，终端设备获取用户发送的浏览请求。终端设备能通过无线电通讯网络或者互联网与中间件服务器相连接，以实现终端设备与中间件服务器之间的通信和数据传输。用户可以通过点击的动作向终端设备提出的浏览请求。

作为优选实施例，为了减少传输资源的负担，提高终端设备响应速度，需要限制向中间件服务器发送的网页浏览请求第一模板ID列表的大小或者包含模板ID的数量。例如，请求包每次最多只能附带5个模板ID。

需要说明的是，网页模板与网页之间的匹配方式还可以是除覆盖率以外的其他方式，这里只是举例说明，不做穷举。

之后步骤S702，在接收到终端设备发送的网页浏览请求后，中间服务器基于所述网页浏览请求获取所请求的网页数据，并将所获取的网页数据转发给网页模板服务器。

中间件服务器可以在本地相关联的存储一些网页地址和网页数据。在接收到终端设备发送的网页浏览请求后，根据网页浏览请求在本地查找是否存在请求的网页，或者去网页服务器获取网页。中间件服务器将所获取的网页数据转发给网页模板服务器的同时会将请求的网页地址发送给网页模板服务器。

步骤S703，网页模板服务器本地获取与该网页数据对应的网页模板数据，基于所接收的网页数据和所获取的网页模板数据，生成所述网页数据和网页模板数据之间的差量数据，并将所生成的差量数据发送给中间件服务器。

网页数据对应的网页模板数据，即为与网页匹配的网页模板的数据，此处匹配原则与上步骤可以相同也可以不同。网页与相应的网页模板之间存在相同的数据，但是也存在不同数据差量。其中，而差量数据可以是网页中存在的数据而网页模板中不存在的数据。这里所说的网页数据包括网页的结构数据、内容数据或者编码数据，这些数据通过无线电通讯网络或者互联网由中间件服务器发送至终端设备或者由终端设备发送至中间件服务器。

本发明的网页展现方法的优选实施例中，网页模板服务器本地获取与该网页数据对应的网页模板数据，基于所接收的网页数据和所获取的网页模板数据，生成所述网页数据和网页模板数据之间的差量数据之后，还包括差量数据保存单元将网页模板ID、网页地址差量数据相关联地存储。同时在网页模板服务器接收到中间件服务器发送的网页数据、请求的网页网址和网址对应的网页模板ID时，根据网页模板ID和网页地址，在所述差量数据保存单元中查询相关联的差量数据，以及在所述差量数据查询单元没有查询到相关联的差量数据时，再进入步骤S703。

步骤S704，中间件服务器将所接收的差量数据转发给所述终端设备。

步骤S705，终端设备根据所接收的差量数据和本地存储的与差量数据对应的网页模板数据，展现所请求的网页。终端设备在接收到网络传输来的差量数据后，通过网页模板ID或者能够表征网页模板的标签等在本地查找网页模板数据，从根据网页模板数据与差量数据一起可以展现网页。网页模板的数据包括网页模板的编码信息等数据。在得到网页模板的数据之后，根据网页模板数据和差量数据展现网页，其中，网页数据可以通过对网页模板数据与差量数据进行解码得到。

由于差量数据相较于网页数据较小，在终端设备本地存在网页模板的情况下，传输网页数据时可以仅仅传输差量数据。差量数据是网页数据的一部分，因此差量数据的传输方法与网页数据的传输方法相同，通过无线电通讯网络或者互联网等网络传输。中间件服务器将差量数据发送至终端设备，终端设备调用该网页对应的网页模板，从而实现网页的展现。差量数据的大小远远小于网页数据，因此，传输差量数据所占用的网络资源也远小于传输网页数据所占用的网络资源，提高了网页数据的传输效率，进一步提高了网页的加载速度。

图16是根据本发明利用网页模板实现网页展现的方法的网页浏览请求包含第一网页模板ID列表的情况下S703步骤的第一实施例流程图。

所述网页浏览请求包含第一网页模板ID列表的情况下，如图16所示，进入步骤S801，网页模板数据获取单元顺序获取第一网页模板ID列表中的第一网页模板ID，之后步骤S802，网页模板数据获取单元基于当前获取的第一网页模板ID，从网页模板数据存储单元中获取网页模板数据。

之后S803步骤，差值数据计算模块计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据。

然后S804步骤，判断所述差值数据与网页数据之间压缩比是否小于第一预定阈值。

在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时，在进入到步骤S805，确定模块将所述差值数据确定为所述差量数据，之后进入步骤S806，所述发送单元将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备。

在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，进入到步骤S807，判断当前第一网页模板ID是否第一网页模板ID列表中最后一个网页模板ID。如果不是，则进入步骤S810，网页模板数据获取单元从第一网页模板ID列表中获取下一第一网页模板ID，作为新的当前获取的第一网页模板ID，之后返回步骤S802。如果是，则进入步骤S811，发送单元返回差量数据计算失败的信息给中间件服务器，中间件服务器仅仅返回网页数据给终端设备，本流程结束。

为了防止第一网页模板ID列表中网页模板ID数量过多，导致网页模板服务器计算量过大。作为优选的实施例，本实施例的S807步骤可以被S808、S809替换，S808步骤为计数单元将述差值数据计算单元的差值计算次数加1，步骤S809，判断所述差值计算单元的差值结算次数是否超过第二预定阈值。当在所述计算次数不超过第二预定阈值，则进入步骤S810。当超过第二预定阈值时，进入步骤S811。

图17是根据本发明利用网页模板实现网页展现的方法的网页浏览请求包含第一网页模板ID列表的情况下S703步骤的第二实施例流程图。

如图17所示，在网页模板服务器接收到包含第一网页模板列表的网页浏览请求后，步骤S901，网页模板ID列表获取单元根据所请求浏览的网页的网页地址，从网页模板ID列表库中获取对应的第二网页模板ID列表。网页模板ID列表库中与网页地址相关联地存储着第二网页模板ID列表。

之后步骤S902，网页模板ID列表合并单元，将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表。此步骤中第三网页模板ID列表的生成方法可以是对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并，形成第三网页模板ID列表，其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高，第一网页模板ID列表中的剩余部分次之，第二网页模板ID列表中的剩余部分最低。

之后步骤S903，网页模板数据获取单元顺序获取第三网页模板ID列表中的第三网页模板ID。之后步骤S904，并且基于所获取的网页模板ID，从所述网页模板数据存储单元中获取网页模板数据。

获取到网页模板数据后，步骤S905，差值数据计算模块计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据。

然后S906步骤，判断所述差值数据与网页数据之间压缩比是否小于第一预定阈值。

在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时，进入步骤S907中，确定模块将所述差值数据确定为所述差量数据。之后进入步骤S908，所述发送单元将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备。

在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，进入到步骤S909，判断当前第三网页模板ID是否第三网页模板ID列表中最后一个网页模板ID。如果不是，则进入步骤S910，网页模板数据获取单元从第三网页模板ID列表中获取下一第三网页模板ID，作为新的当前获取的第三网页模板ID，之后返回步骤S904。如果是，则进入步骤S913，发送单元返回差量数据计算失败的信息给中间件服务器，中间件服务器仅仅返回网页数据给终端设备，本流程结束。

为了防止第三网页模板ID列表中网页模板ID数量过多，导致网页模板服务器计算量过大。作为优选的实施例，本实施例的S909步骤可以被S911、S912替换，S911步骤为计数单元将述差值数据计算单元的差值计算次数加1，之后步骤S912，判断所述差值计算单元的差值结算次数是否超过第二预定阈值。当在所述计算次数不超过第二预定阈值，则返回步骤S910。当超过第二预定阈值时，进入步骤S913。

进入步骤S908之前，本实施例优选实例中还包括步骤S915，第二判断单元判断所述网页模板数据获取单元当前使用的网页模板ID是否属于第一网页模板ID列表，

当在前使用的网页模板ID属于第一网页模板ID列表，进入步骤S908。

当在当前使用的网页模板ID不属于第一网页模板ID列表时，则进入步骤S916所述发送单元将当前使用的网页模板ID返回给中间件服务器供中间件服务器将所接收的网页模板ID和网页数据同时发送给终端设备。

之后终端设备的网页模板下载单元基于该网页模板ID经由中间件服务器从网页模板数据存储单元中下载对应的网页模板数据，且由网页模板数据保存单元将网页模板下载单元下载的网页模板数据与对应的网页模板ID相关联地保存。

作为本发明的优选实施例，终端设备的网页模板下载单元基于该网页模板ID经由中间件服务器从网页模板数据存储单元中下载对应的网页模板数据可以在在网页展现之后，智能的在网络空闲时或者wifi情况下请求进行网页模板数据下载，能够避免占用带宽，提高用户的浏览体验。

在终端设备本地没有匹配的网页模板的情况下，中间件服务器在网络空闲的时候将推荐的网页模板数据发送至终端设备，从而在终端设备需要再次使用该网页模板时方便直接调用，不仅较少了带宽占用，还加快了浏览速度，提高用户体验。

本发明中在图7的步骤S701中，终端设备获取用户发送的浏览请求，在本地查找找到与网页浏览请求的网页相匹配的网页模板，如果找不到，则向中间件服务器发送的网页浏览请求中不包含第一模板ID列表。找不到与网页浏览器请求相匹配的网页模板的即为终端设备本地没有存储与网页浏览请求的网页相匹配的网页模板。此时本发明的还包括终端设备通过中间件服务器去网页模板服务器查找和下载网页模板的步骤。

图18是根据本发明利用网页模板实现网页展现的方法的网页浏览请求包含第一网页模板ID列表的情况下S703步骤的第二实施例流程图。

在终端设备在本地无法查找到与网页浏览请求的网页相匹配的网页模板后，如图18所示，本发明还包括步骤S1001，向中间件服务器发送不包含该网页模板ID的第一模板ID列表的网页浏览请求。

步骤S1002，在接收到终端设备发送的网页浏览请求后，中间服务器基于所述网页浏览请求获取所请求的网页数据，并将所获取的网页数据转发给网页模板服务器。

步骤S1003，网页模板ID列表获取单元根据所请求浏览的网页的网页地址，从网页模板ID列表库中获取对应的第二网页模板ID列表。网页模板ID列表库中与网页地址相关联地存储着第二网页模板ID列表。

进入步骤S1004，网页模板数据获取单元顺序获取第二网页模板ID列表中的第二网页模板ID，之后步骤S1005，网页模板数据获取单元基于当前获取的第二网页模板ID，从网页模板数据存储单元中获取网页模板数据。

之后S1006步骤，差值数据计算模块计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据。

然后S1007步骤，判断所述差值数据与网页数据之间压缩比是否小于第一预定阈值。

在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时，在进入到步骤S1008，确定模块将所述差值数据确定为所述差量数据，之后进入步骤S1009，发送单元将当前使用的网页模板ID返回给中间件服务器供中间件服务器将所接收的网页模板ID和网页数据同时发送给终端设备。

在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，进入到步骤S1010，判断当前第二网页模板ID是否第二网页模板ID列表中最后一个网页模板ID。如果不是，则进入步骤S1011，网页模板数据获取单元从第二网页模板ID列表中获取下一第二网页模板ID，作为新的当前获取的第二网页模板ID，之后返回步骤S1005。如果是，则进入步骤S1014，发送单元返回差量数据计算失败的信息给中间件服务器，中间件服务器仅仅返回网页数据给终端设备，本流程结束。

为了防止第二网页模板ID列表中网页模板ID数量过多，导致网页模板服务器计算量过大。作为优选的实施例，本实施例的S1010步骤可以被S1012、S1013替换，S1012步骤为计数单元将述差值数据计算单元的差值计算次数加1，之后步骤S1013，判断所述差值计算单元的差值结算次数是否超过第二预定阈值。当在所述计算次数不超过第二预定阈值，则返回步骤S1011。当超过第二预定阈值时，进入步骤S1014。

作为本发明的优选实施例，本在上述步骤S811、S913、S1014之前还包括，网页模板数据生成单元用于根据中间件发送过来的网页数据中间件生成网页模板数据，且生成对应的网页模板ID，且将网页模板数据和网页模板ID相对应地存储到网页模板数据存储单元，将网页模板ID与网页地址相对应地存储到网页模板ID列表库。网页模板数据生成单元用于根据中间件发送过来的网页数据中间件生成网页模板数据是采用特有的算法快速生成网页模板数据，具体可以是是通过对网页生成哈希值的方法或者对网页数据进行分行的方法生成。由于网页模板可以是网页，因此，也可以将该网页数据本身作为网页模板数据。

当然本发明生成网页模板的时间并不局限于步骤骤S811、S913、S1014之前。也可以在本发明之前，网页模板服务器预先通过接收中间件服务器转发的网页数据而生成网页模板数据。网页模板服务器预先通过接收中间件服务器转发的网页数据而生成网页模板数据的方法中，由于每天通过中间件服务器访问的网页很多，且网页模板服务器可以接收多个中间件服务器的网页数据，所以网页模板服务器从中间件服务器接收的是海量的网页数据。本发明实施例需要对海量数据进行存储和需要对海量的网页数据进行大量的运算来生成网页模板。所以本发明的实施例可以采用Hadoop(分布式系统基础架构)集群进行数据存储与计算。即网页模板服务器是一个服务器集群，由多个服务器组成。网页模板数据生成单元可以设置在服务器集群的多个服务器中。而所述服务器集群存放网页数据、模板数据、模板索引等采用的是基于Hadoop的HBase(分布式、面向列的开源式数据库)数据库。模板生成采用的是MapReduce(大规模数据集的并行运算方法)计算框架。Hadoop集群是天然的分布式存储和计算框架。只需要网页模板服务器中增加生成网页模板的服务器的数量，即增加包含网页模板数据生成单元的服务器就能够对集群进行横向扩展，具备良好的容灾能力。

基于终端设备的存储能力考虑，终端设备本地存储的网页模板数量或网页模板数据总大小是有限制的，可以设定阈值，如最多只能保存100个模板并且总大小不能超过10MB。本发明网页展现方法中，还可以包括终端设备网页模板数据淘汰步骤。例如如果超过阈值，则可根据LRU(Least Recently Used，简称最近最少)即最近最少使用页面置换算法对模板进行淘汰。利用LRU算法可以对最近使用较少，并且在未来较长一段时间不使用的网页模板进行删除，能够节省终端设备的存储资源。

同样基于网页模板服务器的存储能力考虑，发明网页展现方法中，还可以包括网页模板服务器的网页模板数据淘汰步骤。

用于执行本发明实施例的网页模板生成方法的程序可以存储在计算机可读存储介质中。因而，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有用于执行本发明实施例的网页模板生成方法的程序。相应地，在本发明的一个实施例中，提供了一种具有处理器可执行的程序代码的计算机可读介质，在被执行时，程序代码使得处理器执行下述步骤：采集网页的网页数据；根据所述网页数据生成所述网页的网页模板；根据生成的所述网页模板生成模板索引。

此外，典型地，本发明所述的移动终端可为各种手持终端设备，例如手机、个人数字助理(PDA)等，因此本发明的保护范围不应限定为某种特定类型的移动终端。

此外，根据本发明的方法还可以被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明的方法中限定的上述功能。

此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储设备实现。

此外，应该明白的是，本文所述的计算机可读存储设备(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

结合这里的公开所描述的各种示例性逻辑块、单元和电路可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其它这种配置。

结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件单元中或这两者的组合中。软件单元可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，所述存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。

在一个或多个示例性设计中，所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外先、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

一种网页模板生成方法，其特征在于，包括：

采集网页的网页数据；

根据所述网页数据生成所述网页的网页模板；

根据生成的所述网页模板生成模板索引。
根据权利要求1所述的网页模板生成方法，其特征在于，在根据所述网页数据生成所述网页的网页模板之后，所述网页模板生成方法还包括：

向提供网页模板的多个模板服务器发布所述网页模板和所述模板索引；

所述多个模板服务器分别存储所述网页模板和所述模板索引；以及

所述多个模板服务器中的第一模板服务器利用所述模板索引检索与所述网页匹配的网页模板，向所述多个模板服务器中除所述第一模板服务器之外的其它模板服务器提供所述与所述网页匹配的模板。
根据权利要求2所述的网页模板生成方法，其特征在于，向提供网页模板的多个模板服务器发布所述网页模板和所述模板索引包括：

在生成多个所述网页模板和所述模板索引之后；

计算多个所述网页模板的集合与历史模板集合的整体差异率；

判断所述整体差异率是否大于预设整体差异率阈值；

如果判断出所述整体差异率大于所述预设整体差异率阈值，则发布所述网页模板和所述模板索引；以及

如果判断出所述整体差异率不大于所述预设整体差异率阈值，则不发布所述网页模板和所述模板索引。
根据权利要求1所述的网页模板生成方法，其特征在于，根据生成的所述网页模板生成模板索引包括：

选取质量符合预定质量条件的模板；

确定模板适用的URL路径；

从所述URL路径中选取质量符合所述预定质量条件的模板适用的URL路径；以及

将选取的路径转换成模板索引。
根据权利要求1所述的网页模板生成方法，其特征在于，在根据所述网页数据生成所述网页的网页模板之后，所述网页模板生成方法还包括：

判断所述网页模板的数量是否达到预设数量；

如果判断出所述网页模板的数量达到所述预设数量，则计算每个网页模板的覆盖率；

将覆盖率小于第一预设覆盖率阈值的网页模板与大于所述第一预设覆盖率阈值的网页模板进行对比；以及

如果小于所述第一预设覆盖率阈值的网页模板与大于所述第一预设覆盖率阈值的网页模板的差异率小于预设差异率阈值，则将小于所述第一预设覆盖率阈值的网页模板与大于所述第一预设覆盖率阈值的网页模板合并。
根据权利要求5所述的网页模板生成方法，其特征在于，将覆盖率小于第一预设覆盖率阈值的网页模板与大于所述第一预设覆盖率阈值的网页模板进行对比包括：

将多个所述网页模板按照覆盖率大小进行由大到小的排序；以及

将排在后面的网页模板与排在前面的网页模板进行对比。
根据权利要求1所述的网页模板生成方法，其特征在于，根据生成的所述网页模板生成模板索引包括：

存储多个所述网页模板；

计算每个所述网页模板的覆盖率；

判断每个路径下的所述网页模板的覆盖率的总和是否达到第二预设覆盖率阈值；以及

删除所述网页模板的覆盖率的总和未达到所述第二预设覆盖率阈值的路径下的网页模板。
根据权利要求1所述的网页模板生成方法，其特征在于，在根据所述网页数据生成所述网页的网页模板之后，所述网页模板生成方法包括：

在获取到中间件服务器响应于所接收的来自终端设备的网页浏览请求后获取并转发的网页数据后，从网页模板服务器中的网页模板数据存储单元获取与所述网页数据对应的网页模板数据；

基于所述网页数据和所述网页模板数据，生成所述网页数据和网页模板数据之间的差量数据，以及

将所生成的差量数据经由中间件服务器转发给终端设备，以供终端设备根据所述差量数据和终端设备本地存储的与差量数据对应的网页模板数据展现所请求的网页。
根据权利要求8所述的方法，其中，所述网页浏览请求包含第一网页模板ID列表，以及

从网页模板数据存储单元获取的网页数据对应的网页模板数据，以及基于所述网页数据和所述网页模板数据，生成所述网页数据和网页模板数据之间的差量数据包括：

顺序获取第一网页模板ID列表中的第一网页模板ID来重复执行下述过程，直到生成所述差量数据：

基于当前获取的第一网页模板ID，从网页模板数据存储单元中获取网页模板数据，以及

计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据，

在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时，将所述差值数据确定为所述差量数据，以及

在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，从第一网页模板ID列表中获取下一第一网页模板ID，作为新的当前获取的第一网页模板ID。
根据权利要求8所述的方法，其中，所述网页浏览请求包含所请求的网页的网页地址和第一网页模板ID列表，所述网页模板服务器的网页模板ID列表库中与网页地址相关联地存储有第二网页模板ID列表，

从网页模板数据存储单元获取的网页数据对应的网页模板数据，以及基于所述网页数据和所述网页模板数据，生成所述网页数据和网页模板数据之间的差量数据包括：

根据所请求浏览的网页的网页地址，从网页模板ID列表库中获取对应的第二网页模板ID列表，

将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表；

顺序获取第三网页模板ID列表中的网页模板ID来重复执行下述过程，直到生成所述差量数据：

基于当前获取的网页模板ID，从网页模板数据存储单元中获取网页模板数据，以及

计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据，

在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时，将所述差值数据确定为所述差量数据，以及

在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，从第三网页模板ID列表中获取下一网页模板ID，作为新的当前获取的网页模板ID。
根据权利要求10所述的方法，其中，将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表包括，

对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并，形成第三网页模板ID列表，其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高，第一网页模板ID列表中的剩余部分次之，第二网页模板ID列表中的剩余部分最低。
根据权利要求10或11所述的方法，还包括：

在生成所述差量数据后，所述网页模板服务器判断当前使用的网页模板ID是否属于第一网页模板ID列表，以及

在当前使用的网页模板ID属于第一网页模板ID列表时，所述网页模板服务器将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备，

在当前使用的网页模板ID不属于第一网页模板ID列表时，所述网页模板服务器将当前使用的网页模板ID返回给中间件服务器，并且中间件服务器将所接收的网页模板ID和网页数据发送给终端设备。
一种网页模板服务器，其特征在于，包括：

采集单元，用于采集网页的网页数据；

生成单元，用于根据所述网页数据生成所述网页的网页模板；以及

索引单元，用于根据生成的所述网页模板生成模板索引。
根据权利要求13所述的网页模板服务器，其特征在于，所述网页模板服务器还包括：

发布单元，用于在根据所述网页数据生成所述网页的网页模板之后，向提供网页模板的多个模板服务器发布所述网页模板和所述模板索引；

存储单元，用于在所述多个模板服务器分别存储所述网页模板和所述模板索引；以及

模板检索单元，用于利用所述模板索引检索与所述网页匹配的网页模板，向其它服务器提供与所述网页匹配的模板。
根据权利要求14所述的网页模板服务器，其特征在于，所述发布单元包括：

计算模块，用于计算多个所述网页模板的集合与历史模板集合的整体差异率；

判断模块，用于判断所述整体差异率是否大于预设整体差异率阈值；以及

发布模块，用于在判断出所述整体差异率大于所述预设整体差异率阈值，发布所述网页模板，在判断出所述整体差异率不大于所述预设整体差异率阈值，不发布所述网页模板。
根据权利要求14所述的网页模板服务器，其特征在于，所述索引单元包括：

模板选取模块，用于选取质量符合预定质量条件的模板；

模板路径推导模块，用于确定模板适用的URL路径；

模板路径剪枝模块，用于从所述URL路径中选取质量符合所述预定质量条件的模板适用的URL路径；以及

模板索引生成模块，用于将选取的路径转换成模板索引。
根据权利要求14所述的网页模板服务器，其特征在于，所述网页模板服务器还包括：

判断单元，用于在根据所述网页数据生成所述网页的网页模板之后判断所述网页模板的数量是否达到预设数量；

计算单元，用于在判断出所述网页模板的数量达到所述预设数量时，计算每个网页模板的覆盖率；

对比单元，用于将覆盖率小于第一预设覆盖率阈值的网页模板与大于所述第一预设覆盖率阈值的网页模板进行对比；以及

合并单元，用于在小于所述第一预设覆盖率阈值的网页模板与大于所述第一预设覆盖率阈值的网页模板的差异率小于预设差异率阈值，将小于所述第一预设覆盖率阈值的网页模板与大于所述第一预设覆盖率阈值的网页模板合并。
根据权利要求16所述的网页模板服务器，其特征在于，所述对比单元包括：

排序模块，用于将多个所述网页模板按照覆盖率大小进行由大到小的排序；以及

对比模块，用于将排在后面的网页模板与排在前面的网页模板进行对比。
根据权利要求14所述的网页模板服务器，其特征在于，所述索引单元包括：

存储模块，用于在根据所述网页数据生成所述网页的网页模板之后，存储多个所述网页模板；

计算模块，用于计算每个所述网页模板的覆盖率；

第三判断模块，用于判断每个路径下的所述网页模板的覆盖率的总和是否达到第二预设覆盖率阈值；以及

删除模块，用于删除所述网页模板的覆盖率的总和未达到所述第二预设覆盖率阈值的路径下的网页模板。
根据权利要求13所述的网页模板服务器，其特征在于，还包括：

网页模板数据存储单元，用于存储网页模板数据；

网页模板数据获取单元，用于从网页模板数据存储单元获取与中间件服务器在接收到来自终端设备的网页浏览请求后获取并转发的网页数据对应的网页模板数据；

差量数据生成单元，用于基于从中间件服务器接收的网页数据和与该网页数据对应的网页模板数据，生成所述网页数据和网页模板数据之间的差量数据，以及

发送单元，用于将所生成的差量数据经由中间件服务器向终端设备转发所述差量数据，以供终端设备根据所述差量数据和终端设备本地存储的与差量数据对应的网页模板数据展现所请求的网页。
根据权利要求20所述的网页模板服务器，其中，所述网页浏览请求包含第一网页模板ID列表，所述网页模板数据获取单元被配置为顺序获取第一网页模板ID列表中的网页模板ID，并且基于所获取的网页模板ID，从所述网页模板数据存储单元中获取网页模板数据，以及

所述差量数据生成单元包括：

差值数据计算模块，用于计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据；和

确定模块，用于在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时，将所述差值数据确定为所述差量数据，以及

在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，所述网页模板数据获取单元和所述差量数据生成单元被配置为重复执行处理过程，直到生成所述差量数据。
根据权利要求20所述的网页模板服务器，其中，所述网页浏览请求包含网页地址和第一网页模板ID列表，所述网页模板服务器包括，

网页模板ID列表库，用于与网页地址相关联地存储第二网页模板ID列表；

网页模板ID列表获取模块，用于根据所请求浏览的网页的网页地址，从网页模板ID列表库中获取对应的第二网页模板ID列表，

网页模板ID列表合并单元，用于将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表；

所述网页模板数据获取单元被配置为顺序获取第三网页模板ID列表中的网页模板ID，并且基于所获取的网页模板ID，从所述网页模板数据存储单元中获取网页模板数据，以及

所述差量数据生成单元包括：

差值数据计算模块，用于计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据；和

确定模块，用于在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时，将所述差值数据确定为所述差量数据，以及

在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，所述网页模板数据获取单元和所述差量数据生成单元被配置为重复执行处理过程，直到生成所述差量数据。
根据权利要求22所述的网页模板服务器，其中，所述网页模板ID列表合并单元被配置为对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并，形成第三网页模板ID列表，其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高，第一网页模板ID列表中的剩余部分次之，第二网页模板ID列表中的剩余部分最低。
根据权利要求20到23中任何一个所述的网页模板服务器，还包括：

差量数据保存单元，用于与网页模板ID和网页地址相关联地存储差量数据；以及

差量数据查询单元，用于根据网页模板ID和网页地址，在所述差量数据保存单元中查询相关联的差量数据，以及

在所述差量数据查询单元没有查询到相关联的差量数据时，所述差量数据生成单元被配置为生成所述差量数据。
根据权利要求22或23所述的网页模板服务器，其中，所述差量数据生成单元还包括：

计数单元，用于在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时，计数所述差值数据计算单元的计算次数，以及

在所述计算次数不超过第二预定阈值时，所述网页模板数据获取单元被配置为获取下一网页模板ID，并且基于所述下一网页模板ID，从所述网页模板数据存储单元中获取网页模板数据，以及

所述网页模板服务器还包括：

差量数据生成失败消息生成单元，用于在所述计算次数超过第二预定阈值时，生成差量数据生成失败消息，以及

所述发送单元还被配置为向所述中间件服务器返回差量数据生成失败消息，以便所述中间件服务器在接收到所述差量数据生成失败消息后，向终端设备返回网页数据来进行展现。
根据权利要求22或23所述的网页模板服务器，还包括：

第二判断单元，用于在生成所述差量数据后，判断所述网页模板数据获取单元当前使用的网页模板ID是否属于第一网页模板ID列表，以及

在当前使用的网页模板ID属于第一网页模板ID列表时，所述发送单元被配置为将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备，

在当前使用的网页模板ID不属于第一网页模板ID列表时，所述发送单元被配置为将当前使用的网页模板ID返回给中间件服务器，并且中间件服务器将所接收的网页模板ID和网页数据发送给终端设备。
一种具有处理器可执行的程序代码的计算机可读介质，其特征在于，在被执行时，所述程序代码使得处理器执行下述步骤：

采集网页的网页数据；

根据所述网页数据生成所述网页的网页模板；

根据生成的所述网页模板生成模板索引。
一种计算机程序，其特征在于，用于执行权利要求1至12中任一项所述的网页模板生成方法。