WO2015081789A1

WO2015081789A1 - 网址净化方法及装置

Info

Publication number: WO2015081789A1
Application number: PCT/CN2014/091924
Authority: WO
Inventors: 周雷; 高扬; 姜鑫; 牛杏媛; 蒋英雪
Original assignee: Beijing Qihoo Technology Co Ltd; Qizhi Software Beijing Co Ltd
Current assignee: Beijing Qihoo Technology Co Ltd; Qizhi Software Beijing Co Ltd
Priority date: 2013-12-02
Filing date: 2014-11-21
Publication date: 2015-06-11
Anticipated expiration: 2016-06-02
Also published as: CN103793462B; US20160306893A1; CN103793462A

Abstract

本发明提供了一种网址净化方法，包括以下步骤：将原始网址与可净化的域名集合中的域名进行匹配；根据匹配成功的域名定位到对应的网址模板集合；将原始网址与该网址模板集合中的网址模板的正则表达式进行匹配；判断正则表达式匹配成功的模板中是否包含命令字；若是则根据命令字对网址进行处理，转到输出净化后的新网址步骤，否则返回原始网址；输出净化后的新网址。此外本发明还相应地提供一种的网址净化装置。对于具备多种形式的网址，净化后可以判定其是否已经被抓取过，如果已经抓取就不必重复抓取，从而显著的提升爬虫抓取有效网页的能力，节省各种资源。

Description

网址净化方法及装置

技术领域

本发明涉及一种网址净化方法及其装置，尤其涉及一种对网址形式较多的网站中的网址进行净化的方法。

背景技术

URL(Uniform Resoure Locator：统一资源定位器)是网络资源的地址，也称为网址。在本发明中，以中文的“网址”和英文缩写“URL”表示同一个概念。它从左到右由下述部分组成：

·Intemet资源类型(scheme)：指出WWW客户程序用来操作的工具。如“http：//”表示WWW服务器，“ftp：//”表示FTP服务器，“gopher：//”表示Gopher服务器，而“new：”表示Newgroup新闻组。

·服务器地址(host)：指出WWW页所在的服务器域名。

·端口(port)：有时(并非总是需要)，对某些资源的访问来说，需给出相应的服务器提供端口号。

·路径(path)：指明服务器上某资源的位置(其格式与DOS系统中的格式一样，通常有目录/子目录/文件名这样结构组成)。与端口一样，路径并非总是需要的。

URL地址格式排列为：scheme：//host：port/path，例如http：//www.microsoft.com：80/products就是一个典型的URL地址。

现如今天随着网站推广手段的日愈丰富，广大网站为了统计当前URL的流量来源，会对URL做一些额外的处理，有的会在URL主体后面加上一些额外的信息，有的则是变化了URL的形式，这些额外的形式提高了网站的效率，但是对于搜索引擎的爬虫来说，却是噩梦，因为现有技术的爬虫在抓取的时候，并不会主动区分这些额外的信息，而会分别对这些变化的URL进行抓取，但是抓取的内容却是指向同一个网页。对于爬虫来说，则浪费了URL调度模块的存储空间，带宽，以及计算的资源，导致爬虫的实际使用效率不高。

发明内容

鉴于上述问题，需要提升搜索引擎的爬虫抓取有效网页的能力及爬虫的实际使用效率，从而节省各种资源等(例如存储空间、带宽、CPU、内存等)。

因此，依据本发明的一个方面，提供了一种网址净化方法，该方法包括以下步骤：

将原始网址与可净化的域名集合中的域名进行匹配；

根据匹配成功的域名定位到对应的网址模板集合；

将原始网址与该网址模板集合中的网址模板的正则表达式进行匹配；

判断正则表达式匹配成功的模板中是否包含命令字；若是则根据命令字对网址进行处理，转到输出净化后的新网址步骤，否则返回原始网址；

输出净化后的新网址。

依据本发明的另一个方面，提供了一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算机上运行时，将执行前述的网址净化方法。

依据本发明的又一个方面，提供了一种计算机可读介质，其中存储了前述的计算机程序。

根据本发明的再一方面，本发明还提出了一种网址净化装置，该装置包括以下模块：

域名匹配模块，将原始网址与可净化的域名集合中的域名进行匹配；

定位模块，根据匹配成功的域名定位到对应的网址模板集合；

模板匹配模块，将原始网址与该网址模板集合中的网址模板的正则表达式进行匹配；

命令字处理模块，判断正则表达式匹配成功的模板中是否包含命令字；若是则根据命令字对网址进行处理，转到输出模块输出净化后的新网址，否则返回原始网址；

输出模块，输出净化后的新网址。

根据本发明实施例的一种网址净化方法可以看出，在爬虫抓取网页之前，对于需要抓取的URL进行一遍预处理，将多种形式的URL转化为同一种形式，在本发明中也称之为URL净化或者URL归一化。对于净化以后的URL，可以采取Bloom filter(布隆过滤器)的形式判定一个网页是否已经被抓取过，如果已经抓取，就不需要再抓取一遍，这样，可以显著的提升爬虫抓取有效网页的能力，节省各种资源(例如存储空间、带宽、CPU、内存等)。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的网址净化处理流程图；

图2示出了根据图1网址净化处理流程的具体实施例示意图；

图3示出了本发明一个具体实施例中的URL模板结构示意图；

图4示出了根据本发明另一个实施例的网址净化装置的结构示意图；

图5示意性地示出了用于执行根据本发明的方法的服务器的框图；以及

图6示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，一种网址净化方法，包括以下步骤：

步骤S110：抓取原始网址，准备进入净化处理过程。

步骤S120：进行域名精准匹配。在URL进行模板处理前，都要先进行域名精确匹配，将待处理的原始网址与可净化的域名集合中的域名逐一进行匹配，判断匹配是否成功，若匹配成功则进行步骤S130，否则返回原始网址。域名集合中包括一个或多个域名。

步骤S130，域名匹配成功后，将匹配成功的域名定位到对应的网址模板集合，取出所属域名下的网址模板集合。

步骤S140，将网址模板集合中的所有网址模板按照顺序，依次与原始网址进行URL模板匹配，具体的，是将原始网址与该网址模板集合中的网址模板的正则表达式进行匹配，判断匹配是否成功，如果匹配成功才会进行后续净化处理，执行步骤S150，否则返回原始网址。网址模板集合中包括一个或多个网址模板。

步骤S150，判断正则表达式比配成功的模板中是否包含命令字，如果包含命令字，则执行步骤S160，否则，返回原始网址。

步骤S160，根据命令字对网址进行处理，判断是否处理成功，若处理成功则输出净化后的新网址，否则，返回原始网址。

下面结合附图2，依据上述处理流程，以具体实施例的方式详细说明网址净化过程，特别是依据命令字对网址进行的净化处理：

步骤S210：抓取原始网址，进入净化处理过程。

步骤S220：进行域名精准匹配，判断匹配是否成功，若匹配成功则进行步骤S230，否则执行步骤S270。

步骤S230，域名匹配成功后，将匹配成功的域名定位到对应的网址模板集合，取出所属域名下的网址模板集合，将原始网址与该网址模板集合中的网址模板的正则表达式进行匹配，判断匹配是否成功，如果匹配成功才会进行后续净化处理，执行步骤S240，否则执行步骤S270。

步骤S240，网址模板匹配成功后，判断该正则表达式匹配成功的网址模板中是否包含有命令字goodsid，若有命令字goodsid，则执行步骤S241；若没有命令字goodsid，则执行步骤S250。

步骤S241，判断含有命令字goodsid的网址模板中是否包含有URL自定义标准形式，若含有URL自定义标准形式，则抽取出goodsid，根据自定义标准形式，生成新的URL返回，即输出净化后的新网址，处理结束；否则，执行步骤S250。

步骤S250，判断命令字是否包括有truncate，若是则抽取所有匹配成功的正则表达式中分组匹配部分，将这些分组匹配部分组合成新的URL返回，即输出净化后的新网址，处理结束；否则执行步骤S260。

步骤S260，判断命令字是否包括有某些分组命令。若有某些分组命令，则将分组字符串处理后重新拼成URL返回，即输出净化后的新网址，处理结束；否则执行步骤S270。

步骤S270，返回原始网址(原始URL数据)，结束处理过程。

根据上述处理过程，URL模板的机构如图3所示，每个URL模板(网址模板)可以由三个元素组成：域名、正则表达式和命令字，也可以由四个元素组成：域名、正则表达式、命令字和自定义标准形式。URL模板是按域名划分组织的，命令字可能包含一个或多个命令的组合，当有多个命令字时由“.”分隔开(如up_1.goodsid_1)。

本发明在网址净化处理过程中支持并使用到的命令字，其名称及相应解释如下表所示：

名称	解释
名称	解释	goodsid_n	从第n个组内提取goodsid信息
truncate	只保留组匹配的信息，返回截并的结果	goodsid_n	从第n个组内提取goodsid信息
truncate	只保留组匹配的信息，返回截并的结果	Low_n	第n组转换成小写形式
up_n	第n组转换成大写形式	Low_n	第n组转换成小写形式

对于本发明中命令字的使用方法，下面具体举例说明：

实施例一：命令字goodsid，这种命令字适用于整体URL形式比较多变，需要总结出规律，找出其中的主要部分，然后拼接出来最终形式的网站。

例如，某些B2C网站链接形式不太规范，同一时间网站上会出现多种形式的链接，如下：

http：//www.eggcoo.com/page_product_527393_0.html

http：//www.eggcoo.com/product.shtml？method＝detailView&id＝527393&cv＝0

这是在金蛋商场里，存在两种不同形式的链接，但事实上指向的却是同一个商品。

又例如，有些历史悠久的大B2C，也会不定期地改版，存在同样状况：

http：//www.amazon.cn/gp/product/B0019DBU60？ver＝gp&uid＝476-6816060-6082564&pageletid＝taiwan(来自列表页)

http：//www.amazon.cn/mn/detailApp/ref＝sr_1_1？_encoding＝UTF8&s＝electro nics&qid＝1278389145&asin＝B0019DBU60&sr＝8-1(来自搜索页)

http：//www.amazon.cn/％CC％C0％C4％B7％D1％B7+％C0％F2％C2％EA+％B1％CA％BC％C7％B1％BE％D2％F4％CF％E4+DS-A07203％2C％CC％F4％D5％BD％D0％D4％BC％DB％B1％C8％BC％AB％CF％DE％21/dp/B0019DBU60(来自sitemap)

这是在卓越亚马逊的链接，存在三种不同形式的链接，但事实上指向的却是同一个商品。

对于上述这类网址的净化办法，就是采用命令字goodsid，自定义抽取主干，这时，就需要自定义返回形式的规则了：

(1)针对金蛋商场，需要编写如下规则：

{“www.eggcoo.com”，“^/product.shtml\？.*id＝(\d+).*$”，“goodsid_1”，“/product.shtml\？.*id＝％s”}

{“www.eggcoo.com”，“^/page_product_(\d+)_(\d+).html”，“goodsid_1”，“/product.shtml\？.*id＝％s”}

应用这两条规则，上述金蛋商场的链接会返回

http：//www.eggcoo.com/page_product_527393_0.html

(2)针对卓越亚马逊，需要编写如下规则：

{“www.amazon.cn”，“^/gp/product/([A-Za-z0-9]+)\？ver＝gp.*$”，“up_1.goodsid_1”，“/gp/product/％s”}

{“www.amazon.cn”，“^/mn/detailApp/ref-.*\？.*asin＝([A-Za-z0-9]+).*$”，“up_1.goodsid_1”，“/gp/product/％s”}

{“www.amazon.cn”，“^/(.*)/dp/([A-Za-z0-9]+).*$”，“up_2.goodsid_2”，“/gp/product/％s”}

应用这三条规则，上述卓越亚马逊的链接会返回

http：//www.amazon.cn/gp/product/B0019DBU60

实施例二：命令字truncate，这种命令字适用于URL后面跟有额外的信息的情况。现在很多网站都会在URL后面加上额外的一些参数，标记来源，或者做统计，这种形式比较常见，处理起来也比较容易，例如：

http：//www.vancl.com/Product_0006984/BaiHeHuaLianYiQun％20HongSeYi nHua.html？Source＝eqf&SourceSunInfo＝96845|yqftid_12783880711284196186

对这类网址的净化办法，就是采用命令字truncate(截并)，对所有需要保留下来的数据，都设置了分组(加了一对括号)，只返回有分组的结果，如下面这条规则：

{“www.vancl.com”，“^(/Product_[0-9]+/[\w]+\.html).*.*$”，“truncate”，null}

应用这个规则，遇到上述的链接时返回

http：//www.vancl.com/Product_0006984/BaiHeHuaLianYiQun％20HongSeYi nHua.html

实施例三：命令字为分组命令，这种命令字适用于URL不区分大小写的网站。有些网站，对于URL的大小写是不敏感的，但是对于爬虫来说，URL大写和小写却分别对应着不同的链接，碰到这种情况，就可以采用分组命令统一的将某个分组的大写转化成小写或者小写转化成大写。

例如当当网的URL：

http：//product.dangdang.com/product.aspx？product_id＝22799821

http：//product.dangdang.com/Product.aspx？product_id＝22799821

这两个URL虽然不同，但指向的是同一件商品。

对这类网址的净化，可以采用命令字up或low对匹配分组部分进行大小写控制，up_n代表第n组转换成大写形式，low_n代表第n组转换成小写形式。如下面这条规则：

{“product.dangdang.com”，“(？i)^/(P)roduct.aspx？product_id＝\d+.*$”，“low_1”，null}

这条规则表示将第一个匹配组小写返回。同理，将“low_1”换成“up_1”则表示将第一个匹配组大写返回。

通过本发明的实施例可以看出，净化后的网址，能够提升搜索引擎的爬虫抓取有效网页的能力及爬虫的实际使用效率，从而节省各种资源。

如图4所示，是本发明的另一个实施例，由于其原理与图1及上述表述的内容完全一致，因此在此并不展开详细说明。一种网址净化装置400，包括以下模块：

域名匹配模块410，将原始网址与可净化的域名集合中的域名进行匹配，域名集合中包括一个或多个域名。

定位模块420，根据匹配成功的域名定位到对应的网址模板集合，网址模板集合中包括一个或多个网址模板。

模板匹配模块430，将原始网址与该网址模板集合中的网址模板的正则表达式进行匹配，网址模板包括域名、正则表达式、命令字、自定义形式(可选)。

命令字处理模块440，判断正则表达式匹配成功的模板中是否包含命令字；若是则根据命令字对网址进行处理，转到输出模块输出净化后的新网址，否则返回原始网址。具体的，当命令字处理模块440判断正则表达式匹配成功的模板中包含的命令字为goodsid，且所述正则表达式匹配成功的模板中包含自定义形式时，则根据命令字对网址进行处理，包括抽取出goodsid，根据自定义形式标准，生成新的网址；当命令字处理模块440判断正则表达式匹配成功的模板中包含的命令字为truncate时，则抽取匹配成功的正则表达式中分组匹配部分，将这些部分组合成新的网址；当命令字处理模块440判断正则表达式匹配成功的模板中包含的命令字为分组命令时，则将分组字符串处理后重新拼成新的网址，分组命令包括low_n命令和up_n命令，low_n命令表示第n组转换成小写形式，up_n命令表示第n组转换成大写形式；当命令字处理模块440判断正则表达式匹配成功的模板中包含的命令字为goodsid，但正则表达式匹配成功的模板中不包含自定义形式时，则进一步判断该正则表达式匹配成功的模板中是否包含命令字truncate，若是，则抽取匹配成功的正则表达式中分组匹配部分，将这些部分组合成新的网址；否则进一步判断该正则表达式匹配成功的模板中是否包含命令字分组命令，若是，则将分组字符串处理后重新拼成新的网址；否则返回原始网址。

输出模块450，输出净化后的新网址。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的客户端或服务器中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者设备程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图5示出了可以实现根据本发明上述方法的服务器，例如搜索引擎服务器。该服务器传统上包括处理器510和以存储器530形式的计算机程序产品或者计算机可读介质。存储器530可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器530具有用于执行上述方法中的任何方法步骤的程序代码551的存储空间550。例如，用于程序代码的存储空间550可以包括分别用于实现上面的方法中的各种步骤的各个程序代码551。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图6所述的便携式或者固定存储单元。该存储单元可以具有与图5的服务器中的存储器530类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码551’，即可以由例如诸如510之类的处理器读取的代码，这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。

本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

此外，还应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims

一种网址净化方法，其特征在于包括以下步骤：

将原始网址与可净化的域名集合中的域名进行匹配；

根据匹配成功的域名定位到对应的网址模板集合；

将所述原始网址与该网址模板集合中的网址模板的正则表达式进行匹配；

判断正则表达式匹配成功的模板中是否包含命令字；若是，则根据命令字对网址进行处理，否则返回原始网址；

输出净化后的新网址。
根据权利要求1所述的网址净化方法，其特征在于：

当判断正则表达式匹配成功的模板中包含的命令字为goodsid，且所述正则表达式匹配成功的模板中包含自定义形式时，则根据命令字对网址进行处理，包括抽取出goodsid，根据自定义形式标准，生成新的网址。
根据权利要求1所述的网址净化方法，其特征在于：

当判断正则表达式匹配成功的模板中包含的命令字为truncate时，则抽取匹配成功的正则表达式中分组匹配部分，将这些部分组合成新的网址。
根据权利要求1所述的网址净化方法，其特征在于：

当判断正则表达式匹配成功的模板中包含的命令字为分组命令时，则将分组字符串处理后重新拼成新的网址。
根据权利要求4所述的网址净化方法，其特征在于：

当所述分组命令包括low_n命令，则表示第n组转换成小写形式；当所述分组命令包括up_n命令，则表示第n组转换成大写形式。
根据权利要求1所述的网址净化方法，其特征在于：

当判断正则表达式匹配成功的模板中包含的命令字为goodsid，但所述正则表达式匹配成功的模板中不包含自定义形式时，则进一步判断该正则表达式匹配成功的模板中是否包含命令字truncate，若是，则抽取匹配成功的正则表达式中分组匹配部分，将这些部分组合成新的网址；否则进一步判断该正则表达式匹配成功的模板中是否包含命令字分组命令，若是，则将分组字符串处理后重新拼成新的网址；否则返回原始网址。
根据权利要求1-6之一所述的网址净化方法，其特征在于：

所述域名集合中包括一个或多个域名，所述网址模板集合中包括一个或多个网址模板。
根据权利要求1-7之一所述的网址净化方法，其特征在于：

所述网址模板包括域名、正则表达式和命令字。
根据权利要求8所述的网址净化方法，其特征在于：

所述网址模板还包括自定义形式。
一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算机上运行时，将执行根据权利要求1至9中的任一项所述的网址净化方法。
一种计算机可读介质，其中存储了如权利要求10所述的计算机程序。
一种网址净化装置，其特征在于包括以下模块：

域名匹配模块，将原始网址与可净化的域名集合中的域名进行匹配；

定位模块，根据匹配成功的域名定位到对应的网址模板集合；

模板匹配模块，将原始网址与该网址模板集合中的网址模板的正则表达式进行匹配；

命令字处理模块，判断正则表达式匹配成功的模板中是否包含命令字；若是则根据命令字对网址进行处理，否则返回原始网址；

输出模块，输出净化后的新网址。
根据权利要求12所述的网址净化装置，其特征在于：

当所述命令字处理模块判断正则表达式匹配成功的模板中包含的命令字为goodsid，且所述正则表达式匹配成功的模板中包含自定义形式时，则根据命令字对网址进行处理，包括抽取出goodsid，根据自定义形式标准，生成新的网址。
根据权利要求12所述的网址净化装置，其特征在于：

当所述命令字处理模块判断正则表达式匹配成功的模板中包含的命令字为truncate时，则抽取匹配成功的正则表达式中分组匹配部分，将这些部分组合成新的网址。
根据权利要求12所述的网址净化装置，其特征在于：

当所述命令字处理模块判断正则表达式匹配成功的模板中包含的命令字为分组命令时，则将分组字符串处理后重新拼成新的网址。
根据权利要求15所述的网址净化装置，其特征在于：

当所述分组命令包括low_n命令，则表示第n组转换成小写形式；当所述分组命令包括up_n命令，则表示第n组转换成大写形式。
根据权利要求12所述的网址净化装置，其特征在于：

当所述命令字处理模块判断正则表达式匹配成功的模板中包含的命令字为goodsid，但所述正则表达式匹配成功的模板中不包含自定义形式时，则进一步判断该正则表达式匹配成功的模板中是否包含命令字tru ncate，若是，则抽取匹配成功的正则表达式中分组匹配部分，将这些部分组合成新的网址；否则进一步判断该正则表达式匹配成功的模板中是否包含命令字分组命令，若是，则将分组字符串处理后重新拼成新的网址；否则返回原始网址。
根据权利要求12-17之一所述的网址净化装置，其特征在于：

所述域名集合中包括一个或多个域名，所述网址模板集合中包括一个或多个网址模板。
根据权利要求12-17之一所述的网址净化装置，其特征在于：

所述网址模板包括域名、正则表达式和命令字。
根据权利要求19所述的网址净化装置，其特征在于：

所述网址模板还包括自定义形式。