WO2015196740A1 - 一种基于网页链接参数分析的信息预测采集方法 - Google Patents

一种基于网页链接参数分析的信息预测采集方法 Download PDF

Info

Publication number
WO2015196740A1
WO2015196740A1 PCT/CN2014/093070 CN2014093070W WO2015196740A1 WO 2015196740 A1 WO2015196740 A1 WO 2015196740A1 CN 2014093070 W CN2014093070 W CN 2014093070W WO 2015196740 A1 WO2015196740 A1 WO 2015196740A1
Authority
WO
WIPO (PCT)
Prior art keywords
webpage
link
parameter
information
links
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2014/093070
Other languages
English (en)
French (fr)
Inventor
董守斌
陈佳
李粤
古万荣
袁华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to US15/306,777 priority Critical patent/US20170053031A1/en
Publication of WO2015196740A1 publication Critical patent/WO2015196740A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations

Definitions

  • the invention relates to the field of information collection technology required by a search engine and a web excavator, and particularly relates to an information prediction collection method based on webpage link parameter analysis.
  • the information collection system is a core component of search engines. Data mining on the Web can discover a large amount of hidden knowledge on the Web. Various Internet services, Web data mining also requires deep collection of web page information.
  • the general web information collection system has some limitations:
  • the object of the present invention is to overcome the shortcomings and shortcomings of the prior art, and provide an information prediction and collection method based on webpage link parameter analysis, which performs clustering and classification decision on collecting a large number of webpages and link resources, and predicts an unknown webpage collection. What link resources are also included, combined with the prediction method, can find more dynamic web pages with similar links than traditional collection methods.
  • An information prediction acquisition method based on webpage link parameter analysis comprising the following sequence of steps:
  • the step (1) is specifically as follows: the traversal of the collected webpage link library is performed, the parameter characteristics of the webpage link are extracted during the traversal process, and the minimum value and the maximum value that have appeared in each pair of parameter value pairs are recorded.
  • the statistical information of the webpage link parameter includes the value information of the parameter part of each webpage link, wherein the parameter part is composed of a plurality of sets of parameter value pairs, and the pure value part is converted into a value range. , to provide a basis for predicting similar web links.
  • the step (2) is specifically as follows: extracting the external links in each webpage, clustering them, and obtaining the distribution characteristics of the link resources included in the webpage.
  • step (3) the external link distribution feature of the webpage is generated by clustering, and all outer links of each webpage are aggregated into multiple categories of similar forms by the same number of statistics and edit distances of the prefix. And sorting according to the size of each category to get the distribution characteristics.
  • the webpage classification is used to identify a category corresponding to a webpage link, and is one of a navigation webpage link, a listpage webpage link, and a contentpage webpage link.
  • the sampling prediction of the webpage resource is: in all the predictable webpage resource collections, a certain proportion of webpage links are randomly selected under each path of each website.
  • the present invention has the following advantages and beneficial effects:
  • the method of the present invention effectively supplements the deficiencies of the traditional method of collecting information, expands the number of link resources to be collected, and predicts a large number of uncollected webpage resources by using known web resource characteristics, thereby improving the speed of collecting webpage information and Coverage.
  • the collection test of the predicted sample can verify whether the predicted web page link sample of different parameter values can effectively access the network resource, and is used as a reference for comprehensively generating the predicted webpage link resource in the next step.
  • the overall prediction of the webpage resource according to the validity analysis of the sampled prediction sample, can eliminate a large number of invalid prediction results, reduce the blindness of the prediction, and improve the accuracy.
  • FIG. 1 is a flowchart of a method for information prediction and collection based on webpage link parameter analysis according to the present invention
  • FIG. 2 is a basic form diagram of a webpage link string of the method of FIG. 1;
  • FIG. 3 is a schematic structural diagram of statistical information of an already collected webpage link of the method of FIG. 1;
  • FIG. 4 is a schematic diagram of parameter value storage of different paths in each website of the method of FIG. 1;
  • FIG. 5 is a schematic diagram of clustering external links included in each webpage by the method of FIG. 1;
  • FIG. 6 is a schematic diagram of classification of the method of FIG. 1 according to a distribution feature of a webpage outer link;
  • FIG. 7 is a schematic diagram of webpage link prediction of the method of FIG. 1;
  • FIG. 8 is a schematic diagram of sample prediction and overall prediction of the method of FIG.
  • an information prediction acquisition method based on webpage link parameter analysis includes the following sequence of steps:
  • the statistical information of the webpage link parameter includes the value information of the parameter part of each webpage link, wherein the parameter part is composed of a plurality of sets of parameter value pairs, and the pure value part is converted into a value range for predicting similar webpages.
  • the link provides the basis;
  • the URL generally includes two parts: protocol and path.
  • ⁇ host> indicates the site host name (domain name or IP address)
  • ⁇ port> indicates the port number
  • ⁇ path> indicates the page path
  • ⁇ searchpart> indicates the parameter expression of the CGI interface GET method
  • ⁇ path> part of the site structure the path of the page corresponds to the file system of the Web site, and is also a hierarchical tree structure, with each layer separated by "/";
  • the statistical structure of the collected URL shows the statistical result obtained after traversing the collected URL library, and each website can establish a corresponding tree of the website, and the leaf node of the tree stores the website. Statistics under the path;
  • the figure shows a schematic diagram of each website structure tree.
  • the webpage parsing module can extract a plurality of links to external websites from the webpage text information, and most of the outer links included in each webpage are similar in form, and the part of the site and the path are defined.
  • the clustering module can aggregate links with the same prefix into one category and calculate the number of links in the category;
  • the external link distribution feature of the webpage is generated by clustering, and all outer links of each webpage are aggregated into multiple categories of similar forms by prefixing the same number of statistics and editing distance within a certain range, and according to each category The number of sizes is sorted to obtain a distribution feature;
  • the webpage classification is used to identify a category corresponding to a webpage link, and is one of a navigation webpage link, a list page webpage link, and a contentpage webpage link;
  • Navigation page a large number of external links, after clustering, the characteristics are more categories, the number of large categories is less, the distribution is average;
  • the sampling prediction of the webpage resource is: in all the predictable webpage resource collections, a certain proportion of webpage links are randomly selected under each path of each website;
  • the key parameters of a web page are usually only one, similar to the role of the primary key in the database.
  • the valid parameter values can be selected by sampling test, and the invalidation is invalid.
  • the success rate of each website can be counted, and the predicted URL can be identified. Effective; according to the results of the sample prediction test, and then the overall prediction URL set, the number of URLs generated by the sampling is far less than the number of URLs generated by the direct overall prediction, in this way to improve the accuracy of the prediction with a relatively small cost;

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于网页链接参数分析的信息预测采集方法，包括以下顺序的步骤：计算网页链接的参数特征统计信息，计算网页所包含外部链接的分布信息，根据网页的外部链接分布特征对网页进行分类，网页资源的抽样预测，预测样本的采集测试，网页资源的总体预测。本发明的方法，有效地补充了传统采集信息方式的不足，扩展了待采集链接资源的数量，利用已知的网页资源特征预测到了大量未采集的网页资源，提高了采集网页信息的覆盖率。

Description

一种基于网页链接参数分析的信息预测采集方法
技术领域
本发明涉及搜索引擎和Web挖掘机所需的信息采集技术领域，特别涉及一种基于网页链接参数分析的信息预测采集方法。
背景技术
当今，互联网提供了越来越多有价值的信息，人们习惯通过搜索引擎来获取信息，信息采集系统是搜索引擎的核心组成部分；对Web进行数据挖掘能发现Web上大量隐藏的知识，从而衍生各种互联网服务，Web数据挖掘也需要对网页信息进行深层次的采集。通用的网页信息采集系统有一些局限性：
（一）在一定采集深度内，无法收录一些深层网页数据。
（二）网页的编码技术日益复杂，无法从中抽取到链接资源，遗漏大量网页资源。
（三）基于JavaScript引擎解析网页中的动态代码会给信息采集系统带来较大的开销。
互联网上的网页总数持续高速增长，这对搜索引擎的网络信息采集提出了更高的要求。互联网的网页数量很庞大，尤其是动态网页的数量增长迅速。在信息采集的过程中，难免会碰到各种异常情况，如服务器响应缓慢，重复网页、无效网页链接过多，网页资源之间的链接难以发现等问题。网页链接简称URL。
因此，人们需要一种新的网络信息采集方法，来满足人们的需求。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于网页链接参数分析的信息预测采集方法，其对采集到大量网页和链接资源进行聚类和分类决策，预测未知的网页集合中还会包括哪些链接资源，结合预测方法，可以比传统的采集方式发现更多具有相似链接的动态网页。
本发明的目的通过以下的技术方案实现：
一种基于网页链接参数分析的信息预测采集方法，包括以下顺序的步骤：
（1）计算网页链接的参数特征统计信息；
（2）计算网页所包含外部链接的分布信息，为网页分类提供特征并作为识别的依据；
（3）根据网页的外部链接分布特征对网页进行分类；
（4）利用网页链接的分类结果和参数统计信息进行网页资源的抽样预测，产生一个测试所预测网页资源的小样本；
（5）对抽样得到的预测样本进行采集测试，筛选出采集成功率达到自定义阈值的网页链接集合，舍弃不符合条件的部分网页链接；
（6）网页资源的总体预测：利用抽样测试的结果和网页链接的参数特征统计信息，用于预测大量有效的网页链接集合。
所述的步骤（1），具体如下：通过对已采集的网页链接库进行遍历，遍历过程中提取网页链接的参数特征，并记录每对参数值对中已出现的最小值、最大值。
步骤（1）中，所述的网页链接参数的统计信息包括每个网页链接的参数部分的取值信息，其中参数部分由多组参数值对组成，将纯数值的部分转化为一个取值范围，为预测类似的网页链接提供依据。
所述的步骤（2），具体如下：抽取每个网页中的外链接，对它们进行聚类，得到该网页上所包含的链接资源分布特征。
步骤（3）中，所述的网页的外部链接分布特征由聚类产生，通过前缀相同数目的统计、编辑距离在一定范围内，把每个网页的所有外链接聚集为相似形式的多个类别，并根据每个类别数目的大小进行排序得到分布特征。
步骤（3）中，所述的网页分类是用于识别网页链接所对应的类别，为导航类网页链接、列表页网页链接、内容页网页链接中的一种。
步骤（4）中，所述的网页资源的抽样预测，是在所有可以预测的网页资源集合中，在每个网站每个路径下都随机抽取一定比例的网页链接。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明的方法有效地补充了传统采集信息方式的不足，扩展了待采集链接资源的数量，利用已知的网页资源特征预测到了大量未采集的网页资源，提高了采集网页信息的速度和覆盖率。
2、本发明的方法中，所述预测样本的采集测试，能够验证不同参数值对应预测的网页链接样本是否能有效地访问网络资源，为下一步全面生成预测的网页链接资源做参考。
3、本发明的方法中，所述网页资源的总体预测，根据抽样预测样本的有效性分析，可以剔除大量无效的预测结果，降低预测的盲目性，提高准确率。
附图说明
图1为本发明所述的一种基于网页链接参数分析的信息预测采集方法的流程图；
图2为图1所述方法的网页链接字符串的基本形式图；
图3为图1所述方法的已经采集网页链接的统计信息结构示意图；
图4为图1所述方法的每个网站中不同路径的参数值存储的示意图；
图5为图1所述方法的对每个网页所包含外链接进行聚类的示意图；
图6为图1所述方法的根据网页外链接分布特征进行分类的示意图；
图7为图1所述方法的网页链接预测的示意图；
图8为图1所述方法的抽样预测和总体预测的示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1，一种基于网页链接参数分析的信息预测采集方法，包括以下顺序的步骤：
（1）计算网页链接的参数特征统计信息：通过对已采集的网页链接库进行遍历，遍历过程中提取网页链接的参数特征，并记录每对参数值对中已出现的最小值、最大值；
所述的网页链接参数的统计信息包括每个网页链接的参数部分的取值信息，其中参数部分由多组参数值对组成，将纯数值的部分转化为一个取值范围，为预测类似的网页链接提供依据；
如图2所示，URL一般包括协议和路径两个部分 ,<host>表示站点主机名（域名或IP地址）,<port>表示端口号,<path>表示页面路径,<searchpart>表示CGI接口GET方法的参数表达式；对一个站点来说，能够表示站点结构的只有<path>部分,页面的路径和Web站点的文件系统是对应的，也是一种分层的树形结构，每层之间通过“/”分开；
如图3所示，已采集URL的统计信息结构显示了遍历已采集URL库后得到的统计结果，每个网站都可以建立一棵对应网站的结构树，树的叶子节点保存着该网站某个路径下的统计信息；
如图4所示，该图显示的是每个网站结构树示意图，树结构的叶端保存的是从链接的<searchpart>部分提取出来的参数值对信息，可以由多对name=value结构形式组成，value部分保存着迄今为止发现的最小值和最大值；
（2）计算网页所包含外部链接的分布信息，为网页分类提供特征并作为识别的依据：抽取每个网页中的外链接，对它们进行聚类，得到该网页上所包含的链接资源分布特征；
如图5所示，网页解析模块可以从网页文本信息中提取出众多指向外部网站的链接，每个网页上所包含的外链接大多数在形式上是相似的，把站点和路径组成的部分定义为前缀，聚类模块可以把前缀相同的链接聚合为一个类别，并计算该类别的链接数目；
（3）根据网页的外部链接分布特征对网页进行分类；
所述的网页的外部链接分布特征由聚类产生，通过前缀相同数目的统计、编辑距离在一定范围内，把每个网页的所有外链接聚集为相似形式的多个类别，并根据每个类别数目的大小进行排序得到分布特征；
如图6，所述的网页分类是用于识别网页链接所对应的类别，为导航类网页链接、列表页网页链接、内容页网页链接中的一种；其中
导航页：大量外链接，聚类后，特点是类别多，数目大的类别比较少，分布平均；
列表页：外链接较多，聚类后，特点是前几个大类别的数量占总数的比重很大；
内容页：外链接相对较少，文字较多，可以从列表页的大类别计算得出；
（4）利用网页链接的分类结果和参数统计信息进行网页资源的抽样预测，产生一个测试所预测网页资源的小样本；
所述的网页资源的抽样预测，是在所有可以预测的网页资源集合中，在每个网站每个路径下都随机抽取一定比例的网页链接；
如图7所示，根据URL统计信息和URL聚类、分类得出来的类别信息，对有扩展价值的URL形式进行预测扩展；在该步骤中，每一个由<host>:<port>和<path>组成的前缀，都与一个参数值对（name=value）构成一个新的URL，例如，倘若该前缀可能存在三个不同的参数值对形式，则分别构造这三种URL，以此类推；在URL的参数中，决定一个网页的关键参数通常只有一个，与数据库中主键的作用类似，在接下来的步骤中，可以通过抽样测试来筛选出其中有效的参数值对，剔除由无效的参数值对所构造的URL；
如图8所示，为了避免盲目预测产生过多无效的URL资源，通过先抽样预测，并进行采集测试，可以统计出每个网站每个路径下的采集成功率，可以识别出预测的URL是否有效；根据抽样预测测试的结果，再进行总体预测URL集合，抽样产生的URL数目远远小于直接总体预测产生的URL数目，以这种方式用比较小的代价来提高预测的准确率；
（5）对抽样得到的预测样本进行采集测试，筛选出采集成功率达到自定义阈值的网页链接集合，舍弃不符合条件的部分网页链接；
（6）网页资源的总体预测：利用抽样测试的结果和网页链接的参数特征统计信息，用于预测大量有效的网页链接集合。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

  1. 一种基于网页链接参数分析的信息预测采集方法，其特征在于，包括以下顺序的步骤：
    （1）计算网页链接的参数特征统计信息；
    （2）计算网页所包含外部链接的分布信息，为网页分类提供特征并作为识别的依据；
    （3）根据网页的外部链接分布特征对网页进行分类；
    （4）利用网页链接的分类结果和参数统计信息进行网页资源的抽样预测，产生一个测试所预测网页资源的小样本；
    （5）对抽样得到的预测样本进行采集测试，筛选出采集成功率达到自定义阈值的网页链接集合，舍弃不符合条件的部分网页链接；
    （6）网页资源的总体预测：利用抽样测试的结果和网页链接的参数特征统计信息，用于预测大量有效的网页链接集合。
  2. 根据权利要求1所述的基于网页链接参数分析的信息预测采集方法，其特征在于，所述的步骤（1），具体如下：通过对已采集的网页链接库进行遍历，遍历过程中提取网页链接的参数特征，并记录每对参数值对中已出现的最小值、最大值。
  3. 根据权利要求1所述的基于网页链接参数分析的信息预测采集方法，其特征在于，步骤（1）中，所述的网页链接参数的统计信息包括每个网页链接的参数部分的取值信息，其中参数部分由多组参数值对组成，将纯数值的部分转化为一个取值范围，为预测类似的网页链接提供依据。
  4. 根据权利要求1所述的基于网页链接参数分析的信息预测采集方法，其特征在于，所述的步骤（2），具体如下：抽取每个网页中的外链接，对它们进行聚类，得到该网页上所包含的链接资源分布特征。
  5. 根据权利要求1所述的基于网页链接参数分析的信息预测采集方法，其特征在于，步骤（3）中，所述的网页的外部链接分布特征由聚类产生，通过前缀相同数目的统计、编辑距离在一定范围内，把每个网页的所有外链接聚集为形式相似的多个类别，并根据每个类别数目的大小进行排序得到分布特征。
  6. 根据权利要求1所述的基于网页链接参数分析的信息预测采集方法，其特征在于，步骤（3）中，所述的网页分类是用于识别网页链接所对应的类别，为导航类网页链接、列表页网页链接、内容页网页链接中的一种。
  7. 根据权利要求1所述的基于网页链接参数分析的信息预测采集方法，其特征在于，步骤（4）中，所述的网页资源的抽样预测，是在所有可以预测的网页资源集合中，在每个网站每个路径下都随机抽取一定比例的网页链接。
PCT/CN2014/093070 2014-06-25 2014-12-04 一种基于网页链接参数分析的信息预测采集方法 Ceased WO2015196740A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/306,777 US20170053031A1 (en) 2014-06-25 2014-12-04 Information forecast and acquisition method based on webpage link parameter analysis

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410290459.X 2014-06-25
CN201410290459.XA CN104090931A (zh) 2014-06-25 2014-06-25 一种基于网页链接参数分析的信息预测采集方法

Publications (1)

Publication Number Publication Date
WO2015196740A1 true WO2015196740A1 (zh) 2015-12-30

Family

ID=51638647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/093070 Ceased WO2015196740A1 (zh) 2014-06-25 2014-12-04 一种基于网页链接参数分析的信息预测采集方法

Country Status (3)

Country Link
US (1) US20170053031A1 (zh)
CN (1) CN104090931A (zh)
WO (1) WO2015196740A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153429A (zh) * 2021-11-09 2022-03-08 上海众言网络科技有限公司 网页页面调整方法及装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090931A (zh) * 2014-06-25 2014-10-08 华南理工大学 一种基于网页链接参数分析的信息预测采集方法
CN104408156B (zh) * 2014-12-03 2017-12-22 北京国双科技有限公司 网站页面在搜索引擎中收录数量的检测方法和装置
CN106209488B (zh) * 2015-04-28 2021-01-29 北京瀚思安信科技有限公司 用于检测网站攻击的方法和设备
CN105163181B (zh) * 2015-08-05 2018-04-17 中国科学院声学研究所 一种在线视频节目分类方法及其装置
CN106570053A (zh) * 2016-09-22 2017-04-19 山东浪潮云服务信息科技有限公司 一种网络数据采集验证方法
CN108574604B (zh) * 2017-03-07 2020-09-29 北京京东尚科信息技术有限公司 测试方法和装置
CN107943838B (zh) * 2017-10-30 2021-09-07 北京大数元科技发展有限公司 一种自动获取xpath生成爬虫脚本的方法及系统
CN110874680A (zh) * 2018-09-03 2020-03-10 普天信息技术有限公司 一种企业信息数据的采集与处理的方法和装置
CN109583211B (zh) * 2018-10-11 2023-03-07 创新先进技术有限公司 网站聚类及漏洞扫描方法、装置、电子设备及存储介质
US11849160B2 (en) * 2021-06-22 2023-12-19 Q Factor Holdings LLC Image analysis system
CN114417200B (zh) * 2022-01-04 2023-04-14 马上消费金融股份有限公司 网络数据的采集方法、装置及电子设备
CN115032493B (zh) * 2022-07-15 2023-10-13 扬州晶新微电子有限公司 一种基于管芯参数显示的晶圆测试方法及系统
CN119445849A (zh) * 2025-01-09 2025-02-14 四川轻化工大学 一种基于机器学习的智能交通引导装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010123000A (ja) * 2008-11-20 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> Ｗｅｂページグループ抽出方法及び装置及びプログラム
CN102629282A (zh) * 2012-05-03 2012-08-08 湖南神州祥网科技有限公司 一种网址分类方法、装置及系统
CN103309862A (zh) * 2012-03-07 2013-09-18 腾讯科技（深圳）有限公司 一种网页类型识别方法和系统
CN103870486A (zh) * 2012-12-13 2014-06-18 深圳市世纪光速信息技术有限公司 确定网页类型的方法和装置
CN104090931A (zh) * 2014-06-25 2014-10-08 华南理工大学 一种基于网页链接参数分析的信息预测采集方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020019837A1 (en) * 2000-08-11 2002-02-14 Balnaves James A. Method for annotating statistics onto hypertext documents
CN100461184C (zh) * 2007-07-10 2009-02-11 北京大学 网络搜索中的基于链接层次分类的主题爬取方法
US7974970B2 (en) * 2008-10-09 2011-07-05 Yahoo! Inc. Detection of undesirable web pages
US8069167B2 (en) * 2009-03-27 2011-11-29 Microsoft Corp. Calculating web page importance
WO2011075729A2 (en) * 2009-12-18 2011-06-23 Morningside Analytics, Llc System and method for attentive clustering and related analytics and visualizations
US8700543B2 (en) * 2011-02-12 2014-04-15 Red Contexto Ltd. Web page analysis system for computerized derivation of webpage audience characteristics
US9122992B2 (en) * 2012-12-12 2015-09-01 Lenovo (Singapore) Pte. Ltd. Predicting web page
US8972376B1 (en) * 2013-01-02 2015-03-03 Palo Alto Networks, Inc. Optimized web domains classification based on progressive crawling with clustering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010123000A (ja) * 2008-11-20 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> Ｗｅｂページグループ抽出方法及び装置及びプログラム
CN103309862A (zh) * 2012-03-07 2013-09-18 腾讯科技（深圳）有限公司 一种网页类型识别方法和系统
CN102629282A (zh) * 2012-05-03 2012-08-08 湖南神州祥网科技有限公司 一种网址分类方法、装置及系统
CN103870486A (zh) * 2012-12-13 2014-06-18 深圳市世纪光速信息技术有限公司 确定网页类型的方法和装置
CN104090931A (zh) * 2014-06-25 2014-10-08 华南理工大学 一种基于网页链接参数分析的信息预测采集方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153429A (zh) * 2021-11-09 2022-03-08 上海众言网络科技有限公司 网页页面调整方法及装置

Also Published As

Publication number Publication date
US20170053031A1 (en) 2017-02-23
CN104090931A (zh) 2014-10-08

Similar Documents

Publication Publication Date Title
WO2015196740A1 (zh) 一种基于网页链接参数分析的信息预测采集方法
CN103176985B (zh) 一种及时高效的互联网信息爬取方法
CN102622445B (zh) 一种基于用户兴趣感知的网页推送系统及方法
CN109905288B (zh) 一种应用服务分类方法及装置
CN102087648B (zh) 一种新闻评论页面的爬取方法及系统
JP5702474B2 (ja) 電子掲示板リプライ増加量の採集方法及びシステム
WO2008098502A1 (fr) Procédé et dispositif destinés à créer un index et procédé et système de récupération
CN102663049B (zh) 一种更新搜索引擎网址库方法及装置
CN107070897B (zh) 入侵检测系统中基于多属性哈希去重的网络日志存储方法
CN106982150A (zh) 一种基于Hadoop的移动互联网用户行为分析方法
CN111061972A (zh) 一种用于url路径匹配的ac查找优化方法和装置
CN101477527A (zh) 一种检索多媒体资源的方法及装置
CN105631050A (zh) 一种基于规则配置的url搜索关键词提取的方法及系统
CN107743128A (zh) 一种基于首页关联域名和同服务ip的非法网站挖掘方法
CN109275045B (zh) 基于dfi的移动端加密视频广告流量识别方法
CN111526099A (zh) 基于深度学习的物联网应用流量检测方法
CN103870495B (zh) 用于从网站中提取信息的方法和装置
CN110290188B (zh) 一种适用于大规模网络环境的https流服务在线标识方法
CN106844553A (zh) 基于样本数据的数据探测和扩充方法及装置
CN105989019B (zh) 一种清洗数据的方法及装置
IT201600091521A1 (it) Metodo per l’esplorazione di tracce passive di traffico e raggruppamento di url simili.
CN110795473A (zh) 一种基于自举法的加速搜索方法
CN116668111A (zh) 一种面向高速网络的网站指纹识别方法
CN118643242A (zh) 一种热点数据的获取方法、装置、设备及存储介质
CN111526053A (zh) 一种基于置信度的网络安全告警处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14895955

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15306777

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14895955

Country of ref document: EP

Kind code of ref document: A1