WO2014000538A1 - 基于终端访问统计的云网址推荐方法及系统及相关设备 - Google Patents

基于终端访问统计的云网址推荐方法及系统及相关设备 Download PDF

Info

Publication number
WO2014000538A1
WO2014000538A1 PCT/CN2013/075952 CN2013075952W WO2014000538A1 WO 2014000538 A1 WO2014000538 A1 WO 2014000538A1 CN 2013075952 W CN2013075952 W CN 2013075952W WO 2014000538 A1 WO2014000538 A1 WO 2014000538A1
Authority
WO
WIPO (PCT)
Prior art keywords
url
query
urls
file
processing unit
Prior art date
Application number
PCT/CN2013/075952
Other languages
English (en)
French (fr)
Inventor
张绍瑞
宁浩宇
Original Assignee
北京奇虎科技有限公司
奇智软件（北京）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京奇虎科技有限公司, 奇智软件（北京）有限公司 filed Critical 北京奇虎科技有限公司
Priority to US14/411,463 priority Critical patent/US10216848B2/en
Publication of WO2014000538A1 publication Critical patent/WO2014000538A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90324—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user

Definitions

  • the present invention relates to the field of communications technologies, and in particular, to a cloud web site recommendation method and system based on terminal access statistics and related devices. Background technique
  • URL recommendation technology refers to the technology that users automatically recommend relevant URLs after entering a partial URL or URL description. This technology is applied to application scenarios such as the browser address bar. It is required to prompt the URL that the user wants to visit as much as possible, and even recommend the URL that is unknown to the user but best meets the user's needs.
  • a few browsers support the cloud URL recommendation function in addition to the local URL library recommendation. They will go to the cloud to query the URL and recommend the corresponding results when the user inputs. This method guarantees the coverage and accuracy of the recommended URL compared to recommendations based on the local URL library.
  • existing browsers that support this feature are based on a general-purpose search engine, that is, using a partial URL or a web address description input by the user to search in the general search engine, and recommending the URLs of the first few results of the search.
  • the target data of the general search engine is the body of the webpage, the content of the user is required to retrieve the text information, and the result correlation algorithm and the result sorting algorithm are all designed for the full-text search; and the target data recommended by the browser address bar URL is The URL data satisfies the need for users to quickly find the URL. Therefore, it is not appropriate to directly use the search results of the search engine as the recommended URL, and there are defects of poor relevance and low quality. It is inefficient to find a suitable web address in the user, and the user experience is poor. Summary of the invention
  • a cloud website recommendation system based on terminal access statistics including: a sort processing unit, a grab processing unit, a storage unit, and a query processing unit, where
  • a sorting processing unit configured to store a web address accessed by the terminal, and sort the web address according to a frequency of the terminal accessing the web address
  • the fetching processing unit is adapted to fetch the corresponding webpage description information according to the result of the webpage sorting;
  • the storage unit is adapted to store the crawled webpage and the corresponding webpage description information to the cloud storage medium;
  • the query processing unit is adapted to, when receiving the query request of the requesting party, query the stored web address and the corresponding web address description information according to the keyword in the query request, and return the query result, and rank the frequency in the query result in front One or more URLs are returned to the requesting party as recommended items.
  • a cloud website recommendation method based on terminal access statistics including:
  • the URL accessed by the terminal is stored, and the URL is sorted according to the frequency of the terminal accessing the website;
  • the storage URL and the corresponding URL description information are sent to the cloud storage medium;
  • the query When receiving the query request of the requesting party, the query is performed in the stored web address and the corresponding web address description information according to the query keyword in the query request, and the query result is returned, and the frequency of the query result is ranked in the previous one or more The URL is returned to the requesting party as a recommended item.
  • a URL statistics processing apparatus including: a sort processing unit, a grab processing unit, and a storage unit, where
  • a sorting processing unit configured to store a web address accessed by the terminal, and sort the web address according to a frequency of the terminal accessing the web address
  • the fetching processing unit is adapted to fetch the corresponding webpage description information according to the result of the webpage sorting; the storage unit is adapted to store the crawled webpage and the corresponding webpage description information to the cloud storage medium.
  • a query apparatus including: an index establishing module, configured to index according to a web address and a corresponding web address description information, to generate an index file; and a query module adapted to query according to the query request Keywords, the index file is called to query and output the query result, and one or more URLs whose frequency is ranked in the query result are returned to the requester as a recommended item.
  • a computer program is provided, comprising computer readable code, when the computer readable code is run on a server, causing the server to perform any of claims 12-22 The cloud website recommendation method based on the terminal access statistics.
  • a computer readable medium storing the computer program according to claim 34 is provided.
  • the invention calculates the popularity and ranking of the website based on the statistics of the access behavior, thereby greatly improving the quality and relevance of the recommendation results.
  • FIG. 1 is a schematic flowchart of a method for recommending a cloud web address based on terminal access statistics according to the present invention
  • FIG. 2 is a schematic flowchart of a method for recommending a cloud web address based on terminal access statistics according to an embodiment of the present invention
  • FIG. 3 is a schematic structural diagram of a cloud webpage recommendation system based on terminal access statistics according to an embodiment of the present invention
  • FIG. 4 is a schematic structural diagram of a website statistics processing apparatus according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of a query apparatus according to an embodiment of the present invention.
  • Figure 6 shows schematically a block diagram of a server for carrying out the method according to the invention
  • Fig. 7 schematically shows a storage unit for holding or carrying a program code implementing a method according to the invention.
  • FIG. 1 is a schematic flowchart of a cloud web site recommendation method based on terminal access statistics according to an embodiment of the present invention, which may include the following steps:
  • Step 101 Store the URL accessed by the terminal, and sort the URL according to the frequency of the terminal accessing the website;
  • Step 102 Grab the corresponding URL description information according to the result sorted by the URL;
  • Step 103 The storage URL and the corresponding URL description information are sent to the cloud storage medium;
  • Step 104 When receiving the query request of the requesting party, querying and returning the query result in the stored web address and the corresponding web address description information according to the query keyword in the query request, and ranking the frequency in the query result in the previous one. Or multiple URLs are returned to the requesting party as a recommended item.
  • FIG. 2 is a schematic flowchart of a method for recommending a cloud web address based on terminal access statistics according to an embodiment of the present disclosure, which may specifically include the following steps:
  • Step 201 Extract a web address from a website database accessed by the storage terminal;
  • Step 202 Perform pre-processing on the extracted web address, where the pre-processing may include: filtering an illegal web address and/or eliminating duplicate URLs;
  • Step 203 Count the pre-processed web address according to the terminal access frequency
  • Step 205 Sort the order according to the terminal access frequency from high to low;
  • Step 204 Perform distribution statistics on the terminal access frequency, for example, which domain names are in the interval where the terminal access amount is less than 1000 times, and which domain names are in the interval between 1000 and 2000 terminal accesses;
  • Step 205 Generate the original seed file in a specified format by using the sorted URL, and the specified format is a file format that meets subsequent crawling requirements, such as an SXML format.
  • Step 206 Output a raw seed file, where the original seed file contains multiple data records, and each data record corresponds to one web address.
  • Step 207 The original seed file is divided into multiple sub-files and saved into a temporary directory according to a predetermined rule.
  • the predetermined rule may be an MD5 algorithm, and the process of segmentation may be: using MD5 for each data record in the original seed file.
  • the algorithm calculates the MD5 value corresponding to the URL string; then, normalizes the MD5 value into an integer value, and uses the integer value to perform a remainder operation on the number of subfiles that need to be segmented, and the remainder obtained is required to be written.
  • the MD5 algorithm is used for segmentation, and those skilled in the art may also use other embodiments of the present invention.
  • Hash algorithm implementation Step 208: Output the segmented subfile to a temporary directory.
  • Step 209 Output a plurality of sub-files that are sub-divided in the temporary directory, and wait for the subsequent fetching process;
  • Step 210 For each sub-file, the corresponding URL description information is captured according to the URL recorded therein, and the obtained URL description information is generated to generate a URL description generation result file for storage; Step 211: Temporarily store each URL description generation result file And then storing the plurality of URL description generation result files for summary storage to the cloud storage medium;
  • Step 212 Create an index file according to the URL and the corresponding URL description information, and generate an index file.
  • Step 213 After receiving the query request of the requester from the outside, perform load balancing processing on the received query request.
  • Step 214 For each query request, determine whether the keyword in the query request is a URL keyword or a description keyword. If it is a URL keyword, the index file is invoked to query, and the result of the non-prefix hit is filtered; The keyword is directly invoked by the index file for querying; Step 215: After filtering the query result, one or more URLs whose frequency is ranked in the query result are output as recommended items, wherein the filtering method is the following strategy.
  • the filtering method is the following strategy.
  • Black and white list filtering pornographic content filtering, Trojan virus filtering, phishing filtering, and politically sensitive filtering.
  • FIG. 3 is a schematic structural diagram of a cloud webpage recommendation system based on terminal access statistics according to an embodiment of the present invention, which may specifically include: a pre-processing unit 301, a sorting processing unit 302, a grab processing unit 303, and a storage unit. 304 and the query processing unit 305, each of which will be described in detail below.
  • the pre-processing unit 301 which is a preferred function module of the embodiment of the present invention, is mainly responsible for triggering the sorting processing unit 302 after extracting the web address from the web address database accessed by the storage terminal and pre-processing, wherein the pre-processing includes : Filter illegal URLs and/or eliminate duplicate URLs.
  • the sort processing unit 302 is mainly responsible for sorting and processing the web address according to the terminal access frequency
  • the sorting processing unit 302 may specifically include: a statistic module 3021, a file generating module 3022, and a distributing module 3023, where
  • the statistics module 3021 is configured to perform statistics on the frequency of accessing the website by the terminal, according to the frequency of access by the terminal. Sort the URLs in order of highest to lowest;
  • the file generating module 3022 is configured to generate the original seed file of the specified format by using the sorted web address, where the original seed file includes multiple data records, each data record corresponds to one web address; and the distribution module 3023 is adapted to follow the predetermined rule.
  • the original seed file is divided into a plurality of sub-files and distributed to each of the capture processing units respectively; wherein the predetermined rule may be an MD5 algorithm, and the distribution module calculates the URL string for each data record in the original seed file using the MD5 algorithm.
  • Corresponding MD5 value Corresponding MD5 value; Then, normalize the MD5 value into an integer value, and use the integer value to perform the remainder operation on the number of subfiles that need to be segmented, and the remainder obtained is the subfile to be written.
  • the data record is written in the sub-file of the corresponding serial number; in the embodiment of the present invention, the MD5 algorithm is used for segmentation, and those skilled in the art should be aware that the embodiment of the present invention may also be implemented by using other hash algorithms;
  • the fetching processing unit 303 is adapted to fetch the corresponding webpage description information according to the result of the webpage sorting; specifically, for each subfile, the crawling processing unit fetches the corresponding webpage description information according to the webpage recorded therein
  • the URL description information generated by the captured URL description generation result file is stored.
  • the storage unit 304 is adapted to store the captured URL and the corresponding URL description information. Specifically, the storage unit 304 temporarily stores each URL description generation result file, and then summarizes the multiple URL description generation result files. Store to cloud storage media.
  • the query processing unit 305 is adapted to, when receiving the externally sent query request, query the stored web address and the corresponding web address description information according to the keyword in the query request, and return the query result;
  • the query processing unit specifically includes: an index establishing module 3051, a query module 3052, a result filtering module 3053, and a load balancing module 3054, where
  • the index establishing module 3051 is adapted to generate an index according to the website address and the corresponding web address description information to generate an index file.
  • the query module 3052 is adapted to invoke the index file according to the query keyword in the query request to query and output the query result.
  • the keyword includes: a website keyword and/or a description keyword, and the query module is specifically adapted to determine the query.
  • the keyword in the request is a URL keyword or a description keyword. If it is a URL keyword, the index file is called for query, and the result of the non-prefix hit is filtered out and output; if the keyword is described, the index file is directly called. Output after querying;
  • the result filtering module 3053 is adapted to filter the query result, and the frequency of the query result is ranked
  • the previous one or more URLs are output as recommended items, and the results are filtered in one or more of the following strategies:
  • Black and white list filtering pornographic content filtering, Trojan virus filtering, phishing filtering, and politically sensitive filtering.
  • the load balancing module 3054 is adapted to perform load balancing processing on the received query request after receiving the requesting request from the outside.
  • FIG. 4 is a schematic structural diagram of a URL statistics processing apparatus according to an embodiment of the present invention, which may include: a pre-processing unit 401, a sort processing unit 402, a grab processing unit 403, and a storage unit 404, where
  • the pre-processing unit 401 which is a preferred function module of the embodiment of the present invention, is mainly responsible for extracting the URL from the URL database accessed by the storage terminal and performing pre-processing to trigger the sort processing unit 402, wherein the pre-processing includes: Filter illegal URLs and/or eliminate duplicate URLs.
  • the sort processing unit 402 is mainly responsible for sorting and processing the web address according to the terminal access frequency
  • the sorting processing unit 402 may specifically include: a statistic module 4021, a file generating module 4022, and a distributing module 4023, where
  • the statistics module 4021 is configured to perform statistics on the frequency of accessing the website by the terminal, and sort the websites according to the order in which the terminal access frequency is from high to low;
  • the file generating module 4022 is configured to generate the original seed file in a specified format by using the sorted web address, where the original seed file includes multiple data records, and each data record corresponds to one web address; the distribution module 4023 is adapted to follow the predetermined rule.
  • the original seed file is divided into a plurality of sub-files and distributed to each of the capture processing units respectively; wherein the predetermined rule may be an MD5 algorithm, and the distribution module calculates the URL string for each data record in the original seed file using the MD5 algorithm.
  • Corresponding MD5 value Corresponding MD5 value; Then, normalize the MD5 value into an integer value, and use the integer value to perform the remainder operation on the number of subfiles that need to be segmented, and the remainder obtained is the subfile to be written.
  • the data record is written in the sub-file of the corresponding serial number; in the embodiment of the present invention, the MD5 algorithm is used for segmentation, and those skilled in the art should be aware that the embodiment of the present invention may also be implemented by using other hash algorithms;
  • the capture processing unit 403 is adapted to capture the corresponding URL description information according to the result of the URL sorting; specifically, for each subfile, the crawl processing unit is based on the network recorded therein The URL captures the corresponding URL description information, and the obtained URL description information generation URL description generation result file is stored.
  • the storage unit 404 is adapted to store the crawled web address and the corresponding web address description information. Specifically, the storage unit temporarily stores each web address description generation result file, and then stores the plurality of web address description result files for summary storage. Go to the cloud storage medium.
  • FIG. 5 is a schematic structural diagram of a query apparatus according to an embodiment of the present invention, which may include: an index establishing module 501, a querying module 502, a result filtering module 503, and a load balancing module 504, where
  • the index establishing module 501 is adapted to generate an index according to the web address and the corresponding web address description information, and generate an index file;
  • the query module 502 is adapted to query the index file according to the query keyword in the query request, and output the query result; wherein the keyword includes: the website keyword and/or the description keyword, the query module is specifically adapted to determine the query.
  • the keyword in the request is a URL keyword or a description keyword. If it is a URL keyword, the index file is called for query, and the result of the non-prefix hit is filtered out and output; if the keyword is described, the index file is directly called. Output after querying;
  • the result filtering module 503 is adapted to filter the query result and output one or more URLs whose frequency is ranked in the query result as a recommended item, and the result filtering manner is one or more of the following strategies:
  • Black and white list filtering pornographic content filtering, Trojan virus filtering, phishing filtering, and politically sensitive filtering.
  • the load balancing module 504 is adapted to perform load balancing processing on the received query request after receiving the requesting request from the outside.
  • the embodiment of the present invention provides a cloud website recommendation method and system based on terminal access statistics, and related devices. Based on the recommendation of the original cloud website, the website successfully accessed by the mass terminal is used as the website library, and is based on Statistics on visit behavior to calculate the popularity and ranking of URLs, thereby greatly improving the quality and relevance of recommendations.
  • the various component embodiments of the present invention may be implemented in hardware, or in a software module running on one or more processors, or in a combination thereof.
  • a microprocessor or digital signal processor may be used in practice to implement some or all of the cloud address recommendation system and related devices based on terminal access statistics in accordance with embodiments of the present invention. Some or all of the features.
  • the invention can also be implemented as A device or device program (eg, a computer program and a computer program product) that performs some or all of the methods described herein.
  • Such a program implementing the invention may be stored on a computer readable medium or may be in the form of one or more signals. Such signals may be downloaded from an Internet website, provided on a carrier signal, or provided in any other form.
  • FIG. 6 shows a server, such as an application server, that can implement a cloud address recommendation method based on terminal access statistics according to the present invention.
  • the server conventionally includes a processor 610 and a computer program product or computer readable medium in the form of a memory 620.
  • Memory 620 can be an electronic memory such as flash memory, EEPROM (Electrically Erasable Programmable Read Only Memory), EPROM, hard disk or ROM.
  • Memory 620 has a memory space 630 for program code 631 for performing any of the method steps described above.
  • storage space 630 for program code can include various program code 631 for implementing various steps in the above methods, respectively.
  • the program code can be read from or written to one or more computer program products.
  • Such computer program products include program code carriers such as hard disks, compact disks (CDs), memory cards or floppy disks.
  • Such a computer program product is typically a portable or fixed storage unit as described with reference to Figure 7.
  • the storage unit may have a storage section, a storage space, and the like arranged similarly to the storage 620 in the server of Fig. 6.
  • the program code can be compressed, for example, in an appropriate form.
  • the storage unit includes computer readable code 63 ⁇ , i.e., code readable by a processor, such as 610, that when executed by the server causes the server to perform various steps in the methods described above.
  • an embodiment or “one or more embodiments” as used herein means that the particular features, structures, or characteristics described in connection with the embodiments are included in at least one embodiment of the invention.
  • the phrase “in one embodiment” herein does not necessarily refer to the same embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于终端访问统计的云网址推荐方法及系统及相关设备，其中方法主要包括：对终端访问过的网址进行存储，根据终端访问网址的频率对网址进行排序处理；根据网址排序的结果抓取对应的网址描述信息；存储网址及对应的网址描述信息到云端存储媒介；当接收到请求方的查询请求时，根据查询请求中的查询关键词在存储的网址及对应的网址描述信息中进行查询并返回查询结果，并将查询结果中频率排在前面的一个或多个网址作为推荐项目返回给请求方；本发明基于对访问行为的统计来计算网址的热度和排序，从而大幅提升推荐结果的质量和相关性。

Description

基于终端访问统计的云网址推荐方法及系统及相关设备
技术领域
本发明涉及通信技术领域， 尤其涉及一种基于终端访问统计的云网址 推荐方法及系统及相关设备。 背景技术
网址推荐技术是指用户在输入部分网址或者网址描述后自动为其推荐 相关网址的技术。 该技术应用在浏览器地址栏等应用场景， 要求尽可能地把 用户想要访问的网址提示出来，甚至将用户未知但是最符合用户需求的网址 推荐出来。
目前， 各主流浏览器都提供地址栏的网址推荐功能， 但是大多数浏览器 的网址推荐的数据都来自本地的历史访问记录。 该方法存在两个问题， 一是 本地历史访问记录中不存在的网址就无法推荐出来； 二是更新网址库的成本 较高， 无法频繁更新网址库。 由于互联网内容的变化非常快， 因此， 该方法 很难保证网址库的覆盖度和新鲜度。
少数浏览器除了支持本地网址库推荐外还支持云网址推荐功能，会在用 户输入时实时去云端查询网址并推荐相应的结果。 与基于本地网址库的推荐 相比， 该方法能够保证推荐网址的覆盖率和准确率。 但是， 现有支持该功能 的浏览器都是基于通用搜索引擎的，也就是使用用户输入的部分网址或者网 址描述去通用搜索引擎中搜索， 将搜索出来的前几个结果的网址推荐出来。 由于通用搜索引擎的目标数据是网页正文， 满足的是用户检索文本信息的需 求， 其结果相关性计算算法和结果排序算法都是针对全文检索设计的； 而浏 览器地址栏网址推荐的目标数据是网址数据， 满足的是用户快速寻找网址的 需求。 因此， 直接用搜索引擎的检索结果作为推荐网址使用是不合适的，存 在相关性较差和质量偏低的缺陷， 用户使用中找到合适网址的效率较低， 用 户体验较差。 发明内容
鉴于上述问题， 提出了本发明以便提供一种克服上述问题或者至少 部分地解决或者减緩上述问题的基于终端访问统计的云网址推荐方法及系 统及相关设备。 根据本发明的一个方面， 提供了一种基于终端访问统计的云网址推荐 系统， 其包括： 排序处理单元、抓取处理单元、存储单元以及查询处理单元， 其中，
排序处理单元， 适于对终端访问过的网址进行存储， 根据终端访问网址 的频率对网址进行排序处理；
抓取处理单元， 适于根据网址排序的结果抓取对应的网址描述信息； 存储单元， 适于存储抓取的网址及对应的网址描述信息到云端存储媒 介；
查询处理单元， 适于当接收到请求方的查询请求时， 根据查询请求中的 关键词在存储的网址及对应的网址描述信息中进行查询并返回查询结果， 并 将查询结果中频率排在前面的一个或多个网址作为推荐项目返回给请求方。
根据本发明的另一个方面， 提供了一种基于终端访问统计的云网址推 荐方法， 包括：
对终端访问过的网址进行存储，根据终端访问网址的频率对网址进行排 序处理；
根据网址排序的结果抓取对应的网址描述信息；
存储网址及对应的网址描述信息到云端存储媒介；
当接收到请求方的查询请求时，根据查询请求中的查询关键词在存储的 网址及对应的网址描述信息中进行查询并返回查询结果， 并将查询结果中频 率排在前面的一个或多个网址作为推荐项目返回给请求方。
依据本发明的再一个方面， 提供了一种网址统计处理装置， 其包括： 排序处理单元、 抓取处理单元以及存储单元， 其中，
排序处理单元， 适于对终端访问过的网址进行存储， 根据终端访问网址 的频率对网址进行排序处理；
抓取处理单元， 适于根据网址排序的结果抓取对应的网址描述信息； 存储单元， 适于存储抓取的网址及对应的网址描述信息到云端存储媒 介。
依据本发明的又一个方法， 提供了一种查询装置， 其包括： 索引建立模 块， 适于根据网址及对应的网址描述信息建立索引， 生成索引文件； 查询模 块， 适于根据查询请求中的查询关键词， 调用索引文件进行查询并输出查询 结果， 并将查询结果中频率排在前面的一个或多个网址作为推荐项目返回给 请求方。 根据本发明的又一个方面， 提供了一种计算机程序， 其包括计算机 可读代码， 当所述计算机可读代码在服务器上运行时， 导致所述服务器 执行根据权利要求 12-22中的任一个所述的基于终端访问统计的云网址推 荐方法。
根据本发明的再一个方面， 提供了一种计算机可读介质， 其中存储 了如权利要求 34所述的计算机程序。
本发明基于对访问行为的统计来计算网址的热度和排序，从而大幅提升 推荐结果的质量和相关性。
上述说明仅是本发明技术方案的概述， 为了能够更清楚了解本发明 的技术手段， 而可依照说明书的内容予以实施， 并且为了让本发明的上 述和其它目的、 特征和优点能够更明显易懂， 以下特举本发明的具体实 施方式。 附图说明
通过阅读下文优选实施方式的详细描述， 各种其他的优点和益处对 于本领域普通技术人员将变得清楚明了。 附图仅用于示出优选实施方式 的目的， 而并不认为是对本发明的限制。 而且在整个附图中， 用相同的 参考符号表示相同的部件。 在附图中：
图 1为本发明所述基于终端访问统计的云网址推荐方法的流程示意图； 图 2为本发明实施例所述述基于终端访问统计的云网址推荐方法的具体 流程示意图；
图 3本发明实施例所述基于终端访问统计的云网址推荐系统的结构示意 图；
图 4为本发明实施例所述网址统计处理装置的结构示意图；
图 5为本发明实施例所述查询装置的结构示意图；
图 6示意性地示出了用于执行根据本发明的方法的服务器的框图； 以及
图 7示意性地示出了用于保持或者携带实现根据本发明的方法的程 序代码的存储单元。 具体实施例
下面结合附图和具体的实施方式对本发明作进一步的描述。 首先， 结合附图 1和 2对本发明实施例所述基于终端访问统计的云网址 推荐方法进行详细说明。
如图 1所示， 图 1为本发明实施例所述述基于终端访问统计的云网址推 荐方法的流程示意图， 主要可以包括如下步骤：
步骤 101 : 对终端访问过的网址进行存储， 根据终端访问网址的频率对 网址进行排序处理；
步骤 102: 根据网址排序的结果抓取对应的网址描述信息；
步骤 103: 存储网址及对应的网址描述信息到云端存储媒介；
步骤 104: 当接收到请求方的查询请求时， 根据查询请求中的查询关键 词在存储的网址及对应的网址描述信息中进行查询并返回查询结果， 并将查 询结果中频率排在前面的一个或多个网址作为推荐项目返回给请求方。
如图 2所示， 图 2为本发明实施例所述基于终端访问统计的云网址推荐 方法的具体流程示意图， 具体可以包括以下步骤：
步骤 201 : 从存储终端访问过的网址数据库中提取网址；
步骤 202: 对提取的网址进行预处理， 所述预处理可以包括： 过滤非法 网址和 /或消除重复的网址；
步骤 203: 对预处理后的网址按照终端访问频率进行计数；
步骤 205: 按照终端访问频率从高到低的顺序进行排序；
步骤 204: 对于终端访问频率进行分布统计， 例如终端访问量在 1000 次以内这个区间的有哪些域名， 终端访问量在 1000到 2000次之间这个区间 的有哪些域名；
步骤 205: 将排序后的网址生成指定格式的原始种子文件， 该指定格式 为符合后续抓取要求的文件格式， 例如 SXML格式；
步骤 206: 输出原始种子文件， 该原始种子文件包含多条数据记录， 每 条数据记录对应一个网址。
步骤 207: 按照预定规则将原始种子文件切分为多个子文件保存到临时 目录中， 该预定规则可以为 MD5算法， 切分的过程可以为： 针对原始种子 文件中的每条数据记录，使用 MD5算法计算其网址串对应的 MD5值；然后， 将 MD5值归一化成整型值， 并使用该整型值对需要切分出的子文件个数进 行求余操作， 得到的余数即为需要写入的子文件的序号； 最后， 将该条数据 记录写入对应序号的子文件内；本发明实施例中为采用 MD5算法进行分割， 本领域技术人员应该知道， 本发明实施例还可以采用其他哈希算法实现； 步骤 208: 输出切分后的子文件到临时目录中；
步骤 209: 将临时目录中下切分好的多个子文件进行输出， 等待后续抓 取流程；
步骤 210: 对于每个子文件， 根据其中记录的网址抓取对应的网址描述 信息， 将抓取得到的网址描述信息生成网址描述生成结果文件进行存储； 步骤 211 : 临时存储每个网址描述生成结果文件， 然后将多个网址描述 生成结果文件进行汇总存储到云端存储媒介；
步骤 212: 根据网址及对应的网址描述信息建立索引， 生成索引文件； 步骤 213: 当从外部接收请求方的查询请求后， 对接收到的查询请求进 行负载均衡处理；
步骤 214: 对于每个查询请求， 判断查询请求中的关键词是网址关键词 还是描述关键词， 如果是网址关键词， 则调用索引文件进行查询， 并过滤掉 非前缀命中的结果； 如果是描述关键词， 则直接调用索引文件进行查询； 步骤 215: 对查询结果进行过滤后， 将查询结果中频率排在前面的一个 或多个网址作为推荐项目进行输出， 其中， 过滤的方式为下述策略的一种或 多种：
黑白名单过滤、 色情内容过滤、 木马病毒类过滤、 钓鱼类过滤以及政治 敏感过滤等。
接下来， 结合附图 3对本发明实施例所述基于终端访问统计的云网址推 荐系统进行详细说明。
如图 3所示， 图 3为本发明实施例所述基于终端访问统计的云网址推荐 系统的结构示意图， 具体可以包括： 预处理单元 301、 排序处理单元 302、 抓取处理单元 303、 存储单元 304以及查询处理单元 305 , 以下将对各个模 块分别予以详细说明。
(一）预处理单元 301 , 作为本发明实施例的优选功能模块， 主要负责 对从存储终端访问过的网址数据库中提取网址并进行预处理后触发所述排 序处理单元 302, 其中， 预处理包括： 过滤非法网址和 /或消除重复的网址。
(二）排序处理单元 302, 主要负责根据终端访问频率对网址进行排序 处理；
该排序处理单元 302具体可以包括：统计模块 3021、文件生成模块 3022、 分发模块 3023 , 其中，
统计模块 3021 ,适于对终端访问网址的频率进行统计，按照终端访问频 率从高到低的顺序对网址进行排序；
文件生成模块 3022, 适于将排序后的网址生成指定格式的原始种子文 件， 所述原始种子文件包含多条数据记录， 每条数据记录对应一个网址； 分发模块 3023 ,适于按照预定规则将所述原始种子文件分割成多个子文 件， 分别分发给每个抓取处理单元； 其中， 预定规则可以为 MD5算法， 则 分发模块针对原始种子文件中的每条数据记录， 使用 MD5算法计算其网址 串对应的 MD5值； 然后， 将 MD5值归一化成整型值， 并使用该整型值对需 要切分出的子文件个数进行求余操作，得到的余数即为需要写入的子文件的 序号； 最后， 将该条数据记录写入对应序号的子文件内； 本发明实施例中为 采用 MD5算法进行分割， 本领域技术人员应该知道， 本发明实施例还可以 采用其他哈希算法实现；
(三）抓取处理单元 303 , 适于根据网址排序的结果抓取对应的网址描 述信息； 具体的说就是， 对于每个子文件， 抓取处理单元根据其中记录的网 址抓取对应的网址描述信息，将抓取得到的网址描述信息生成网址描述生成 结果文件进行存储。
(四）存储单元 304, 适于存储抓取的网址及对应的网址描述信息； 具 体的说就是， 存储单元 304临时存储每个网址描述生成结果文件， 然后将多 个网址描述生成结果文件进行汇总存储到云端存储媒介。
(五）查询处理单元 305 , 适于当接收到外部发来的查询请求时， 根据 查询请求中的关键词在存储的网址及对应的网址描述信息中进行查询并返 回查询结果；
该查询处理单元具体包括： 索引建立模块 3051、 查询模块 3052、 结果 过滤模块 3053以及负载均衡模块 3054, 其中，
索引建立模块 3051 , 适于根据网址及对应的网址描述信息建立索引，生 成索引文件；
查询模块 3052,适于根据查询请求中的查询关键词，调用索引文件进行 查询并输出查询结果； 其中， 关键词包括： 网址关键词和 /或描述关键词，则 查询模块具体适于， 判断查询请求中的关键词是网址关键词还是描述关键 词， 如果是网址关键词， 则调用索引文件进行查询， 并过滤掉非前缀命中的 结果后进行输出； 如果是描述关键词， 则直接调用索引文件进行查询后进行 输出；
结果过滤模块 3053 ,适于对查询结果进行过滤后，将查询结果中频率排 在前面的一个或多个网址作为推荐项目进行输出， 结果过滤的方式为下述策 略的一种或多种：
黑白名单过滤、 色情内容过滤、 木马病毒类过滤、 钓鱼类过滤以及政治 敏感过滤等。
负载均衡模块 3054,适于当从外部接收请求方的查询请求后，对接收到 的查询请求进行负载均衡处理。
最后结合附图 4和 5对本发明实施例所述网址统计处理装置以及查询装 置进行详细说明。
如图 4所示，图 4为本发明实施例所述网址统计处理装置的结构示意图， 具体可以包括： 预处理单元 401、 排序处理单元 402、 抓取处理单元 403以 及存储单元 404, 其中，
(一）预处理单元 401 , 作为本发明实施例的优选功能模块， 主要负责 从存储终端访问过的网址数据库中提取网址并进行预处理后触发所述排序 处理单元 402, 其中， 预处理包括： 过滤非法网址和 /或消除重复的网址。
(二）排序处理单元 402, 主要负责根据终端访问频率对网址进行排序 处理；
该排序处理单元 402具体可以包括：统计模块 4021、文件生成模块 4022、 分发模块 4023 , 其中，
统计模块 4021 ,适于对终端访问网址的频率进行统计，按照终端访问频 率从高到低的顺序对网址进行排序；
文件生成模块 4022, 适于将排序后的网址生成指定格式的原始种子文 件， 所述原始种子文件包含多条数据记录， 每条数据记录对应一个网址； 分发模块 4023 ,适于按照预定规则将所述原始种子文件分割成多个子文 件， 分别分发给每个抓取处理单元； 其中， 预定规则可以为 MD5算法， 则 分发模块针对原始种子文件中的每条数据记录， 使用 MD5算法计算其网址 串对应的 MD5值； 然后， 将 MD5值归一化成整型值， 并使用该整型值对需 要切分出的子文件个数进行求余操作，得到的余数即为需要写入的子文件的 序号； 最后， 将该条数据记录写入对应序号的子文件内； 本发明实施例中为 采用 MD5算法进行分割， 本领域技术人员应该知道， 本发明实施例还可以 采用其他哈希算法实现；
(三）抓取处理单元 403 , 适于根据网址排序的结果抓取对应的网址描 述信息； 具体的说就是， 对于每个子文件， 抓取处理单元根据其中记录的网 址抓取对应的网址描述信息，将抓取得到的网址描述信息生成网址描述生成 结果文件进行存储。
(四）存储单元 404, 适于存储抓取的网址及对应的网址描述信息； 具 体的说就是， 存储单元临时存储每个网址描述生成结果文件， 然后将多个网 址描述生成结果文件进行汇总存储到云端存储媒介。
如图 5所示， 图 5为本发明实施例所述查询装置的结构示意图， 具体可 以包括： 索引建立模块 501、 查询模块 502、 结果过滤模块 503以及负载均 衡模块 504, 其中，
索引建立模块 501 , 适于根据网址及对应的网址描述信息建立索引， 生 成索引文件；
查询模块 502, 适于根据查询请求中的查询关键词， 调用索引文件进行 查询并输出查询结果； 其中， 关键词包括： 网址关键词和 /或描述关键词，则 查询模块具体适于， 判断查询请求中的关键词是网址关键词还是描述关键 词， 如果是网址关键词， 则调用索引文件进行查询， 并过滤掉非前缀命中的 结果后进行输出； 如果是描述关键词， 则直接调用索引文件进行查询后进行 输出；
结果过滤模块 503 , 适于对查询结果进行过滤后将查询结果中频率排在 前面的一个或多个网址作为推荐项目进行输出， 结果过滤的方式为下述策略 的一种或多种：
黑白名单过滤、 色情内容过滤、 木马病毒类过滤、 钓鱼类过滤以及政治 敏感过滤等。
负载均衡模块 504, 适于当从外部接收请求方的查询请求后， 对接收到 的查询请求进行负载均衡处理。
综上所述， 本发明实施例提供了一种基于终端访问统计的云网址推荐方 法及系统及相关设备， 在原有云网址推荐的基础上， 使用海量终端真实访问 的网址作为网址库， 并基于对访问行为的统计来计算网址的热度和排序，从 而大幅提升推荐结果的质量和相关性。
本发明的各个部件实施例可以以硬件实现， 或者以在一个或者多个 处理器上运行的软件模块实现， 或者以它们的组合实现。 本领域的技术 人员应当理解， 可以在实践中使用微处理器或者数字信号处理器 （DSP ) 来实现根据本发明实施例的基于终端访问统计的云网址推荐系统及相关设 备中的一些或者全部部件的一些或者全部功能。 本发明还可以实现为用 于执行这里所描述的方法的一部分或者全部的设备或者装置程序 （例如， 计算机程序和计算机程序产品） 。 这样的实现本发明的程序可以存储在 计算机可读介质上， 或者可以具有一个或者多个信号的形式。 这样的信 号可以从因特网网站上下载得到， 或者在载体信号上提供， 或者以任何 其他形式提供。
例如， 图 6示出了可以实现根据本发明的基于终端访问统计的云网址 推荐方法的服务器， 例如应用服务器。 该服务器传统上包括处理器 610 和以存储器 620形式的计算机程序产品或者计算机可读介质。存储器 620 可以是诸如闪存、 EEPROM (电可擦除可编程只读存储器） 、 EPROM、 硬盘或者 ROM之类的电子存储器。存储器 620具有用于执行上述方法中 的任何方法步骤的程序代码 631的存储空间 630。 例如， 用于程序代码的 存储空间 630可以包括分别用于实现上面的方法中的各种步骤的各个程 序代码 631。这些程序代码可以从一个或者多个计算机程序产品中读出或 者写入到这一个或者多个计算机程序产品中。 这些计算机程序产品包括 诸如硬盘， 紧致盘 （CD ) 、 存储卡或者软盘之类的程序代码载体。 这样 的计算机程序产品通常为如参考图 7所述的便携式或者固定存储单元。 该存储单元可以具有与图 6的服务器中的存储器 620类似布置的存储段、 存储空间等。 程序代码可以例如以适当形式进行压缩。 通常， 存储单元 包括计算机可读代码 63 Γ , 即可以由例如诸如 610之类的处理器读取的 代码， 这些代码当由服务器运行时， 导致该服务器执行上面所描述的方 法中的各个步骤。
本文中所称的 "一个实施例"、 "实施例"或者"一个或者多个实施例 "意 味着， 结合实施例描述的特定特征、 结构或者特性包括在本发明的至少 一个实施例中。 此外， 请注意， 这里"在一个实施例中"的词语例子不一定 全指同一个实施例。
在此处所提供的说明书中， 说明了大量具体细节。 然而， 能够理解， 中， 并未详细示出公知的方法、 结构和技术， 以便不模糊对本说明书的 理解。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限 制， 并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计 出替换实施例。 在权利要求中， 不应将位于括号之间的任何参考符号构 造成对权利要求的限制。单词"包含"不排除存在未列在权利要求中的元件 或步骤。 位于元件之前的单词 "一"或"一个"不排除存在多个这样的元件。 本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计 算机来实现。 在列举了若干装置的单元权利要求中， 这些装置中的若干 个可以是通过同一个硬件项来具体体现。 单词第一、 第二、 以及第三等 的使用不表示任何顺序。 可将这些单词解释为名称。
此外， 还应当注意， 本说明书中使用的语言主要是为了可读性和教 导的目的而选择的， 而不是为了解释或者限定本发明的主题而选择的。 因此， 在不偏离所附权利要求书的范围和精神的情况下， 对于本技术领 域的普通技术人员来说许多修改和变更都是显而易见的。 对于本发明的 范围， 对本发明所做的公开是说明性的， 而非限制性的， 本发明的范围 由所附权利要求书限定。

Claims

权 利 要 求
1、 一种基于终端访问统计的云网址推荐系统， 其包括： 排序处理单元、 抓取处理单元、 存储单元以及查询处理单元， 其中，
排序处理单元， 适于对终端访问过的网址进行存储， 根据终端访问网址 的频率对网址进行排序处理；
抓取处理单元， 适于根据网址排序的结果抓取对应的网址描述信息； 存储单元， 适于存储抓取的网址及对应的网址描述信息到云端存储媒 介；
查询处理单元， 适于当接收到请求方的查询请求时， 根据查询请求中的 关键词在存储的网址及对应的网址描述信息中进行查询并返回查询结果， 并 将查询结果中频率排在前面的一个或多个网址作为推荐项目返回给请求方。
2、 根据权利要求 1所述的系统， 其中， 还包括：
预处理单元，适于从存储终端访问过的网址数据库中提取网址并进行预 处理后触发所述排序单元，所述预处理包括： 过滤非法网址和 /或消除重复的 网址。
3、 根据权利要求 1或 2所述的系统， 其中， 所述排序处理单元具体包 括：
统计模块， 适于对终端访问网址的频率进行统计， 按照终端访问频率从 高到低的顺序对网址进行排序；
文件生成模块， 适于将排序后的网址生成指定格式的原始种子文件， 所 述原始种子文件包含多条数据记录， 每条数据记录对应一个网址；
分发模块， 适于按照预定规则将所述原始种子文件分割成多个子文件， 分别分发给每个抓取处理单元。
4、 根据权利要求 3所述的系统， 其中， 所述预定规则为 MD5算法，则 所述分发模块具体适于， 针对原始种子文件中的每条数据记录， 使用 MD5 算法计算其网址串对应的 MD5值； 然后， 将 MD5值归一化成整型值， 并使 用该整型值对需要切分出的子文件个数进行求余操作，得到的余数即为需要 写入的子文件的序号； 最后， 将该条数据记录写入对应序号的子文件内。
5、 根据权利要求 4所述的系统， 其中， 所述抓取处理单元具体适于， 对于每个子文件， 根据其中记录的网址抓取对应的网址描述信息， 将抓取得 到的网址描述信息生成网址描述生成结果文件进行存储。
6、 根据权利要求 5所述的系统， 其中， 所述存储单元具体适于， 临时存储每个网址描述生成结果文件 , 然后将多个网址描述生成结果文 件进行汇总存储到云端存储媒介。
7、 根据权利要求 6所述的系统， 其中， 所述查询处理单元进一步包括： 索引建立模块， 适于根据网址及对应的网址描述信息建立索引， 生成索 引文件；
查询模块， 适于根据查询请求中的查询关键词， 调用索引文件进行查询 并输出查询结果， 并将查询结果中频率排在前面的一个或多个网址作为推荐 项目返回给请求方。 。
8、 根据权利要求 7所述的系统， 其中， 所述关键词包括： 网址关键词 和 /或描述关键词，则查询模块具体适于，判断查询请求中的关键词是网址关 键词还是描述关键词， 如果是网址关键词， 则调用索引文件进行查询， 并过 滤掉非前缀命中的结果后进行输出； 如果是描述关键词， 则直接调用索引文 件进行查询后进行输出。
9、 根据权利要求 7所述的系统， 其中， 所述查询处理单元还包括： 结果过滤模块， 适于对查询结果进行过滤后再输出。
10、 根据权利要求 9所述的系统， 其中， 结果过滤的方式为下述策略的 一种或多种：
黑白名单过滤、 色情内容过滤、 木马病毒类过滤和钓鱼类过滤。
11、 根据权利要求 7所述的系统， 其中， 所述查询处理单元还包括： 负载均衡模块， 适于当从外部接收请求方的查询请求后， 对接收到的查 询请求进行负载均衡处理。
12、 一种基于终端访问统计的云网址推荐方法， 其包括：
对终端访问过的网址进行存储，根据终端访问网址的频率对网址进行排 序处理；
根据网址排序的结果抓取对应的网址描述信息；
存储网址及对应的网址描述信息到云端存储媒介；
当接收到请求方的查询请求时，根据查询请求中的查询关键词在存储的 网址及对应的网址描述信息中进行查询并返回查询结果， 并将查询结果中频 率排在前面的一个或多个网址作为推荐项目返回给请求方。
13、 根据权利要求 12所述的方法， 其中， 所述对网址进行排序处理的 步骤之前还包括： 从存储终端访问过的网址数据库中提取网址并进行预处理， 所述预处理 包括： 过滤非法网址和 /或消除重复的网址。
14、 根据权利要求 12或 13所述的方法， 其中， 所述对网址进行排序处 理的步骤进一步包括：
对终端访问网址的频率进行统计，按照终端访问频率从高到低的顺序对 网址进行排序；
将排序后的网址生成指定格式的原始种子文件， 所述原始种子文件包含 多条数据记录， 每条数据记录对应一个网址；
按照预定规则将所述原始种子文件分割成多个子文件。
15、 根据权利要求 14述的方法， 其中， 所述预定规则为 MD5算法，则 分割的过程进一步包括：
针对原始种子文件中的每条数据记录， 使用 MD5算法计算其网址串对 应的 MD5值； 然后， 将 MD5值归一化成整型值， 并使用该整型值对需要切 分出的子文件个数进行求余操作， 得到的余数即为需要写入的子文件的序 号； 最后， 将该条数据记录写入对应序号的子文件内。
16、根据权利要求 14或 15所述的方法，其中，抓取的过程进一步包括： 对于每个子文件， 根据其中记录的网址抓取对应的网址描述信息， 将抓 取得到的网址描述信息生成网址描述生成结果文件进行存储。
17、 根据权利要求 12所述的方法， 其中， 所述抓取对应的网址描述信 息的步骤之后还包括：
将多个网址描述生成结果文件进行汇总存储；
根据网址及对应的网址描述信息建立索引， 生成索引文件。
18、 根据权利要求 17所述的方法， 其中， 所述根据查询关键词进行查 询的过程进一步包括：
根据查询请求中的查询关键词， 调用索引文件进行查询；
输出查询结果。
19、 根据权利要求 18所述的方法， 其中， 所述关键词包括： 网址关键 词和 /或描述关键词， 则所述调用索引文件进行查询的过程进一步包括：
判断查询请求中的关键词是网址关键词还是描述关键词，如果是网址关 键词， 则调用索引文件进行查询， 并过滤掉非前缀命中的结果； 如果是描述 关键词， 则直接调用索引文件进行查询。
20、 根据权利要求 18所述的方法， 其中， 输出查询结果前还包括： 对查询结果进行过滤后再输出。
21、 根据权利要求 20所述的方法， 其中， 对查询结果进行过滤的方式 为下述策略的一种或多种：
黑白名单过滤、 色情内容过滤、 木马病毒类过滤和钓鱼类过滤。
22、 根据权利要求 12所述的方法， 其中， 还包括：
当从外部接收请求方的查询请求后，先对接收到的查询请求进行负载均 衡处理。
23、 一种网址统计处理装置， 其包括： 排序处理单元、 抓取处理单元以 及存储单元， 其中，
排序处理单元， 适于对终端访问过的网址进行存储， 根据终端访问网址 的频率对网址进行排序处理；
抓取处理单元， 适于根据网址排序的结果抓取对应的网址描述信息； 存储单元， 适于存储抓取的网址及对应的网址描述信息到云端存储媒 介。
24、 根据权利要求 23所述的装置， 其中， 还包括：
预处理单元， 适于对下载的网址进行预处理后触发所述排序单元， 所述 预处理包括： 过滤非法网址和 /或消除重复的网址。
25、 根据权利要求 23或 24所述的装置， 其中， 所述排序处理单元进一 步包括：
统计模块， 适于对终端访问网址的频率进行统计， 按照终端访问频率从 高到低的顺序对网址进行排序；
文件生成模块， 适于将排序后的网址生成指定格式的原始种子文件， 所 述原始种子文件包含多条数据记录， 每条数据记录对应一个网址；
分发模块， 适于按照预定规则将所述原始种子文件分割成多个子文件， 分别分发给每个抓取处理单元。
26、 根据权利要求 25所述的装置， 其中， 所述预定规则为 MD5算法， 则所述分发模块具体适于，针对原始种子文件中的每条数据记录，使用 MD5 算法计算其网址串对应的 MD5值； 然后， 将 MD5值归一化成整型值， 并使 用该整型值对需要切分出的子文件个数进行求余操作，得到的余数即为需要 写入的子文件的序号； 最后， 将该条数据记录写入对应序号的子文件内。
27、 根据权利要求 26所述的装置， 其中， 所述抓取处理单元具体适于， 对于每个子文件， 根据其中记录的网址抓取对应的网址描述信息， 将抓取得 到的网址描述信息生成网址描述生成结果文件进行存储。
28、 根据权利要求 27所述的装置， 其中， 所述存储单元具体适于， 临时存储每个网址描述生成结果文件 , 然后将多个网址描述生成结果文 件进行汇总存储到云端存储媒介。
29、 一种查询装置， 其包括：
索引建立模块， 适于根据网址及对应的网址描述信息建立索引， 生成索 引文件；
查询模块， 适于根据查询请求中的查询关键词， 调用索引文件进行查询 并输出查询结果， 并将查询结果中频率排在前面的一个或多个网址作为推荐 项目返回给请求方。
30、 根据权利要求 29所述的装置， 其中， 所述关键词包括： 网址关键 词和 /或描述关键词，则查询模块具体适于，判断查询请求中的关键词是网址 关键词还是描述关键词， 如果是网址关键词， 则调用索引文件进行查询， 并 过滤掉非前缀命中的结果后进行输出； 如果是描述关键词， 则直接调用索引 文件进行查询后进行输出。
31、 根据权利要求 29所述的装置， 其中， 所述查询处理单元还包括： 结果过滤模块， 适于对查询结果进行过滤后再输出。
32、 根据权利要求 31所述的装置， 其中， 结果过滤的方式为下述策略 的一种或多种：
黑白名单过滤、 色情内容过滤、 木马病毒类过滤和钓鱼类过滤。
33、 根据权利要求 29所述的装置， 其中， 还包括：
负载均衡模块， 适于当从外部接收请求方的查询请求后， 对接收到的查 询请求进行负载均衡处理。
34、 一种计算机程序， 包括计算机可读代码， 当所述计算机可读代 码在服务器上运行时，导致所述服务器执行根据权利要求 12-22中的任一 个所述的基于终端访问统计的云网址推荐方法。
35、 一种计算机可读介质， 其中存储了如权利要求 34所述的计算机 程序。
PCT/CN2013/075952 2012-06-27 2013-05-21 基于终端访问统计的云网址推荐方法及系统及相关设备 WO2014000538A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/411,463 US10216848B2 (en) 2012-06-27 2013-05-21 Method and system for recommending cloud websites based on terminal access statistics

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210216947.7A CN102761627B (zh) 2012-06-27 2012-06-27 基于终端访问统计的云网址推荐方法及系统及相关设备
CN201210216947.7 2012-06-27

Publications (1)

Publication Number Publication Date
WO2014000538A1 true WO2014000538A1 (zh) 2014-01-03

Family

ID=47055945

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/075952 WO2014000538A1 (zh) 2012-06-27 2013-05-21 基于终端访问统计的云网址推荐方法及系统及相关设备

Country Status (3)

Country Link
US (1) US10216848B2 (zh)
CN (1) CN102761627B (zh)
WO (1) WO2014000538A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781372A (zh) * 2019-10-28 2020-02-11 珠海格力电器股份有限公司 一种优化网站的方法、装置、计算机设备及存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761627B (zh) * 2012-06-27 2015-12-09 北京奇虎科技有限公司 基于终端访问统计的云网址推荐方法及系统及相关设备
CN103812906B (zh) * 2012-11-14 2015-03-18 腾讯科技（深圳）有限公司 一种网址推荐方法、装置和通信系统
CN102982136A (zh) * 2012-11-16 2013-03-20 北京奇虎科技有限公司 浏览器地址栏中显示推荐网址信息的方法和浏览器
CN102982134A (zh) * 2012-11-16 2013-03-20 北京奇虎科技有限公司 在浏览器地址栏中显示推荐网址信息的系统
CN102946449A (zh) * 2012-11-28 2013-02-27 网神信息技术（北京）股份有限公司 Url 的匹配方法、装置及网关
CN104239298B (zh) * 2013-06-06 2018-10-30 腾讯科技（深圳）有限公司 文本信息推荐方法、服务器、浏览器及系统
US10019419B2 (en) 2013-06-06 2018-07-10 Tencent Technology (Shenzhen) Company Limited Method, server, browser, and system for recommending text information
CN105224572B (zh) * 2014-06-30 2019-11-15 北京金山安全软件有限公司 鉴别垃圾目录的方法及装置
CN105847364A (zh) * 2016-03-28 2016-08-10 乐视控股（北京）有限公司 基于统一域名的公有云对象存储方法及系统
CN108984572B (zh) * 2017-06-05 2022-03-18 北京国双科技有限公司 网站信息推送方法及装置
CN110148028B (zh) * 2018-02-13 2024-05-24 北京京东尚科信息技术有限公司 向用户推荐菜单的方法、装置及计算机可读存储介质
CN109190001B (zh) * 2018-09-19 2022-02-11 广东电网有限责任公司 办公文件管理方法
US10810229B2 (en) 2018-10-19 2020-10-20 Oracle International Corporation Database replication based on data access scores
CN110569417A (zh) * 2019-09-12 2019-12-13 重庆市群众艺术馆 文化云平台资源推送方法
CN110851758B (zh) * 2019-10-30 2024-02-06 深圳前海微众银行股份有限公司 一种网页访客数量统计方法及装置
CN110807041B (zh) * 2019-11-01 2022-05-20 广州华多网络科技有限公司 索引推荐方法、装置、电子设备及存储介质
CN113158024B (zh) * 2021-02-26 2022-07-15 中国科学技术大学 一种纠正推荐系统流行度偏差的因果推理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007140685A1 (fr) * 2006-06-09 2007-12-13 Huawei Technologies Co., Ltd. Système et procédé pour prioriser le contenu de pages web offertes par des vendeurs
CN101178728A (zh) * 2007-11-21 2008-05-14 北京搜狗科技发展有限公司 一种网址导航的方法和系统
CN102761627A (zh) * 2012-06-27 2012-10-31 北京奇虎科技有限公司 基于终端访问统计的云网址推荐方法及系统及相关设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499965B1 (en) * 2004-02-25 2009-03-03 University Of Hawai'i Software agent for locating and analyzing virtual communities on the world wide web
US7774470B1 (en) * 2007-03-28 2010-08-10 Symantec Corporation Load balancing using a distributed hash
WO2009030972A1 (en) * 2007-09-06 2009-03-12 Chin San Sathya Wong Method and system of generating and presenting search results
US20090083278A1 (en) * 2007-09-26 2009-03-26 Yihong Zhao System and method for discovering and presenting social relationships between internet users and content
CN101551806B (zh) * 2008-04-03 2012-04-18 北京搜狗科技发展有限公司 一种个性化网址导航的方法和系统
CN101251881B (zh) * 2008-04-07 2010-04-14 华为技术有限公司 一种内容识别的方法、系统和装置
US20090259646A1 (en) * 2008-04-09 2009-10-15 Yahoo!, Inc. Method for Calculating Score for Search Query
CN101320373B (zh) * 2008-06-13 2011-05-18 华中科技大学 网站支撑数据库安全搜索引擎系统
CN101420452A (zh) * 2008-12-05 2009-04-29 深圳市迅雷网络技术有限公司 一种视频文件的发布方法及装置
CN102332020B (zh) * 2011-09-22 2015-09-30 北京奇虎科技有限公司 一种网址导航页面的生成方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007140685A1 (fr) * 2006-06-09 2007-12-13 Huawei Technologies Co., Ltd. Système et procédé pour prioriser le contenu de pages web offertes par des vendeurs
CN101178728A (zh) * 2007-11-21 2008-05-14 北京搜狗科技发展有限公司 一种网址导航的方法和系统
CN102761627A (zh) * 2012-06-27 2012-10-31 北京奇虎科技有限公司 基于终端访问统计的云网址推荐方法及系统及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781372A (zh) * 2019-10-28 2020-02-11 珠海格力电器股份有限公司 一种优化网站的方法、装置、计算机设备及存储介质
CN110781372B (zh) * 2019-10-28 2022-04-08 珠海格力电器股份有限公司 一种优化网站的方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US10216848B2 (en) 2019-02-26
US20160188723A1 (en) 2016-06-30
CN102761627B (zh) 2015-12-09
CN102761627A (zh) 2012-10-31

Similar Documents

Publication Publication Date Title
WO2014000538A1 (zh) 基于终端访问统计的云网址推荐方法及系统及相关设备
CN110162695B (zh) 一种信息推送的方法及设备
CN107888616B (zh) 基于URI的分类模型的构建方法和Webshell攻击网站的检测方法
US8800043B2 (en) Pre-emptive pre-indexing of sensitive and vulnerable assets
WO2013189254A1 (zh) 热点聚合方法及装置
US20150074289A1 (en) Detecting error pages by analyzing server redirects
US20090006388A1 (en) Search result ranking
US20140298445A1 (en) Method and Apparatus for Filtering URL
WO2015145177A1 (en) Search engine and link-based ranking algorithm for the semantic web
CN106992981B (zh) 一种网站后门检测方法、装置和计算设备
WO2013044744A1 (zh) 一种下载资源提供方法及装置
WO2007064420A1 (en) Content matching
US9154522B2 (en) Network security identification method, security detection server, and client and system therefor
WO2014000519A1 (zh) 关键词过滤系统及方法
US10275472B2 (en) Method for categorizing images to be associated with content items based on keywords of search queries
WO2020024903A1 (zh) 用于搜索区块链数据的方法、设备及计算机可读存储介质
KR20110037889A (ko) 구조화된 데이터 소스들과 비구조화된 데이터 소스들간의 상호 검색 및 경보
WO2014059848A1 (zh) 一种网页搜索设备和方法
US20060036572A1 (en) Method and system to control access to content accessible via a network
WO2017086992A1 (en) Malicious web content discovery through graphical model inference
WO2014059851A1 (zh) 一种搜索服务器及搜索方法
WO2017000659A1 (zh) 一种富集化url的识别方法和装置
WO2014059852A1 (zh) 一种搜索服务器及搜索方法
CN102333123B (zh) 文件存储方法、设备、查找方法、设备和网络设备
Lei et al. Design and implementation of an automatic scanning tool of SQL injection vulnerability based on Web crawler

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13810377

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14411463

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13810377

Country of ref document: EP

Kind code of ref document: A1