WO2020164276A1 - 网页数据爬取方法、装置、系统及计算机可读存储介质 - Google Patents
网页数据爬取方法、装置、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- WO2020164276A1 WO2020164276A1 PCT/CN2019/118144 CN2019118144W WO2020164276A1 WO 2020164276 A1 WO2020164276 A1 WO 2020164276A1 CN 2019118144 W CN2019118144 W CN 2019118144W WO 2020164276 A1 WO2020164276 A1 WO 2020164276A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- webpage
- preset
- word segmentation
- data
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
Definitions
- This application relates to the technical field of data crawling, and in particular to a method, device, system and computer-readable storage medium for crawling webpage data.
- the main purpose of this application is to provide a method, device, system and computer-readable storage medium for crawling webpage data, aiming to reduce the repetition rate of webpage data obtained based on web crawler crawling.
- this application provides a webpage data crawling method, which is applied to a webpage data crawling system, and the webpage data crawling system includes a control server and a webpage data crawling system connected to the control server.
- the method for crawling webpage data includes:
- control server When the control server receives the first web page data sent by the crawler server, perform feature extraction on the first web page data to obtain a first text feature vector;
- the first webpage data is stored in the preset storage database.
- this application also provides a web page data crawling device, the web page data crawling device includes:
- the first feature extraction module is configured to perform feature extraction on the first webpage data when the control server receives the first webpage data sent by the crawler server to obtain a first text feature vector;
- the first fingerprint generation module is configured to input the first text feature vector into a pre-trained fingerprint generation model to obtain a first webpage fingerprint
- the similarity value judgment module is used to calculate the similarity value between the first webpage fingerprint and the stored webpage fingerprint in the preset storage database, and judge whether there is a similarity value greater than a preset threshold in the similarity value ;
- the webpage data storage module is configured to store the first webpage data in the preset storage database if there is no similarity value greater than a preset threshold among the similarity values.
- this application also provides a web page data crawling system, which includes a control server, and multiple crawling servers connected to the control server, and also a memory, a processor, and a storage
- the present application also provides a computer-readable storage medium having computer-readable instructions stored on the computer-readable storage medium.
- the computer-readable instructions are executed by a processor, the implementation is as described above. The steps of the web page data crawling method described.
- This application provides a webpage data crawling method, device, system and computer readable storage medium.
- the method is applied to a webpage data crawling system constructed based on distributed crawling technology.
- the webpage data crawling system includes a control server, and The control server is connected to a plurality of crawler servers, and the method includes: when the control server receives the first webpage data sent by the crawler server, perform feature extraction on the first webpage data to obtain a first text feature vector;
- the feature vector is input to the pre-trained fingerprint generation model to obtain the first webpage fingerprint; calculate the similarity value between the first webpage fingerprint and the stored webpage fingerprint in the preset storage database, and judge whether the calculated similarity value exists A similarity value greater than a preset threshold; if it does not exist, the first webpage data is stored in the preset storage database.
- This application builds a fingerprint generation model to generate corresponding fingerprints on the crawled webpage data, and then compares with the fingerprints of the crawled and saved webpage data in the storage database to determine whether it is duplicated, and then save the non-duplicated data In this way, it is possible to avoid the storage of duplicate webpage data. Therefore, this application can solve the problem of high repetitiveness of data obtained based on web crawlers in the prior art. At the same time, by combining with the distributed crawler technology, it can realize the fast crawling of web page data, ensure that the data collection is completed in a short time, and improve the efficiency of data collection.
- FIG. 1 is a schematic diagram of a terminal structure of a hardware operating environment involved in a solution of an embodiment of the application;
- FIG. 2 is a schematic flowchart of a first embodiment of a method for crawling webpage data according to this application;
- FIG. 3 is a schematic flowchart of a second embodiment of a method for crawling webpage data according to this application.
- FIG. 4 is a schematic diagram of the functional modules of the first embodiment of the webpage data crawling device of this application.
- FIG. 1 is a schematic diagram of a terminal structure of a hardware operating environment involved in a solution of an embodiment of the application.
- the terminal in the embodiment of the present application is a control server
- the control server may be a terminal device such as a PC (personal computer, personal computer), a notebook computer, and a server.
- the terminal may include a processor 1001, such as a CPU (Central Processing Unit, central processing unit), a communication bus 1002, a user interface 1003, a network interface 1004, and a memory 1005.
- the communication bus 1002 is used to realize the connection and communication between these components;
- the user interface 1003 may include a display (Display), an input unit such as a keyboard (Keyboard), and the optional user interface 1003 may also include a standard wired interface and a wireless interface. .
- the network interface 1004 can optionally include a standard wired interface and a wireless interface (such as Wireless-Fidelity, Wi-Fi interface); the memory 1005 can be a high-speed random access memory (random access memory, RAM), or it can be A stable memory (non-volatile memory), such as a disk memory, and the memory 1005 may optionally be a storage device independent of the aforementioned processor 1001.
- a standard wired interface and a wireless interface such as Wireless-Fidelity, Wi-Fi interface
- the memory 1005 can be a high-speed random access memory (random access memory, RAM), or it can be A stable memory (non-volatile memory), such as a disk memory, and the memory 1005 may optionally be a storage device independent of the aforementioned processor 1001.
- the memory 1005 as a computer storage medium in FIG. 1 may include an operating system, a network communication module, and computer-readable instructions.
- the network communication module can be used to connect to a server and perform data communication with the server; and the processor 1001 can be used to call computer-readable instructions stored in the memory 1005 and execute the web page data crawling method provided by the embodiment of the present application .
- This application provides a method for crawling webpage data.
- FIG. 2 is a schematic flowchart of a first embodiment of a method for crawling webpage data according to this application.
- the webpage data crawling method is applied to a webpage data crawling system.
- the webpage data crawling system includes a control server and a plurality of crawling servers connected to the control server.
- the webpage data crawling The methods include:
- step S10 when the control server receives the first webpage data sent by the crawler server, it performs feature extraction on the first webpage data to obtain a first text feature vector;
- the webpage data crawling method is applied to a webpage data crawling system, which is constructed based on the distributed crawler Scrapy-Redis technology, where Scrapy-Redis is a Redis-based Scrapy distribution It uses Redis to store and schedule URL tasks to be crawled, and stores web page data generated by crawling for subsequent processing.
- the webpage data crawling system includes a control server (Master) and multiple crawler servers (Slave), and the multiple crawler servers are respectively connected to the control server in communication.
- the main control server is responsible for fingerprint generation and fingerprint identification of webpage data, URL (Uniform Resource Locator, uniform resource locator) task allocation, URL identification, and webpage data storage.
- the crawler server is mainly responsible for executing crawler programs to crawl web page data, and submit the crawled web page data and new URL tasks during the crawling process to the Redis database of the main control server.
- the web page data crawling method is implemented by the control server.
- the crawler server can obtain the URL task to be crawled from the queue to be crawled based on the Redis technology on the control server, and then crawl the corresponding web page according to the obtained URL task to be crawled Data (recorded as the first webpage data), and then send the crawled first webpage data to the control server.
- the control server when receiving the first web page data sent by the crawler server, the control server performs feature extraction on the first web page data to obtain the first text feature vector.
- step S10 includes:
- Step a1 when the control server receives the first webpage data sent by the crawler server, performs word segmentation processing on the first webpage data to obtain a first word segmentation set;
- the control server When receiving the first webpage data sent by the crawler server, the control server performs word segmentation processing on the first webpage data to obtain the first word segmentation set.
- word segmentation can be implemented by word segmentation tools, such as the Chinese lexical analysis system ICTCLAS, the Chinese lexical analysis program THULAC of Tsinghua University, and the language technology platform LTP.
- the word segmentation is mainly based on the characteristics of the Chinese language, cutting each Chinese text in the sample data into words one by one, and performing part-of-speech tagging.
- Step a2 filter the stop words in the first word segmentation set according to the preset stop word list to obtain the second word segmentation set;
- the stop words mainly include two categories: the first category is some words that are used too frequently, such as "I”, “just”, etc., such words appear in almost every document; the second category is in the text Words that appear frequently in but have no practical meaning. Such words have a certain effect only when they are put into a complete sentence, including modal particles, adverbs, prepositions, conjunctions, etc., such as " ⁇ ", " ⁇ ”Wait.
- the influence of meaningless words can be avoided, which is beneficial to improve the accuracy of text feature vector generation, thereby improving the accuracy of webpage repetition rate detection.
- Step a3 Calculate the weight of each word in the second word segmentation set according to a preset rule, and obtain a first text feature vector according to each word in the second word segmentation set and its weight.
- step a3 includes:
- Step a31 Calculate the word frequency and reverse file frequency of each word in the second word segmentation set
- the distribution in a web page is a measure of the universal importance of words.
- the calculation formulas of TF and IDF are as follows:
- n i represents the number of occurrences of the word segmentation in the first data page
- n represents the total number of keywords in the first data page
- N represents the total number of pages in the data page set
- N i represents the number of words in the segment i in the data page set. Number of pages.
- Step a32 Calculate the word frequency-reverse document frequency of each word segmentation according to the word frequency of each word segmentation and the reverse document frequency, and use the term frequency-reverse document frequency as a weight;
- Step a33 selecting a preset number of weights according to the size of the weights, and generating a first text feature vector according to the selected weights and the word segmentation corresponding to the selected weights.
- a preset number (such as k) weights are selected according to the weight size, that is, the weights ranked in the top k positions according to the weight size are selected, which are respectively recorded as w 1 , w 2 ,..., w k .
- the preset number is 10-20, that is, k is a natural number between 10 and 20.
- Step S20 Input the first text feature vector into a pre-trained fingerprint generation model to obtain a first webpage fingerprint
- the first text feature vector is input to the pre-trained fingerprint generation model to obtain the first webpage fingerprint.
- the specific training process of the fingerprint generation model can refer to the following second embodiment, which will not be repeated here.
- Step S30 Calculate the similarity value between the first webpage fingerprint and the stored webpage fingerprint in the preset storage database, and determine whether there is a similarity value greater than a preset threshold among the similarity values;
- a unique corresponding webpage fingerprint can be generated for each crawled webpage data, webpage data with the same webpage fingerprint can be considered the same, and webpage data with similar content also have similar webpages Fingerprints, so the first webpage data can be judged according to the similarity value between the webpage fingerprint corresponding to the first webpage data (that is, the first webpage fingerprint) and the stored webpage fingerprint in the preset storage database Whether the webpage data is duplicated.
- the webpage fingerprint is a hash string
- the Hamming distance between the webpage fingerprints can be calculated as the similarity value, and then it is detected whether the calculated similarity value is greater than the preset threshold.
- the Hamming distance means that in information coding, the number of bits that are different in the corresponding bits of the two legal codes is called the code distance.
- the calculation method of the Hamming distance can refer to the prior art, which will not be repeated here.
- the preset threshold can be set according to actual conditions, and is not specifically limited here.
- Step S40 If there is no similarity value greater than a preset threshold in the similarity values, store the first webpage data in the preset storage database.
- the similarity value between the first webpage fingerprint and the stored webpage fingerprints in the preset storage database does not have a similarity value greater than the preset threshold, it means that the first webpage data does not overlap with the crawled webpage data.
- the first webpage data is stored in the preset storage database for subsequent use.
- the similarity value between the first webpage fingerprint and the stored webpage fingerprints in the preset storage database already has a similarity value greater than the preset threshold, it means that the first webpage data and one or some crawled webpages The repetition between the data is large.
- the first webpage data is most likely new webpage data obtained by adding and modifying in a small range after reprinting, and webpage data similar to the first webpage data has been crawled into the database At this time, delete the first web page data and refuse to store it in the preset storage database.
- This application provides a web page data crawling method, which is applied to a web page data crawling system constructed based on distributed crawling technology.
- the web page data crawling system includes a control server and multiple crawling servers connected to the control server.
- the method Including: when the control server receives the first webpage data sent by the crawler server, it performs feature extraction on the first webpage data to obtain the first text feature vector; input the first text feature vector into the pre-trained fingerprint generation model to obtain The first webpage fingerprint; calculate the similarity value between the first webpage fingerprint and the stored webpage fingerprint in the preset storage database, and determine whether there is a similarity value greater than the preset threshold among the calculated similarity values; if it does not exist , The first webpage data is stored in the preset storage database.
- This application builds a fingerprint generation model to generate corresponding fingerprints on the crawled webpage data, and then compares with the fingerprints of the crawled and saved webpage data in the storage database to determine whether it is duplicated, and then save the non-duplicated data In this way, it is possible to avoid the storage of duplicate webpage data. Therefore, this application can solve the problem of high repetitiveness of data obtained based on web crawlers in the prior art. At the same time, by combining with the distributed crawler technology, it can realize the fast crawling of web page data, ensure that the data collection is completed in a short time, and improve the efficiency of data collection.
- FIG. 3 is a schematic flowchart of a second embodiment of a method for crawling webpage data according to this application.
- the method for crawling webpage data further includes:
- Step S50 Obtain training samples, where the training samples include multiple labeled web page data combinations
- This embodiment provides a specific training process of the fingerprint generation model.
- a training sample is obtained, where the training sample includes a plurality of labeled web page data combinations.
- each web page data combination includes two web page data, and the labeling process is to label each web page data combination with a true similarity value.
- Web page data can be sourced from various websites, or can be edited and created according to real-time needs.
- Step S60 Perform feature extraction on the training sample to obtain a second text feature vector
- each training sample is a combination of two web page data
- each training sample Each webpage data in the sample is processed for word segmentation and part-of-speech tagging is performed, and then stop words are filtered out according to the preset stop vocabulary table to obtain the corresponding word segmentation set, and then the word frequency and reverse file frequency of each word segmentation in the word segmentation set are calculated.
- the word frequency-reverse document frequency is calculated according to the word frequency and the reverse document frequency, and the word frequency-reverse document frequency is used as the weight, and then the second text feature vector is obtained according to the word segmentation in the word segmentation set and its weight.
- there are two text feature vectors corresponding to each training sample there are two text feature vectors corresponding to each training sample.
- the specific generation process of the second text feature vector is basically the same as the generation process of the first text feature vector in the above-mentioned first embodiment, and will not be repeated here.
- Step S70 Input the second text feature vector into the initial neural network model to obtain the corresponding second webpage fingerprint
- the second text feature vector is input to the initial neural network model to obtain the corresponding second webpage fingerprint.
- the two second text feature vectors corresponding to the training sample are sequentially input into the initial neural network model to obtain the second webpage fingerprint.
- Step S80 According to the real similarity value of the second webpage fingerprint and the training sample, a loss value is calculated through a preset algorithm
- step S80 includes:
- Step b1 Calculate the similarity value between the webpage data in the training sample according to the second webpage fingerprint, and record it as the predicted similarity value;
- the similarity value between the webpage data in the training sample is first calculated according to the second webpage fingerprint, which is recorded as the predicted similarity value.
- the similarity value can be obtained by calculating the Hamming distance.
- Step b2 According to the predicted similarity value and the true similarity value of the training sample, a loss value is calculated through a preset loss function;
- the loss value is calculated through the preset loss function according to the predicted similarity value and the true similarity value of the training sample.
- the preset loss function is:
- c is the true similarity value of the training sample.
- step S90 the parameters of the initial neural network model are updated through a gradient descent algorithm according to the loss value, and the training samples are iteratively trained to obtain a trained fingerprint generation model.
- the parameters of the initial neural network model are updated through the gradient descent algorithm, and each training sample is iteratively trained, that is, the gradient of each layer node in the initial neural network model is updated according to the loss value , And then update the weight parameter of each node, continuously input the second text feature vector corresponding to the training sample to iterate until the network converges, until the loss value steadily drops to a smaller range (such as lower than a preset threshold or reach Minimum), at this time, a trained neural network model, that is, a catenary fingerprint generation model can be obtained.
- the gradient descent algorithm can be used to solve the optimization problem of large-scale sample data, and the specific gradient descent algorithm can refer to the prior art, which will not be repeated here.
- the web page data crawling method may further include:
- Step A when receiving the uniform resource locator URL to be crawled sent by the crawler server, calculate the hash value of the URL to be crawled;
- Step B detecting whether the hash value already exists in the preset key-value pair storage Redis database
- the crawler server in the process of crawling the data, will extract a new URL (Uniform Resource Locator) from the crawled webpage, and then record the new URL (denoted as to be crawled).
- the URL is sent to the control server.
- the control server calculates the hash value of the URL to be crawled when receiving the URL to be crawled sent by the crawler server. Furthermore, it is detected whether the hash value already exists in the preset Redis (key-value pair storage) database. Among them, the calculation method of the hash value can refer to the prior art, which will not be repeated here.
- step C add the URL to be crawled to the preset to be crawled queue for the crawler server to crawl from the preset to be crawled The queue obtains the URL to be crawled, and crawls new webpage data according to the URL to be crawled;
- step D delete the URL to be crawled.
- the hash value does not exist in the preset Redis database, it means that the URL to be crawled has not been crawled.
- the URL to be crawled is added to the preset queue to be crawled for the crawler server. Subsequently, the URL to be crawled is obtained from the preset queue to be crawled, and new webpage data is crawled according to the URL to be crawled.
- the hash value exists in the preset Redis database, it means that the URL to be crawled has been crawled before. At this time, delete the URL to be crawled, and refuse to add the URL to be crawled to the preset to be crawled Take the queue.
- the method for crawling webpage data may further include:
- Step E Count the amount of data sent by the crawler server and the amount of data stored in the preset storage database within a preset period, and generate a corresponding statistical report based on the amount of data sent and the amount of data stored in the database;
- Step F Send the statistical report to a preset work terminal for the staff to perform repeated data analysis.
- the control server can count the amount of data sent by the crawler server and the amount of data stored in the preset storage database within a preset period, and based on the amount of data sent and the data A corresponding statistical report is generated for the warehousing volume.
- the preset period can be set to one day, or one week, etc., which can be set according to actual conditions, which is not limited here.
- the statistical report is sent to the preset work terminal for the staff to perform repeated data analysis.
- the crawler server can crawl from multiple different websites, correspondingly, the webpage data received by the control server also comes from different websites, and the website (data source) can be used as the dimension when generating statistical reports. Classified analysis to obtain the data storage rate of different websites; for a website with a low storage rate, it can be considered as a website with serious data duplication, and the staff can remove the data crawling of the website, thereby reducing the resource consumption of the server.
- the application also provides a webpage data crawling device.
- FIG. 4 is a schematic diagram of the functional modules of the first embodiment of the webpage data crawling apparatus of the present application.
- the webpage data crawling device includes:
- the first feature extraction module 10 is configured to perform feature extraction on the first webpage data when the control server receives the first webpage data sent by the crawler server to obtain a first text feature vector;
- the first fingerprint generation module 20 is configured to input the first text feature vector into a pre-trained fingerprint generation model to obtain a first webpage fingerprint;
- the similarity value judgment module 30 is used to calculate the similarity value between the first webpage fingerprint and the stored webpage fingerprints in the preset storage database, and to judge whether there is a similarity greater than a preset threshold in the similarity values value;
- the webpage data storage module 40 is configured to store the first webpage data in the preset storage database if there is no similarity value greater than a preset threshold in the similarity values.
- the virtual function modules of the web page data crawling device described above are stored in the memory 1005 of the web page data crawling system shown in FIG. 1, and are used to implement all the functions of computer-readable instructions; when each module is executed by the processor 1001, Realize the function of generating corresponding fingerprints for the crawled webpage data, and then comparing it with the fingerprints of the crawled and saved webpage data in the preset storage database to determine whether it is duplicated, and then eliminate duplicate webpage data.
- webpage data crawling device further includes:
- a training sample acquisition module for acquiring training samples, the training samples including a plurality of labeled web page data combinations
- the second feature extraction module is used to perform feature extraction on the training sample to obtain a second text feature vector
- the second fingerprint generation module is configured to input the second text feature vector into the initial neural network model to obtain the corresponding second webpage fingerprint
- a loss value calculation module configured to calculate a loss value through a preset algorithm according to the second webpage fingerprint and the true similarity value of the training sample
- the fingerprint generation model training module is used to update the parameters of the initial neural network model through a gradient descent algorithm according to the loss value, and perform iterative training on the training samples to obtain a trained fingerprint generation model.
- the loss value calculation module includes:
- a predicted similarity value calculation unit configured to calculate a similarity value between webpage data in the training sample according to the second webpage fingerprint, and record it as a predicted similarity value
- a loss value calculation unit configured to calculate a loss value through a preset loss function according to the predicted similarity value and the true similarity value of the training sample
- the preset loss function is:
- the first feature extraction module 10 includes:
- the word segmentation processing unit is configured to perform word segmentation processing on the first web page data when the control server receives the first web page data sent by the crawler server to obtain a first word segmentation set;
- the stop word filtering unit is configured to filter the stop words in the first word segmentation set according to the preset stop word list to obtain the second word segmentation set;
- the first feature acquisition unit is configured to calculate the weight of each word in the second word segmentation set according to a preset rule, and obtain the first text feature vector according to each word in the second word segmentation set and its weight.
- the first feature acquisition unit includes:
- the first calculation subunit is used to calculate the word frequency and reverse document frequency of each word segmentation in the second word segmentation set
- the second calculation subunit is configured to calculate the word frequency-reverse document frequency of each word segmentation according to the word frequency of each word segmentation and the reverse document frequency, and use the word frequency-reverse document frequency as a weight;
- the first feature acquisition subunit is configured to select a preset number of weights according to the size of the weights, and generate a first text feature vector according to the selected weights and word segmentation corresponding to the selected weights.
- webpage data crawling device further includes:
- a hash value calculation module configured to calculate the hash value of the URL to be crawled when receiving the uniform resource locator URL to be crawled sent by the crawler server;
- the hash value detection module is used to detect whether the hash value already exists in the preset key-value pair storage Redis database
- the URL adding module is configured to add the URL to be crawled to the preset waiting queue if the hash value does not exist in the preset Redis database, so that the crawler server can obtain the The crawling queue acquires the URL to be crawled, and crawls new webpage data according to the URL to be crawled;
- the URL deletion module is configured to delete the URL to be crawled if the hash value already exists in the preset Redis database.
- webpage data crawling device further includes:
- the statistical report generating module is used to count the amount of data sent by the crawler server and the amount of data stored in the preset storage database within a preset period, and generate corresponding data based on the amount of data sent and the amount of data stored in the database Statistical report;
- the statistical report sending module is used to send the statistical report to a preset work terminal for the staff to perform repeated data analysis.
- each module in the above webpage data crawling device corresponds to each step in the above embodiment of the webpage data crawling method, and the functions and realization process are not repeated here.
- the application also provides a webpage data crawling system, which includes a control server and multiple crawling servers connected to the control server, and also includes a memory, a processor, and a storage Computer-readable instructions running on the processor, and when the computer-readable instructions are executed by the processor, the steps of the webpage data crawling method as described in any of the above embodiments are implemented.
- a webpage data crawling system which includes a control server and multiple crawling servers connected to the control server, and also includes a memory, a processor, and a storage Computer-readable instructions running on the processor, and when the computer-readable instructions are executed by the processor, the steps of the webpage data crawling method as described in any of the above embodiments are implemented.
- the present application also provides a computer-readable storage medium.
- the computer-readable storage medium may be a non-volatile readable storage medium, and the computer-readable storage medium stores computer-readable instructions. When executed by the processor, the steps of the method for crawling webpage data as described in any of the above embodiments are realized.
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
一种网页数据爬取方法，涉及数据爬取领域，该方法应用于网页数据爬取系统，该系统包括控制服务器、及与控制服务器连接的多个爬虫服务器，该方法包括：所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行特征提取，得到第一文本特征向量（S10）；将所述第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹（S20）；计算所述第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断所述相似度值中是否存在大于预设阈值的相似度值（S30）；若不存在，将所述第一网页数据存入所述预设存储数据库中（S40）。还提供一种网页数据爬取装置、系统及计算机可读存储介质，能降低基于网络爬虫爬取得到的网页数据的重复率。
Description
本申请要求于2019年2月13日提交中国专利局、申请号为201910113261.7、发明名称为“网页数据爬取方法、装置、系统及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
本申请涉及数据爬取技术领域，尤其涉及一种网页数据爬取方法、装置、系统及计算机可读存储介质。
随着网络技术的大力发展，通过互联网获取数据已成为当前人们获取信息资源的重要途径，而网络爬虫已成为主流的网页数据的获取手段。然而随着互联网信息的肆意转载和多网站投放，网络爬虫爬取出的数据大多掺杂很多冗余及重复的数据，给后续的数据分析造成一定的影响。因此，亟需一种可去除网络爬虫爬取得到的网页数据中的重复数据的方法，以降低爬取得到的网页数据的重复率。
发明内容
本申请的主要目的在于提供一种网页数据爬取方法、装置、系统及计算机可读存储介质，旨在降低基于网络爬虫爬取得到的网页数据的重复率。
为实现上述目的，本申请提供一种网页数据爬取方法，所述网页数据爬取方法应用于网页数据爬取系统，所述网页数据爬取系统包括控制服务器、及与所述控制服务器连接的多个爬虫服务器，所述网页数据爬取方法包括：
所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行特征提取，得到第一文本特征向量；
将所述第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹；
计算所述第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断所述相似度值中是否存在大于预设阈值的相似度值；
若所述相似度值中不存在大于预设阈值的相似度值，则将所述第一网页数据存入所述预设存储数据库中。
此外，为实现上述目的，本申请还提供一种网页数据爬取装置，所述网页数据爬取装置包括：
第一特征提取模块，用于所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行特征提取，得到第一文本特征向量；
第一指纹生成模块，用于将所述第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹；
相似度值判断模块，用于计算所述第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断所述相似度值中是否存在大于预设阈值的相似度值；
网页数据存储模块，用于若所述相似度值中不存在大于预设阈值的相似度值，则将所述第一网页数据存入所述预设存储数据库中。
此外，为实现上述目的，本申请还提供一种网页数据爬取系统，所述网页数据爬取系统包括控制服务器、及与所述控制服务器连接的多个爬虫服务器，还存储器、处理器以及存储在所述存储器上并可被所述处理器执行的计算机可读指令，其中所述计算机可读指令被所述处理器执行时，实现如上所述的网页数据爬取方法的步骤。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，其中所述计算机可读指令被处理器执行时，实现如上所述的网页数据爬取方法的步骤。
本申请提供一种网页数据爬取方法、装置、系统及计算机可读存储介质，该方法应用于基于分布式爬虫技术构建的网页数据爬取系统，该网页数据爬取系统包括控制服务器、及与该控制服务器连接的多个爬虫服务器，该方法包括：控制服务器在接收到爬虫服务器发送的第一网页数据时，对该第一网页数据进行特征提取，得到第一文本特征向量；将第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹；计算第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断计算得到的相似度值中是否存在大于预设阈值的相似度值；若不存在，才将该第一网页数据存入该预设存储数据库中。本申请通过构建指纹生成模型，对爬取到的网页数据生成对应指纹，然后与存储数据库中已爬取保存的网页数据的指纹进行对比，以判断是否重复，进而对不重复的数据才进行保存，从而可避免重复的网页 数据入库，因此，本申请可解决现有技术中基于网络爬虫爬取得到的数据重复性较高的问题。同时，通过与分布式爬虫技术相结合，可实现网页数据的快速抓取，保证在较短的时间内完成数据的采集，提高了数据采集的效率。
图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本申请网页数据爬取方法第一实施例的流程示意图；
图3为本申请网页数据爬取方法第二实施例的流程示意图；
图4为本申请网页数据爬取装置第一实施例的功能模块示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参照图1，图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图。
本申请实施例终端为控制服务器，该控制服务器可以是PC(personal computer，个人计算机)、笔记本电脑、服务器等终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU(Central Processing Unit，中央处理器)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真Wireless-Fidelity，Wi-Fi接口)；存储器1005可以是高速随机存取存储器(random access memory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本申请的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及计算机可读指令。在图1中，网络通信模块可用于连接服务器，与服务器进行数据通信；而处理器1001可以用于调用存 储器1005中存储的计算机可读指令，并执行本申请实施例提供的网页数据爬取方法。
基于上述硬件结构，提出本申请网页数据爬取方法的各个实施例。
本申请提供一种网页数据爬取方法。
请参照图2，图2为本申请网页数据爬取方法第一实施例的流程示意图。
在本实施例中，所述网页数据爬取方法应用于网页数据爬取系统，所述网页数据爬取系统包括控制服务器、及与所述控制服务器连接的多个爬虫服务器，所述网页数据爬取方法包括：
步骤S10，所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行特征提取，得到第一文本特征向量；
在本实施例中，该网页数据爬取方法应用于网页数据爬取系统，该网页数据爬取系统是基于分布式爬虫Scrapy-Redis技术构建的，其中，Scrapy-Redis是一个基于Redis的Scrapy分布式组件，它利用Redis对待爬取的URL任务进行存储和调度，并对爬取产生的网页数据进行存储以供后续处理使用。该网页数据爬取系统包括控制服务器(Master)和多个爬虫服务器(Slave)，多个爬虫服务器分别与控制服务器通信连接。其中，主控制服务器的职责是负责网页数据的指纹生成、指纹判重，URL(Uniform Resource Locator，统一资源定位符)任务的分配、URL判重，以及网页数据的存储。爬虫服务器，其主要负责执行爬虫程序爬取网页数据，并将爬取到的网页数据和爬取过程中新的URL任务提交到主控制服务器的Redis数据库中。
在本实施例中，该网页数据爬取方法由控制服务器实现。在数据爬取过程中，爬虫服务器可从控制服务器上基于Redis技术构建的待爬取队列中获取待爬取的URL任务，然后根据该获取到的待爬取的URL任务去爬取对应的网页数据(记为第一网页数据)，进而将该爬取到的第一网页数据发送至控制服务器。此时，控制服务器在接收到爬虫服务器发送的第一网页数据时，对该第一网页数据进行特征提取，得到第一文本特征向量。具体的，步骤S10包括：
步骤a1，所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行分词处理，得到第一分词集；
控制服务器在接收到爬虫服务器发送的第一网页数据时，对该第一网页数据进行分词处理，得到第一分词集。需要说明的是，分词处理可以通过分 词工具实施，例如汉语词法分析系统ICTCLAS，清华大学中文词法分析程序THULAC，语言技术平台LTP等。分词主要是根据中文语言的特点，将所述样本数据中的每条中文文本切割成一个一个的单词，并进行词性标注。
步骤a2，根据预设停用词表过滤所述第一分词集中的停用词，得到第二分词集；
然后，对第一分词集中的分词进行词性标注，并根据预设停用词表过滤第一分词集中的停用词，得到第二分词集。其中，停用词主要包括两类：第一类是使用过于频繁的一些单词，例如“我”、“就”等，这类词几乎在每个文档中均会出现；第二类是在文本中出现频率很高，但无实际意义的单词，这类词只有将其放入一个完整的句子中才有一定作用，包括语气助词、副词、介词、连接词等，如“的”、“在”等。通过过滤停用词，可避免无意义词的影响，从而有利于提高文本特征向量生成的准确度，进而提高网页重复率检测的准确度。
步骤a3，根据预设规则计算所述第二分词集中各分词的权重，并根据所述第二分词集中各分词及其权重得到第一文本特征向量。
在得到第二分词集之后，根据预设规则计算第二分词集中各分词的权重，并根据第二分词集中各分词及其权重得到第一文本特征向量。具体的，步骤a3包括：
步骤a31，计算所述第二分词集中各分词的词频和逆向文件频率；
在本实施例中，先计算第二分词集中各分词的词频和逆向文件频率，其中，词频TF表示某个分词在第一数据网页中出现的频率，逆向文件频率IDF表示该关键词在所有数据网页中的分布情况，是一个词语普遍重要性的度量。TF和IDF的计算公式如下：
其中，n
i表示该分词在第一数据网页中出现的次数，n表示第一数据网页中的关键词总数，N表示数据网页集的网页总数，N
i表示在数据网页集在该分词i的网页数。
步骤a32，根据所述各分词的词频和逆向文件频率计算得到各分词的词频-逆向文件频率，并将所述词频-逆向文件频率作为权重；
然后，根据各分词的词频和逆向文件频率计算得到各分词的词频-逆向文 件频率，并将词频-逆向文件频率作为权重。其中，词频-逆向文件频率TF-IDF为词频和逆向文件频率的乘积，即TF-IDF＝TF×IDF。
步骤a33，根据所述权重的大小选取预设数量的权重，并根据选取的权重及与所述选取的权重对应的分词，生成第一文本特征向量。
在得到各分词的权重之后，根据权重大小选取预设数量(如k个)的权重，即选取根据权重大小排在前k位的权重，分别记为w
1，w
2，…，w
k。然后根据选取的权重及与这些选取的权重所对应的分词，生成第一文本特征向量。将与选取的权重所对应的分词分别记为s
1，s
2，…，s
k，生成与第一网页数据对应的第一文本特征向量V＝((s
1，w
1)，(s
k，w
2)，…，(s
k，w
k))。可选地，预设数量为10-20个，即k为10到20之间的自然数。
当然，在具体实施例中，还可以根据权重大小，过滤掉权重小于预设阈值的权重，进而根据过滤后的权重及其对应的分词，生成第一文本特征向量。
步骤S20，将所述第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹；
在得到第一文本特征向量之后，将第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹。其中，指纹生成模型的具体训练过程可参照下述第二实施例，此处不作赘述。
步骤S30，计算所述第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断所述相似度值中是否存在大于预设阈值的相似度值；
根据训练好的指纹生成模型，可对爬取到的每一网页数据生成唯一对应的一个网页指纹，有相同网页指纹的网页数据可被认为是一样的，相似内容的网页数据也有着相似的网页指纹，因此可根据第一网页数据对应的网页指纹(即第一网页指纹)与预设存储数据库中的存储网页指纹之间的相似度值，来判断第一网页数据与已爬取入库的网页数据是否有重复。具体的，由于网页指纹是一哈希字符串，因此可通过计算网页指纹之间的海明距离作为相似度值，然后检测计算得到的相似度值中是否大于预设阈值的相似度值。其中，海明距离是指在信息编码中，两个合法代码对应位上编码不同的位数称为码距。具体的，海明距离的计算方法可参照现有技术，此处不作赘述。该预设阈值可根据实际情况进行设定，此处不作具体限定。
步骤S40，若所述相似度值中不存在大于预设阈值的相似度值，则将所述第一网页数据存入所述预设存储数据库中。
若第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值中不存在大于预设阈值的相似度值，则说明第一网页数据与已爬取的网页数据不重复，此时，则将该第一网页数据存入该预设存储数据库中，以供后续使用。
若第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值中已存在大于预设阈值的相似度值，则说明第一网页数据与某一个或某些已爬取的网页数据之间的重复度较大，该第一网页数据极可能是通过转载后经小范围添加和修改得到的新网页数据，而与该第一网页数据相类似的网页数据已经爬取入库了，此时，则删除第一该网页数据，拒绝存入预设存储数据库中。
本申请提供一种网页数据爬取方法，应用于基于分布式爬虫技术构建的网页数据爬取系统，该网页数据爬取系统包括控制服务器、及与该控制服务器连接的多个爬虫服务器，该方法包括：控制服务器在接收到爬虫服务器发送的第一网页数据时，对该第一网页数据进行特征提取，得到第一文本特征向量；将第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹；计算第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断计算得到的相似度值中是否存在大于预设阈值的相似度值；若不存在，才将该第一网页数据存入该预设存储数据库中。本申请通过构建指纹生成模型，对爬取到的网页数据生成对应指纹，然后与存储数据库中已爬取保存的网页数据的指纹进行对比，以判断是否重复，进而对不重复的数据才进行保存，从而可避免重复的网页数据入库，因此，本申请可解决现有技术中基于网络爬虫爬取得到的数据重复性较高的问题。同时，通过与分布式爬虫技术相结合，可实现网页数据的快速抓取，保证在较短的时间内完成数据的采集，提高了数据采集的效率。
进一步的，参照图3，图3为本申请网页数据爬取方法第二实施例的流程示意图。
基于上述图2所示的第一实施例，在步骤S10之前，该网页数据爬取方法还包括：
步骤S50，获取训练样本，所述训练样本包括多个经标注的网页数据组合；
本实施例提供了指纹生成模型的具体训练过程。首先，获取训练样本，其中，该训练样本包括多个经标注的网页数据组合。可选地，每个网页数据 组合包括两个网页数据，标注过程为对各网页数据组合进行真实相似度值的标注。网页数据可以来源各个网站，也可以根据实时需要进行编辑创建。
步骤S60，对所述训练样本进行特征提取，得到第二文本特征向量；
然后，对训练样本进行特征提取，得到第二文本特征向量，具体的，由于各个训练样本为包括两个网页数据的组合，此时，在对训练样本进行特征提取时，则先分别对各训练样本中的各个网页数据进行分词处理，并进行词性标注，然后根据预设停用词表过滤掉停用词，得到对应的分词集，进而根据计算该分词集中各分词的词频和逆向文件频率，根据词频和逆向文件频率计算得到词频-逆向文件频率，并将词频-逆向文件频率作为权重，进而根据该分词集中各分词及其权重得到第二文本特征向量。对应的，每个训练样本所对应的文本特征向量为两个。其中，第二文本特征向量的具体生成过程，与上述第一实施例中第一文本特征向量的生成过程基本相同，此处不作赘述。
步骤S70，将所述第二文本特征向量输入初始神经网络模型，得到对应的第二网页指纹；
在得到第二文本特征向量之后，将第二文本特征向量输入初始神经网络模型，得到对应的第二网页指纹。具体的，将与该训练样本对应的两个第二文本特征向量依次输入初始神经网络模型，得到第二网页指纹。对应的，每个训练样本对应的第二网页指纹也是两个。
步骤S80，根据所述第二网页指纹、所述训练样本的真实相似度值，通过预设算法计算得到损失值；
根据第二网页指纹、训练样本的真实相似度值，通过预设算法计算得到损失值。具体的，步骤S80包括：
步骤b1，根据所述第二网页指纹计算所述训练样本中的网页数据之间的相似度值，记作预测相似度值；
在本实施例中，先根据第二网页指纹计算训练样本中的网页数据之间的相似度值，记作预测相似度值，具体的，可通过计算海明距离的方法得到相似度值。
步骤b2，根据所述预测相似度值、所述训练样本的真实相似度值，通过预设损失函数计算得到损失值；
在计算得到预测相似度值之后，根据该预测相似度值、训练样本的真实相似度值，通过预设损失函数计算得到损失值。其中，该预设损失函数为：
其中，
为预测相似度值，c为训练样本的真实相似度值。
步骤S90，根据所述损失值通过梯度下降算法对所述初始神经网络模型的参数进行更新，并对所述训练样本进行迭代训练，得到训练好的指纹生成模型。
最后，根据计算得到的损失值通过梯度下降算法对该初始神经网络模型的参数进行更新，并对每一个训练样本进行迭代训练，即根据损失值来更新初始神经网络模型中各层结点的梯度，进而更新各结点的权值参数，不断输入训练样本所对应的第二文本特征向量进行迭代直至网络收敛，直至该损失值稳定下降到一个较小范围(如低于一预设阈值或达到最小值)，此时，可得到训练好的神经网络模型，即悬链好的指纹生成模型。通过梯度下降算法可求解大规模样本数据的优化问题，具体的梯度下降算法可参照现有技术，此处不做赘述。
进一步的，基于上述各实施例，提出本申请网页数据爬取方法的第三实施例。
在本实施例中，在步骤S40之后，该网页数据爬取方法还可以包括：
步骤A，在接收到所述爬虫服务器发送的待爬取统一资源定位符URL时，计算所述待爬取URL的哈希值；
步骤B，检测所述哈希值是否已存在于预设键-值对存储Redis数据库中；
在本实施例中，爬虫服务器在爬取数据的过程中，会从抓取到的网页中提取到新的URL(Uniform Resource Locator，统一资源定位符)，进而将新的URL(记为待爬取URL)发送给控制服务器，此时，控制服务器在接收到爬虫服务器发送的待爬取URL时，计算待爬取URL的哈希值。进而，检测该哈希值是否已存在于预设Redis(键-值对存储)数据库中。其中，哈希值的计算方法可参照现有技术，此处不作赘述。
若所述哈希值未存在于预设Redis数据库中，则执行步骤C：将所述待爬取URL添加至预设待爬取队列，以供所述爬虫服务器从所述预设待爬取队列获取所述待爬取URL，并根据所述待爬取URL爬取新的网页数据；
若所述哈希值已存在于所述预设Redis数据库中，则执行步骤D：删除所述待爬取URL。
若该哈希值未存在于预设Redis数据库中，则说明该待爬取URL未被抓 取过，此时，则将该待爬取URL添加至预设待爬取队列，以供爬虫服务器后续从预设待爬取队列获取该待爬取URL，并根据该待爬取URL爬取新的网页数据。
若该哈希值存在于预设Redis数据库中，则说明该待爬取URL之前已被抓取过，此时，则删除该待爬取URL，拒绝将待爬取URL添加至预设待爬取队列中。
本实施例中，通过对重复的URL进行去重处理，可避免多次抓取同一网页，从而可进一步降低爬取得到的网页数据的重复率。
进一步的，基于上述各实施例，提出本申请网页数据爬取方法的第三实施例。
在本实施例中，在第一实施例或第二实施例的步骤S40之后，该网页数据爬取方法还可以包括：
步骤E，统计在预设周期内所述爬虫服务器的数据发送量和所述预设存储数据库的数据入库量，并根据所述数据发送量和所述数据入库量生成对应的统计报告；
步骤F，将所述统计报告发送至预设工作终端，以供工作人员进行数据重复分析。
在本实施例中，为方便工作人员了解网页数据的重复情况，控制服务器可统计在预设周期内爬虫服务器的数据发送量和预设存储数据库的数据入库量，并根据数据发送量和数据入库量生成对应的统计报告。其中，预设周期可以设为一天、或一周等，可根据实际情况进行设定，此处不作限定。统计时间可根据预设周期来定，例如，预设周期为一周时，则每隔一周进行一次统计。统计报告中，可以显示数据发送量、数据入库量及数据入库率(数据入库率＝数据入库量/数据发送量)等。
在生成统计报告之后，将该统计报告发送至预设工作终端，以供工作人员进行数据重复分析。
进一步的，由于爬虫服务器可以是从多个不同的网站进行爬取，对应的，控制服务器接收到的网页数据也是来源于不同的网站，在生成统计报告时可以以网站(数据源)为维度进行分类分析，以得出不同网站的数据入库率；对于入库率低的网站，可认为是数据重复比较严重的网站，工作人员可以去除该网站的数据爬取，从而减少服务器的资源消耗。
此外，还可以每隔预设时间，对上述统计报告做进一步的汇总统计，得到汇总统计报告。如当每隔一周进行一次统计，得到统计报告后，可每隔三个月，对上述每周的统计报告进行汇总统计，得到季度统计报告。该季度统计报告可以图表的形式展示数据发送量、数据入库量及数据入库率的变化趋势。进而，将该汇总统计报告发送至该预设工作端，以供工作人员了解从宏观上了解数据的重复情况。
本申请还提供一种网页数据爬取装置。
参照图4，图4为本申请网页数据爬取装置第一实施例的功能模块示意图。
在本实施例中，所述网页数据爬取装置包括：
第一特征提取模块10，用于所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行特征提取，得到第一文本特征向量；
第一指纹生成模块20，用于将所述第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹；
相似度值判断模块30，用于计算所述第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断所述相似度值中是否存在大于预设阈值的相似度值；
网页数据存储模块40，用于若所述相似度值中不存在大于预设阈值的相似度值，则将所述第一网页数据存入所述预设存储数据库中。
其中，上述网页数据爬取装置的各虚拟功能模块存储于图1所示网页数据爬取系统的存储器1005中，用于实现计算机可读指令的所有功能；各模块被处理器1001执行时，可实现对爬取到的网页数据生成对应指纹，然后与预设存储数据库中已爬取保存的网页数据的指纹进行对比，以判断是否重复，进而剔除重复的网页数据的功能。
进一步的，所述网页数据爬取装置还包括：
训练样本获取模块，用于获取训练样本，所述训练样本包括多个经标注的网页数据组合；
第二特征提取模块，用于对所述训练样本进行特征提取，得到第二文本特征向量；
第二指纹生成模块，用于将所述第二文本特征向量输入初始神经网络模型，得到对应的第二网页指纹；
损失值计算模块，用于根据所述第二网页指纹、所述训练样本的真实相似度值，通过预设算法计算得到损失值；
指纹生成模型训练模块，用于根据所述损失值通过梯度下降算法对所述初始神经网络模型的参数进行更新，并对所述训练样本进行迭代训练，得到训练好的指纹生成模型。
进一步的，所述损失值计算模块包括：
预测相似度值计算单元，用于根据所述第二网页指纹计算所述训练样本中的网页数据之间的相似度值，记作预测相似度值；
损失值计算单元，用于根据所述预测相似度值、所述训练样本的真实相似度值，通过预设损失函数计算得到损失值；
其中，所述预设损失函数为：
其中，
为所述预测相似度值，c为所述训练样本的真实相似度值。
进一步的，所述第一特征提取模块10包括：
分词处理单元，用于所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行分词处理，得到第一分词集；
停用词过滤单元，用于根据预设停用词表过滤所述第一分词集中的停用词，得到第二分词集；
第一特征获取单元，用于根据预设规则计算所述第二分词集中各分词的权重，并根据所述第二分词集中各分词及其权重得到第一文本特征向量。
进一步的，所述第一特征获取单元包括：
第一计算子单元，用于计算所述第二分词集中各分词的词频和逆向文件频率；
第二计算子单元，用于根据所述各分词的词频和逆向文件频率计算得到各分词的词频-逆向文件频率，并将所述词频-逆向文件频率作为权重；
第一特征获取子单元，用于根据所述权重的大小选取预设数量的权重，并根据选取的权重及与所述选取的权重对应的分词，生成第一文本特征向量。
进一步的，所述网页数据爬取装置还包括：
哈希值计算模块，用于在接收到所述爬虫服务器发送的待爬取统一资源定位符URL时，计算所述待爬取URL的哈希值；
哈希值检测模块，用于检测所述哈希值是否已存在于预设键-值对存储 Redis数据库中；
URL添加模块，用于若所述哈希值未存在于预设Redis数据库中，则将所述待爬取URL添加至预设待爬取队列，以供所述爬虫服务器从所述预设待爬取队列获取所述待爬取URL，并根据所述待爬取URL爬取新的网页数据；
URL删除模块，用于若所述哈希值已存在于所述预设Redis数据库中，则删除所述待爬取URL。
进一步的，所述网页数据爬取装置还包括：
统计报告生成模块，用于统计在预设周期内所述爬虫服务器的数据发送量和所述预设存储数据库的数据入库量，并根据所述数据发送量和所述数据入库量生成对应的统计报告；
统计报告发送模块，用于将所述统计报告发送至预设工作终端，以供工作人员进行数据重复分析。
其中，上述网页数据爬取装置中各个模块的功能实现与上述网页数据爬取方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
本申请还提供一种网页数据爬取系统，该网页数据爬取系统包括控制服务器、及与所述控制服务器连接的多个爬虫服务器，还包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述计算机可读指令被所述处理器执行时实现如以上任一项实施例所述的网页数据爬取方法的步骤。
本申请网页数据爬取系统的具体实施例与上述网页数据爬取方法各实施例基本相同，在此不作赘述。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质可以为非易失性可读存储介质，该计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如以上任一项实施例所述的网页数据爬取方法的步骤。
本申请计算机可读存储介质的具体实施例与上述网页数据爬取方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下， 由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (20)
- 一种网页数据爬取方法，其特征在于，所述网页数据爬取方法应用于网页数据爬取系统，所述网页数据爬取系统包括控制服务器、及与所述控制服务器连接的多个爬虫服务器，所述网页数据爬取方法包括以下步骤：所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行特征提取，得到第一文本特征向量；将所述第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹；计算所述第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断所述相似度值中是否存在大于预设阈值的相似度值；若所述相似度值中不存在大于预设阈值的相似度值，则将所述第一网页数据存入所述预设存储数据库中；其中，所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行特征提取，得到第一文本特征向量的步骤包括：所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行分词处理，得到第一分词集；根据预设停用词表过滤所述第一分词集中的停用词，得到第二分词集；根据预设规则计算所述第二分词集中各分词的权重，并根据所述第二分词集中各分词及其权重得到第一文本特征向量。
- 如权利要求1所述的网页数据爬取方法，其特征在于，所述控制服务器在接收到从所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行预处理，得到第一文本特征向量的步骤之前，所述方法还包括：获取训练样本，所述训练样本包括多个经标注的网页数据组合；对所述训练样本进行特征提取，得到第二文本特征向量；将所述第二文本特征向量输入初始神经网络模型，得到对应的第二网页指纹；根据所述第二网页指纹、所述训练样本的真实相似度值，通过预设算法计算得到损失值；根据所述损失值通过梯度下降算法对所述初始神经网络模型的参数进行更新，并对所述训练样本进行迭代训练，得到训练好的指纹生成模型。
- 如权利要求2所述的网页数据爬取方法，其特征在于，所述根据所述第二网页指纹、所述训练样本的真实相似度值，通过预设损失函数计算得到损失值的步骤包括：根据所述第二网页指纹计算所述训练样本中的网页数据之间的相似度值，记作预测相似度值；根据所述预测相似度值、所述训练样本的真实相似度值，通过预设损失函数计算得到损失值；其中，所述预设损失函数为：
其中，为所述预测相似度值，c为所述训练样本的真实相似度值。
- 如权利要求1所述的网页数据爬取方法，其特征在于，所述根据预设规则计算所述第二分词集中各分词的权重，并根据所述第二分词集中各分词及其权重得到第一文本特征向量的步骤包括：计算所述第二分词集中各分词的词频和逆向文件频率；根据所述各分词的词频和逆向文件频率计算得到各分词的词频-逆向文件频率，并将所述词频-逆向文件频率作为权重；根据所述权重的大小选取预设数量的权重，并根据选取的权重及与所述选取的权重对应的分词，生成第一文本特征向量。
- 如权利要求1所述的网页数据爬取方法，其特征在于，所述网页数据爬取方法还包括：在接收到所述爬虫服务器发送的待爬取统一资源定位符URL时，计算所述待爬取URL的哈希值；检测所述哈希值是否已存在于预设键-值对存储Redis数据库中；若所述哈希值未存在于预设Redis数据库中，则将所述待爬取URL添加至预设待爬取队列，以供所述爬虫服务器从所述预设待爬取队列获取所述待爬取URL，并根据所述待爬取URL爬取新的网页数据；若所述哈希值已存在于所述预设Redis数据库中，则删除所述待爬取URL。
- 如权利要求1所述的网页数据爬取方法，其特征在于，所述网页数据爬取方法还包括：统计在预设周期内所述爬虫服务器的数据发送量和所述预设存储数据库的数据入库量，并根据所述数据发送量和所述数据入库量生成对应的统计报告；将所述统计报告发送至预设工作终端，以供工作人员进行数据重复分析。
- 一种网页数据爬取装置，其特征在于，所述网页数据爬取装置包括：第一特征提取模块，用于所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行特征提取，得到第一文本特征向量；第一指纹生成模块，用于将所述第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹；相似度值判断模块，用于计算所述第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断所述相似度值中是否存在大于预设阈值的相似度值；网页数据存储模块，用于若所述相似度值中不存在大于预设阈值的相似度值，则将所述第一网页数据存入所述预设存储数据库中；其中，所述第一特征提取模块包括：分词处理单元，用于所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行分词处理，得到第一分词集；停用词过滤单元，用于根据预设停用词表过滤所述第一分词集中的停用词，得到第二分词集；第一特征获取单元，用于根据预设规则计算所述第二分词集中各分词的权重，并根据所述第二分词集中各分词及其权重得到第一文本特征向量。
- 如权利要求7所述的网页数据爬取装置，其特征在于，所述网页数据爬取装置还包括：训练样本获取模块，用于获取训练样本，所述训练样本包括多个经标注的网页数据组合；第二特征提取模块，用于对所述训练样本进行特征提取，得到第二文本特征向量；第二指纹生成模块，用于将所述第二文本特征向量输入初始神经网络模型，得到对应的第二网页指纹；损失值计算模块，用于根据所述第二网页指纹、所述训练样本的真实相似度值，通过预设算法计算得到损失值；指纹生成模型训练模块，用于根据所述损失值通过梯度下降算法对所述初始神经网络模型的参数进行更新，并对所述训练样本进行迭代训练，得到训练好的指纹生成模型。
- 如权利要求8所述的网页数据爬取装置，其特征在于，所述损失值计算模块包括：预测相似度值计算单元，用于根据所述第二网页指纹计算所述训练样本中的网页数据之间的相似度值，记作预测相似度值；损失值计算单元，用于根据所述预测相似度值、所述训练样本的真实相似度值，通过预设损失函数计算得到损失值；其中，所述预设损失函数为：
其中，为所述预测相似度值，c为所述训练样本的真实相似度值。
- 如权利要求7所述的网页数据爬取装置，其特征在于，所述第一特征提取模块包括：分词处理单元，用于所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行分词处理，得到第一分词集；停用词过滤单元，用于根据预设停用词表过滤所述第一分词集中的停用词，得到第二分词集；第一特征获取单元，用于根据预设规则计算所述第二分词集中各分词的权重，并根据所述第二分词集中各分词及其权重得到第一文本特征向量。
- 如权利要求7所述的网页数据爬取装置，其特征在于，所述网页数据爬取装置还包括：哈希值计算模块，用于在接收到所述爬虫服务器发送的待爬取统一资源定位符URL时，计算所述待爬取URL的哈希值；哈希值检测模块，用于检测所述哈希值是否已存在于预设键-值对存储Redis数据库中；URL添加模块，用于若所述哈希值未存在于预设Redis数据库中，则将所述待爬取URL添加至预设待爬取队列，以供所述爬虫服务器从所述预设待爬取队列获取所述待爬取URL，并根据所述待爬取URL爬取新的网页数据；URL删除模块，用于若所述哈希值已存在于所述预设Redis数据库中，则删除所述待爬取URL。
- 如权利要求7所述的网页数据爬取装置，其特征在于，所述网页数据爬取装置还包括：统计报告生成模块，用于统计在预设周期内所述爬虫服务器的数据发送量和所述预设存储数据库的数据入库量，并根据所述数据发送量和所述数据 入库量生成对应的统计报告；统计报告发送模块，用于将所述统计报告发送至预设工作终端，以供工作人员进行数据重复分析。
- 一种网页数据爬取系统，其特征在于，所述网页数据爬取系统包括控制服务器、及与所述控制服务器连接的多个爬虫服务器，还包括存储器、处理器以及存储在所述存储器上并可被所述处理器执行的计算机可读指令，其中所述计算机可读指令被所述处理器执行时，实现以下步骤：所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行特征提取，得到第一文本特征向量；将所述第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹；计算所述第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断所述相似度值中是否存在大于预设阈值的相似度值；若所述相似度值中不存在大于预设阈值的相似度值，则将所述第一网页数据存入所述预设存储数据库中；所述计算机可读指令被所述处理器执行时，还实现以下步骤：所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行分词处理，得到第一分词集；根据预设停用词表过滤所述第一分词集中的停用词，得到第二分词集；根据预设规则计算所述第二分词集中各分词的权重，并根据所述第二分词集中各分词及其权重得到第一文本特征向量。
- 如权利要求13所述的网页数据爬取系统，其特征在于，所述计算机可读指令被所述处理器执行时，还实现以下步骤：获取训练样本，所述训练样本包括多个经标注的网页数据组合；对所述训练样本进行特征提取，得到第二文本特征向量；将所述第二文本特征向量输入初始神经网络模型，得到对应的第二网页指纹；根据所述第二网页指纹、所述训练样本的真实相似度值，通过预设算法计算得到损失值；根据所述损失值通过梯度下降算法对所述初始神经网络模型的参数进行更新，并对所述训练样本进行迭代训练，得到训练好的指纹生成模型。
- 如权利要求14所述的网页数据爬取系统，其特征在于，所述计算机 可读指令被所述处理器执行时，还实现以下步骤：根据所述第二网页指纹计算所述训练样本中的网页数据之间的相似度值，记作预测相似度值；根据所述预测相似度值、所述训练样本的真实相似度值，通过预设损失函数计算得到损失值；其中，所述预设损失函数为：
其中，为所述预测相似度值，c为所述训练样本的真实相似度值。
- 如权利要求13所述的网页数据爬取系统，其特征在于，所述计算机可读指令被所述处理器执行时，还实现以下步骤：计算所述第二分词集中各分词的词频和逆向文件频率；根据所述各分词的词频和逆向文件频率计算得到各分词的词频-逆向文件频率，并将所述词频-逆向文件频率作为权重；根据所述权重的大小选取预设数量的权重，并根据选取的权重及与所述选取的权重对应的分词，生成第一文本特征向量。
- 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，其中所述计算机可读指令被处理器执行时，实现如下步骤：所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行特征提取，得到第一文本特征向量；将所述第一文本特征向量输入预先训练好的指纹生成模型，得到第一网页指纹；计算所述第一网页指纹与预设存储数据库中的存储网页指纹之间的相似度值，并判断所述相似度值中是否存在大于预设阈值的相似度值；若所述相似度值中不存在大于预设阈值的相似度值，则将所述第一网页数据存入所述预设存储数据库中；所述计算机可读指令被处理器执行时，还实现如下步骤：所述控制服务器在接收到所述爬虫服务器发送的第一网页数据时，对所述第一网页数据进行分词处理，得到第一分词集；根据预设停用词表过滤所述第一分词集中的停用词，得到第二分词集；根据预设规则计算所述第二分词集中各分词的权重，并根据所述第二分词集中各分词及其权重得到第一文本特征向量。
- 如权利要求17所述的计算机可读存储介质，其特征在于，所述计算 机可读指令被处理器执行时，还实现如下步骤：获取训练样本，所述训练样本包括多个经标注的网页数据组合；对所述训练样本进行特征提取，得到第二文本特征向量；将所述第二文本特征向量输入初始神经网络模型，得到对应的第二网页指纹；根据所述第二网页指纹、所述训练样本的真实相似度值，通过预设算法计算得到损失值；根据所述损失值通过梯度下降算法对所述初始神经网络模型的参数进行更新，并对所述训练样本进行迭代训练，得到训练好的指纹生成模型。
- 如权利要求18所述的计算机可读存储介质，其特征在于，所述计算机可读指令被处理器执行时，还实现如下步骤：根据所述第二网页指纹计算所述训练样本中的网页数据之间的相似度值，记作预测相似度值；根据所述预测相似度值、所述训练样本的真实相似度值，通过预设损失函数计算得到损失值；其中，所述预设损失函数为：
其中，为所述预测相似度值，c为所述训练样本的真实相似度值。
- 如权利要求17所述的计算机可读存储介质，其特征在于，所述计算机可读指令被处理器执行时，还实现如下步骤：计算所述第二分词集中各分词的词频和逆向文件频率；根据所述各分词的词频和逆向文件频率计算得到各分词的词频-逆向文件频率，并将所述词频-逆向文件频率作为权重；根据所述权重的大小选取预设数量的权重，并根据选取的权重及与所述选取的权重对应的分词，生成第一文本特征向量。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910113261.7A CN109918554A (zh) | 2019-02-13 | 2019-02-13 | 网页数据爬取方法、装置、系统及计算机可读存储介质 |
| CN201910113261.7 | 2019-02-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020164276A1 true WO2020164276A1 (zh) | 2020-08-20 |
Family
ID=66961585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2019/118144 Ceased WO2020164276A1 (zh) | 2019-02-13 | 2019-11-13 | 网页数据爬取方法、装置、系统及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109918554A (zh) |
| WO (1) | WO2020164276A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN121350330A (zh) * | 2025-10-20 | 2026-01-16 | 金智东博(北京)教育科技股份有限公司 | 一种基于模块化设计的高精度时序数据提取方法与系统 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109918554A (zh) * | 2019-02-13 | 2019-06-21 | 平安科技（深圳）有限公司 | 网页数据爬取方法、装置、系统及计算机可读存储介质 |
| CN110275974A (zh) * | 2019-06-28 | 2019-09-24 | 武汉轻工大学 | 样本数据集的数据添加方法、装置、终端设备及存储介质 |
| CN110691125A (zh) * | 2019-09-24 | 2020-01-14 | 上海富数科技有限公司 | 基于启发式算法实现浏览器加载控制的系统及其方法 |
| CN112948654A (zh) * | 2019-11-26 | 2021-06-11 | 上海哔哩哔哩科技有限公司 | 网页爬取方法、装置以及计算机设备 |
| CN111367962B (zh) * | 2020-02-28 | 2024-01-30 | 北京金堤科技有限公司 | 数据库的更新方法及装置、计算机可读存储介质、电子设备 |
| CN111428179B (zh) * | 2020-03-19 | 2023-09-19 | 新方正控股发展有限责任公司 | 图片监测方法、装置及电子设备 |
| CN111538925B (zh) * | 2020-04-09 | 2023-05-02 | 支付宝（中国）网络技术有限公司 | 统一资源定位符url指纹特征的提取方法及装置 |
| CN112100473A (zh) * | 2020-09-21 | 2020-12-18 | 工业互联网创新中心（上海）有限公司 | 基于应用接口的爬虫方法、终端及存储介质 |
| CN112836111B (zh) * | 2021-02-09 | 2022-05-31 | 沈阳麟龙科技股份有限公司 | 一种爬虫系统的url爬取方法、装置、介质及电子设备 |
| CN113297525B (zh) * | 2021-06-17 | 2023-12-12 | 恒安嘉新（北京）科技股份公司 | 网页分类方法、装置、电子设备、及存储介质 |
| CN113704586A (zh) * | 2021-08-30 | 2021-11-26 | 泰戈特（北京）工程技术有限公司 | 一种去重目标页面确定方法、装置、计算机设备及计算机可读存储介质 |
| CN114238732B (zh) * | 2021-11-08 | 2025-11-07 | 国投智能(厦门)信息股份有限公司 | 一种爬取贴文过程中的数据排重方法及终端 |
| CN115001955A (zh) * | 2022-06-08 | 2022-09-02 | 苏州花园集信息科技有限公司 | 一种运维数据采集系统及其方法 |
| CN116894057B (zh) * | 2023-07-17 | 2023-12-22 | 云达信息技术有限公司 | 基于Python的云服务数据收集处理方法、装置、设备及介质 |
| CN118411083B (zh) * | 2024-07-01 | 2024-11-08 | 浙江省标准化研究院(金砖国家标准化(浙江)研究中心、浙江省物品编码中心) | 一种基于产品标准的指标体系构建方法和系统 |
| CN119180610A (zh) * | 2024-09-06 | 2024-12-24 | 深圳市天勤慧创科技有限公司 | 一种相同督查任务避免多次督办的方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645082A (zh) * | 2009-04-17 | 2010-02-10 | 华中科技大学 | 基于并行编程模式的相似网页去重系统 |
| CN106126512A (zh) * | 2016-04-13 | 2016-11-16 | 北京天融信网络安全技术有限公司 | 一种集成学习的网页分类方法及装置 |
| CN108647263A (zh) * | 2018-04-28 | 2018-10-12 | 淮阴工学院 | 一种基于网页切分爬取的网络地址置信度评估方法 |
| CN109918554A (zh) * | 2019-02-13 | 2019-06-21 | 平安科技（深圳）有限公司 | 网页数据爬取方法、装置、系统及计算机可读存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9471565B2 (en) * | 2011-07-29 | 2016-10-18 | At&T Intellectual Property I, L.P. | System and method for locating bilingual web sites |
| CN103970788A (zh) * | 2013-02-01 | 2014-08-06 | 北京英富森信息技术有限公司 | 一种基于网页爬取的爬虫技术 |
| US10152488B2 (en) * | 2015-05-13 | 2018-12-11 | Samsung Electronics Co., Ltd. | Static-analysis-assisted dynamic application crawling architecture |
| CN106598984A (zh) * | 2015-10-16 | 2017-04-26 | 北京国双科技有限公司 | 网络爬虫的数据处理方法及装置 |
| CN108132948B (zh) * | 2016-11-30 | 2021-02-26 | 北京国双科技有限公司 | 处理爬取网页的方法和装置 |
| CN107590188B (zh) * | 2017-08-08 | 2020-02-14 | 杭州灵皓科技有限公司 | 一种自动化垂直细分领域的爬虫爬取方法及其管理系统 |
-
2019
- 2019-02-13 CN CN201910113261.7A patent/CN109918554A/zh active Pending
- 2019-11-13 WO PCT/CN2019/118144 patent/WO2020164276A1/zh not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645082A (zh) * | 2009-04-17 | 2010-02-10 | 华中科技大学 | 基于并行编程模式的相似网页去重系统 |
| CN106126512A (zh) * | 2016-04-13 | 2016-11-16 | 北京天融信网络安全技术有限公司 | 一种集成学习的网页分类方法及装置 |
| CN108647263A (zh) * | 2018-04-28 | 2018-10-12 | 淮阴工学院 | 一种基于网页切分爬取的网络地址置信度评估方法 |
| CN109918554A (zh) * | 2019-02-13 | 2019-06-21 | 平安科技（深圳）有限公司 | 网页数据爬取方法、装置、系统及计算机可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN121350330A (zh) * | 2025-10-20 | 2026-01-16 | 金智东博(北京)教育科技股份有限公司 | 一种基于模块化设计的高精度时序数据提取方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109918554A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020164276A1 (zh) | 网页数据爬取方法、装置、系统及计算机可读存储介质 | |
| CN109145216B (zh) | 网络舆情监控方法、装置及存储介质 | |
| EP3345118B1 (en) | Identifying query patterns and associated aggregate statistics among search queries | |
| US10169449B2 (en) | Method, apparatus, and server for acquiring recommended topic | |
| CN113822067A (zh) | 关键信息提取方法、装置、计算机设备及存储介质 | |
| KR101644817B1 (ko) | 탐색 결과들을 생성하는 방법 | |
| CN110516067A (zh) | 基于话题检测的舆情监控方法、系统及存储介质 | |
| CN118981527B (zh) | 基于大模型的问答方法、装置、电子设备、存储介质、智能体和程序产品 | |
| CN102426591A (zh) | 一种操作用于内容输入的语料库的方法和设备 | |
| CN105378731A (zh) | 从被回答问题关联语料库/语料值 | |
| CN112926297B (zh) | 处理信息的方法、装置、设备和存储介质 | |
| US12596737B2 (en) | Method for generating user interest profile, electronic device and storage medium | |
| JP2023544925A (ja) | データ評価方法、トレーニング方法および装置、電子機器、記憶媒体、コンピュータプログラム | |
| CN111339248A (zh) | 数据属性填充方法、装置、设备及计算机可读存储介质 | |
| CN111369148A (zh) | 对象指标的监测方法、电子装置及存储介质 | |
| CN115640439A (zh) | 一种网络舆情监控的方法、系统及存储介质 | |
| JP5079642B2 (ja) | 履歴処理装置、履歴処理方法および履歴処理プログラム | |
| CN112035723A (zh) | 资源库的确定方法和装置、存储介质及电子装置 | |
| CN104778232B (zh) | 一种基于长查询的搜索结果的优化方法和装置 | |
| CN119202221A (zh) | 文本搜索结果排序方法、装置、电子设备、可读介质及程序产品 | |
| CN112016017A (zh) | 确定特征数据的方法和装置 | |
| CN116860311A (zh) | 脚本分析方法、装置、计算机设备及存储介质 | |
| CN116108134A (zh) | 一种基于知识管理的内容推荐方法、存储介质及设备 | |
| CN116226494A (zh) | 一种用于信息搜索的爬虫系统及方法 | |
| CN115952403A (zh) | 评估对象性能的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19915035 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19915035 Country of ref document: EP Kind code of ref document: A1 |