WO2014032553A1 - 一种网络资源管理方法、装置、客户端及系统 - Google Patents

一种网络资源管理方法、装置、客户端及系统 Download PDF

Info

Publication number
WO2014032553A1
WO2014032553A1 PCT/CN2013/082259 CN2013082259W WO2014032553A1 WO 2014032553 A1 WO2014032553 A1 WO 2014032553A1 CN 2013082259 W CN2013082259 W CN 2013082259W WO 2014032553 A1 WO2014032553 A1 WO 2014032553A1
Authority
WO
WIPO (PCT)
Prior art keywords
data source
server
data
client
category
Prior art date
Application number
PCT/CN2013/082259
Other languages
English (en)
French (fr)
Inventor
刘刚
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2014032553A1 publication Critical patent/WO2014032553A1/zh
Priority to US14/621,553 priority Critical patent/US9648135B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems

Definitions

  • Network resource management method device, client and system
  • the invention belongs to the field of network technologies, and in particular, to a network resource management method, device, client and system. Background of the invention
  • Peer to Server and Peer leverages third-party servers and peer-to-peer (P2P) network data sources, making the download process no longer dependent solely on Internet service providers (Internet)
  • ISP Internet service providers
  • the source server of the Service Provider, ISP The source server of the Service Provider, ISP ).
  • the transfer of data can be performed either in each terminal of the network or between the terminal and the server.
  • P2SP download stability and download speed have been greatly improved compared to traditional point-to-server (P2S) or P2P download methods.
  • each data fragment needs to be verified by the fragmentation verification information provided by the source server.
  • the client only chooses to download from the source server and abandon the multi-source download from other nodes.
  • the data source provided by the source server may also be in error.
  • CDN Content Delivery Network
  • An object of the embodiments of the present invention is to provide a network resource management method, which aims to solve the problem that an existing P2SP technology may cause a user to always download a complete file.
  • the embodiment of the present invention is implemented as follows: A network resource management method includes: receiving, by a server, an error report of a client, where the error report includes a data source of a data fragment that has not passed the verification by the client;
  • the server acquires a category of the data source
  • the server blocks the data source; when the data source belongs to the second category, the server instructs the data source to update the network resource to which the data fragment belongs.
  • Another object of the present invention is to provide a network resource management method, including: a client downloading data fragments from a data source indicated by a server;
  • the client sends an error report to the server, where the error report includes the data source, thereby including the data source according to the error report, the server
  • the terminal acquires a category of the data source to mask the data source or instruct the data source to update.
  • Another object of the present invention is to provide a network resource management apparatus, including: a first receiving unit, configured to receive an error report of a client, where the error report includes data fragmentation that is not verified by the client data source;
  • An obtaining unit configured to acquire a category of the data source
  • a first shielding unit configured to: when the data source is in the first category, mask the data source
  • an indicating unit configured to: when the data source is in the second category, instruct the data source to update a network resource to which the data fragment belongs.
  • Another object of the present invention is to provide a client, which includes: a downloading unit, configured to download data fragments from a data source indicated by the server;
  • a sending unit configured to send an error report to the server when the data fragment fails verification, where the error report includes the data source, thereby reporting a packet according to the error Including the data source, the server acquires a category of the data source to mask the data source or instruct the data source to update.
  • Another object of embodiments of the present invention is to provide a network resource management system including the network resource management apparatus as described above; and a client as described above.
  • the server end determines the category of the data source to which the data fragment with the verification result is invalid by receiving the error report reported by the client during the downloading process, so as to further block or indicate the data source.
  • the source is updated to avoid the situation that the client cannot download the complete file due to the original source error of the network resource, and the success rate of the download is improved.
  • FIG. 1 is a block diagram of an architecture of a network resource management system according to an embodiment of the present invention
  • FIG. 2 is a flowchart of an implementation of a server resource of a network resource management method according to an embodiment of the present invention
  • FIG. 3 is a flowchart of implementing a server-side step S204 of a network resource management method according to an embodiment of the present invention
  • FIG. 4 is a flowchart of an implementation process of a client for a network resource management method according to an embodiment of the present invention
  • FIG. 5 is a structural block diagram of a network resource management apparatus according to an embodiment of the present invention
  • FIG. 6 is a structural block diagram of a server according to an embodiment of the present invention
  • FIG. 7 is a structural block diagram of a client provided by an embodiment of the present invention.
  • FIG. 8 is a schematic diagram of an implementation principle of a network resource management method provided by an implementation example of the present invention. Mode for carrying out the invention
  • the server end receives the error report reported by the client during the P2SP download process, and determines the category of the data source to which the data fragment with the verification result is faulty, so as to further block or indicate the data source.
  • the data source is updated to avoid the situation that the client cannot download the complete file due to the original source error of the network resource, and the success rate of the download is improved.
  • FIG. 1 is a structural block diagram of a network resource management system according to an embodiment of the present invention. For ease of description, only parts related to the embodiment are shown.
  • the system is based on a client-side and server-side system architecture, including a server 11 and at least one client 12, communicating over a network, and the server 11 can be a server system composed of a plurality of different function servers.
  • a file is divided into a number of data fragments by a predetermined size. Since the data fragments of the file are not downloaded in order, the user can simultaneously download different data fragments of the same network resource from multiple physical nodes.
  • the Uniform Resource Locator (URL) of the file is first obtained from the related resource website, and the URL is obtained from the server 11 through the URL.
  • URL Uniform Resource Locator
  • the client 1 shares the downloaded data fragments with other clients through the server 11 so that other clients can download corresponding data fragments from the client 1.
  • one of the important functions of the server 11 is to manage the network resources, effectively separating the original server, the mirror resource and the P2P resource.
  • the sources are merged together so that each client 12 can obtain the correct data source information, as shown in Figure 2.
  • the execution body of the process is the server end 11 shown in FIG. 1, and the details are as follows:
  • step S201 an error report of the client is received, where the error report includes data fragmentation that has not passed the client check. Data source.
  • the client performs P2SP downloading on the network resource according to multiple data sources provided by the server, and the client calculates the check value (such as the hash value) of the data slice every time the data slice is downloaded.
  • the calculated check value is compared with the slice check information of the data slice provided by the server, and it is determined whether the data slice is received correctly. If the data slice is received correctly, the data is assigned for verification.
  • the client when the data fragment downloaded by the client fails the verification, the client sends an error report to the server, where the error report includes the data source of the data fragment, for example, the data source.
  • the address is such that the server can know the data source that sent the data fragment that passed the check.
  • the error report may further include fragmentation information such as an original source, a data fragment size, a check value, and the like of the data fragment.
  • step S202 the category of the data source is obtained.
  • the server may determine, according to the address of the data source, whether the data source is from an Internet Service Provider (ISP), a third-party server, or a P2P network node.
  • ISP Internet Service Provider
  • the server may determine, according to the address of the data source, whether the data source is from an Internet Service Provider (ISP), a third-party server, or a P2P network node.
  • ISP Internet Service Provider
  • third-party server a third-party server
  • P2P network node a P2P network node
  • each data source needs to register the network resources that can be provided on the server before downloading the data to the database, and store the related information of the network resource in the database.
  • the server determines the category of the data source according to the data source that provides the network resource, and the number is After the source is associated with the category, the category of the data source is stored in the server-side database.
  • the category of the data source may include the first category and the second category, where the first category may be an operation type data source, that is, the data source serves as an ISP, and the P2SP download platform is used as its digital media content.
  • the second category can be non-operational data sources, including those that are crawled from the Internet by the server side through the crawler system.
  • step S202 the server can find the category of the data source in the database storing the network resource related information according to the data source in the error report reported by the client.
  • the data source and the corresponding category may be sent to the client, so that the client finds that there is no
  • the client shields the data source to prevent the client from continuing to download network resources from the data source.
  • step S203 when the data source is in the first category, the data source is masked.
  • the server determines that the data source is the first category, that is, the operation type data source
  • the server side shields the data source, and then provides the data source of the network resource to other clients.
  • the data source will not be sent to the client again, and the data source of the error is prevented from continuing to provide the wrong data fragmentation to the client, that is, the client is prevented from downloading the wrong data fragment from the data source.
  • step S204 when the data source is in the second category, the data source is instructed to update the network resource to which the data fragment belongs.
  • the link remains unchanged on the Internet, but the network resources corresponding to the link change.
  • the software is released, the external download link has been announced, but in the early stage of the release, the software is found to have a bug.
  • the file corresponding to the download link is directly replaced, instead of being updated with the download link.
  • the verification value of the obtained data fragment will be different from the fragmentation verification information of the data fragment provided by the previous server. The verification is unsuccessful, and the file cannot be downloaded completely. .
  • the server when the server determines that the data source is in the second category, that is, the non-operational data source, the server sends an indication to the data source, indicating that the data source belongs to the data fragment.
  • Network resources are updated.
  • the related information of the network resource on the server side needs to be updated synchronously, including the fragmentation verification information of the network resource.
  • step S204 is specifically:
  • step S301 the number of times of reporting the error report is obtained.
  • step S302 when the number of reports exceeds a preset threshold, the data source is instructed to update the network resource to which the data slice belongs.
  • the method further includes: after receiving the error report, updating the number of times of reporting the error report before obtaining the number of times of reporting the error report. That is, the number of times of reporting the error report is increased by one to grasp the number of times of reporting the error report of a certain data source.
  • the server instructs the data source to update its corresponding network resource. In this way, the server does not change the relevant verification information frequently, and the client does not have a stable data source to download.
  • the server end receives the error report reported by the client during the P2SP download process, and determines the category of the data source to which the data fragment with the verification result is faulty, so as to further shield the data source accordingly.
  • Update processing avoiding due to data An error in the original data source caused the client to be unable to download the full file, which improved the success rate of the download.
  • the execution body of the process is the client 12 shown in FIG. 1, and the details are as follows:
  • step S401 the client downloads the data fragment from the data source indicated by the server.
  • the client downloads the data fragment of the corresponding network resource according to the data source indicated by the server, and performs verification on the data fragment after downloading a data fragment, and the verification result is
  • the fragmentation verification information provided by the server is compared to determine whether the data fragment passes the verification.
  • step S402 when the data fragment fails the verification, the client sends an error report to the server, where the error report includes the data source of the data fragment that passes the verification, thereby including according to the error report.
  • the data source the server obtains the category of the data source to block the data source or instruct the data source to update.
  • the client receives the data source sent by the server to download data from the data source, and also receives the category of the data source from the server, when the client downloads the data from the data source.
  • the client can determine whether the category of the data source is the first category. When the data source is the first category, the client shields the data source on the side, and no longer downloads the network from the data source. Resources.
  • the network resource management method according to the embodiment of the present invention is based on the description that the present invention is described from the client as the execution subject, and the latter is described from the server as the execution subject. Therefore, the related implementation principle can be referred to.
  • the embodiment shown in FIG. 2 to FIG. 3 is not described herein again.
  • FIG. 5 is a structural block diagram of a network resource management apparatus according to an embodiment of the present invention. For convenience of description, only parts related to the embodiment are shown.
  • the network resources The source management device runs in the network resource management system shown in FIG. 1 and is located on the server side and at least one client. On the server side, each device may be located in the same server, or different units may be distributed as needed.
  • Different module functions are implemented on different function servers (such as a resource index server, an inbound management server, a statistics server, or a P2P tracker server), and specifically include:
  • the first receiving unit 51 receives an error report of the client, and the error report includes a data source of the data fragment that has not passed the client check.
  • the obtaining unit 52 is configured to obtain a category of the data source.
  • the first shielding unit 53 is configured to: when the data source is in the first category, the data source is masked.
  • the indicating unit 54 is configured to, when the data source is in the second category, instruct the data source to update the network resource to which the data fragment belongs.
  • the device further includes:
  • the sending unit sends the data source and the category of the data source to the client, so that the client blocks the data source according to the category when the data source is determined to be the first category.
  • the indicating unit 54 includes:
  • the indication subunit when the number of times of reporting exceeds a preset threshold, instructs the data source to update the network resource to which the data fragment belongs.
  • the download unit 55 downloads the data fragment from the data source indicated by the server.
  • the sending unit 56 when the data fragment fails the verification, sends an error report to the server, where the error report includes a data source that fails the verification, so that the server source obtains the data source according to the error report.
  • the second receiving unit receives the data source sent by the server and the category of the data source.
  • the second shielding unit when the data fragment fails the verification, and when the data source is the first category, masks the data source.
  • FIG. 6 is a structural block diagram of a server according to an embodiment of the present invention.
  • the server includes at least: a memory and a processor in communication with the memory, wherein the memory includes instructions executable by the processor that, when executed, cause the server to perform various functions in the foregoing embodiments.
  • the memory can store the first receive instruction, the get instruction, the first mask instruction, the instruction instruction as shown in FIG.
  • the server receives an error report from the client, the error report including the data source of the data slice that has not passed the client check.
  • the server acquires the category of the data source.
  • the server When the first mask instruction is executed, when the data source is in the first category, the server masks the data source.
  • the server instructs the data source to update the network resource to which the data fragment belongs.
  • the device further includes sending an instruction:
  • the server sends the data source and the category of the data source to the client, so that the client shields the data source according to the category when the data source is determined to be the first category.
  • the instruction instruction includes an acquisition instruction and a second indication instruction:
  • the server obtains the number of reports of the error report.
  • the server instructs the data source to update the network resource to which the data fragment belongs.
  • FIG. 7 is a structural block diagram of a client according to an embodiment of the present invention.
  • the guest The client includes at least: a memory and a processor in communication with the memory, wherein the memory includes instructions executable by the processor that, when executed, cause the server to implement various functions in the foregoing embodiments.
  • the memory can store download instructions, send instructions as shown in FIG.
  • the client downloads the data fragment from the data source indicated by the server.
  • the client When the sending instruction is executed, the client sends an error report to the server when the data fragment fails the verification, and the error report includes a data source that fails the verification, thereby including the data source according to the error report.
  • the server obtains the category of the data source to mask the data source or instruct the data source to update.
  • the second receiving instruction and the second shielding instruction are further included:
  • the client When the second receiving instruction is executed, the client receives the data source sent by the server and the category of the data source.
  • the client When the second mask instruction is executed, the client masks the data source when the data fragment fails the verification, and when the data source is the first category.
  • FIG. 8 shows that the devices of FIG. 5 are distributed in an unreasonable view.
  • the network resource management system includes a network resource index database 601, a network resource index server group 602, a P2P tracking server group 603, a statistics server 604, an active warehousing server 605, an warehousing management server 606, and a crawler server system 607.
  • the client 611 acquires a data source from the network resource index server group 602 and downloads data from the data source.
  • the data source can be client 612, CDN node 1 608, CDN node 2 609, CDN node 3 610.
  • the client 611 sends an error report to the network resource index server group 602, the error report including a data source of data fragments that have not passed the client check.
  • network The network resource index server group 602 obtains the category of the data source, and masks the data source or instructs the data source to update the network resource to which the data fragment belongs. It can be easily seen from FIG. 8 that the network resource management method provided by the embodiment of the present invention shields the data source in which the source error occurs or instructs the data source to update through the server, thereby avoiding the client due to the original source error of the network resource. The inability to download a full file occurs, increasing the success rate of the download.
  • the above is only the preferred embodiment of the present invention, and is not intended to limit the present invention. Any modifications, equivalent substitutions and improvements made within the spirit and principles of the present invention should be included in the protection of the present invention. Within the scope.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明适用于网络技术领域，提供了一种网络资源管理方法及服务器、客户端，包括：接收客户端的错误报告，所述错误报告包括未通过所述客户端校验的数据分片的数据源；获取所述数据源的类别；当所述数据源为第一类别时，对所述数据源进行屏蔽；当所述数据源为第二类别时，指示所述数据源对所述数据分片所属的网络资源进行更新。本发明避免了由于网络资源的原始源出错导致客户端无法下载完整文件的情况发生，提高了下载的成功率。

Description

一种网络资源管理方法、 装置、 客户端及系统
技术领域
本发明属于网络技术领域，尤其涉及一种网络资源管理方法、装置、 客户端及系统。 发明背景
点对服务器和点 ( Peer to Server and Peer, P2SP )技术利用了第三 方服务器以及点对点 （Peer-to-Peer, P2P ) 网络的数据源， 使得下载过 程不再只依赖于互联网服务提供商 （Internet Service Provider, ISP ) 的 源服务器。 数据的传递既可以在网络的各个终端中进行， 也可以在终端 与服务器之间进行。 相比于传统的点对服务器（Peer-to-Server, P2S )或 者 P2P等下载方式， P2SP下载稳定性和下载速度均有了很大的提高。
在 P2SP技术中， 由于数据来源于多个不同的数据源， 因此为了保 证下载结果的正确性， 需要通过源服务器提供的分片校验信息对每个数 据分片进行校验。 当校验结果出现错误的时候， 客户端只选择从源服务 器进行下载， 放弃从其他节点进行多源下载。 然而， 源服务器提供的数 据源也可能会出错。 以内容分发网络（ Content Delivery Network , CDN ) 为例， 其可能会出现每个节点内容发布不同步的情况， 或者緩存内容更 新不及时的情况。 在上述情况下， 用户即便从源服务器进行下载， 也无 法下载到正确的数据分片， 导致整个文件总是无法下载完整。 发明内容
本发明实施例的目的在于提供一种网络资源管理方法， 旨在解决现 有的 P2SP技术可能导致用户总是无法下载到完整文件的问题。 本发明实施例是这样实现的， 一种网络资源管理方法， 包括： 服务器接收客户端的错误报告， 所述错误报告包括未通过所述客户 端校验的数据分片的数据源；
服务器获取所述数据源的类别；
当所述数据源属于第一类别时， 服务器对所述数据源进行屏蔽； 当所述数据源属于第二类别时， 服务器指示所述数据源对所述数据 分片所属的网络资源进行更新。
本发明实施例的另一目的在于提供一种网络资源管理方法， 包括： 客户端从服务器端指示的数据源下载数据分片；
当所述数据分片未通过校验时， 所述客户端向所述服务器端发送错 误报告， 所述错误报告包括所述数据源， 从而根据所述错误报告包括所 述数据源， 所述服务器端获取所述数据源的类别， 以对所述数据源进行 屏蔽或者指示所述数据源进行更新。
本发明实施例的另一目的在于提供一种网络资源管理装置， 包括： 第一接收单元， 用于接收客户端的错误报告， 所述错误报告包括未 通过所述客户端校验的数据分片的数据源；
获取单元， 用于获取所述数据源的类别；
第一屏蔽单元， 用于当所述数据源为第一类别时， 对所述数据源进 行屏蔽；
指示单元， 用于当所述数据源为第二类别时， 指示所述数据源对所 述数据分片所属的网络资源进行更新。
本发明实施例的另一目的在于提供一种客户端，其特征在于， 包括： 下载单元， 用于从服务器端指示的数据源下载数据分片；
发送单元， 用于当所述数据分片未通过校验时， 向所述服务器端发 送错误报告， 所述错误报告包括所述数据源， 从而根据所述错误报告包 括所述数据源， 所述服务器端获取所述数据源的类别， 以对所述数据源 进行屏蔽或者指示所述数据源进行更新。
本发明实施例的另一目的在于提供一种网络资源管理系统， 包括如 上所述的网络资源管理装置； 以及如上所述的客户端。
在本发明实施例中， 服务器端通过接收客户端在下载过程中上报的 错误报告， 判断校验结果出错的数据分片所属的数据源的类别， 以进一 步对该数据源进行屏蔽或者指示该数据源进行更新， 避免了由于网络资 源的原始源出错导致客户端无法下载完整文件的情况发生， 提高了下载 的成功率。 附图简要说明
图 1是本发明实施例提供的网络资源管理系统的架构框图； 图 2是本发明实施例提供的网络资源管理方法服务器端的实现流程 图；
图 3是本发明实施例提供的网络资源管理方法服务器端步骤 S204 的实现流程图；
图 4 是本发明实施例提供的网络资源管理方法客户端的实现流程 图；
图 5是本发明实施例提供的网络资源管理装置的结构框图； 图 6是本发明实施例提供的服务器的结构框图；
图 7是本发明实施例提供的客户端的结构框图；
图 8 是本发明实现示例提供的网络资源管理方法的实现原理示意 图。 实施本发明的方式
为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附 图及实施例， 对本发明进行进一步详细说明。 应当理解， 此处所描述的 具体实施例仅仅用以解释本发明， 并不用于限定本发明。
在本发明实施例中， 服务器端通过接收客户端在 P2SP下载过程中 上报的错误报告， 判断校验结果出错的数据分片所属的数据源的类别， 以进一步对该数据源进行屏蔽或者指示该数据源进行更新， 避免了由于 网络资源的原始源出错导致客户端无法下载完整文件的情况发生， 提高 了下载的成功率。
图 1示出了本发明实施例提供的网络资源管理系统的架构框图， 为 了便于说明， 仅示出了与本实施例相关的部分。
参照图 1 , 该系统基于客户端和服务器端的系统架构， 包括服务器 端 11和至少一个客户端 12, 通过网络进行通信， 且服务器端 11可以为 多个不同的功能服务器组成的服务器系统。
在 P2SP技术中， 一个文件以预定的大小被分成了若干数据分片， 由于文件的数据分片不用按顺序下载， 因此用户可以从多个物理节点同 时下载同一网络资源的不同数据分片。 在本发明实施例中， 例如， 当客 户端 1需要下载一个文件时， 首先从相关的资源网站获取到该文件的统 一资源定位符（Uniform Resource Locator, URL ) , 并通过该 URL从服 务器端 11 获取到该文件的多个数据源及每个数据分片的分片校验信息 等相关信息， 并开始从服务器端 11 提供的多个数据源中下载不同的数 据分片。 该客户端 1在下载过程中会将下载完成的数据分片通过服务器 端 11与其他客户端进行共享， 以使其他客户端可以从该客户端 1下载 相应的数据分片。 在上述过程中， 服务器端 11 的重要作用之一即是对 网络资源进行管理， 有效地把原本孤立的服务器、 镜像资源以及 P2P资 源融合到一起， 以使每个客户端 12 能够获取到正确的数据源信息， 完 图 2示
Figure imgf000007_0001
在 本实施例中， 流程的执行主体为图 1所示的服务器端 11 , 详述如下： 在步骤 S201 中， 接收客户端的错误报告， 该错误报告包括未通过 该客户端校验的数据分片的数据源。
客户端根据服务器端提供的多个数据源对网络资源进行 P2SP下载， 且客户端每下载完一个数据分片即会计算该数据分片的校验值 (例如哈 希（Hash )值） ， 再将计算得到的校验值与服务器端提供的该数据分片 的分片校验信息进行比较， 判断该数据分片是否接收正确。 如果该数据 分片接收正确， 则该数据分配通过校验。
在本实施例中， 当客户端下载的数据分片未通过校验时， 客户端会 向服务器端发送错误报告， 该错误报告中包括了该数据分片的数据源， 例如， 该数据源的地址， 以使服务器端能够获知发送该为通过校验的数 据分片的数据源。进一步地，错误报告还可以包括该数据分片的原始源、 数据分片大小、 校验值等分片信息。
在步骤 S202中， 获取该数据源的类别。
作为本发明的一个实施例， 服务器端可以根据该数据源的地址来判 断出该数据源是来自互联网服务提供商 ( Internet Service Provider, ISP )、 第三方服务器还是 P2P网络节点。
作为本发明的另一实施例， 由于每个数据源在为客户端提供下载之 前， 需要先将其能够提供的网络资源在服务器端进行登记， 将该网络资 源的相关信息存储到数据库， 由服务器端来统计、 管理该网络资源的所 有数据源， 以提供给客户端进行下载。 因此， 当网络资源在入库时， 服 务器端根据提供网络资源的数据源， 确定出该数据源的类别， 并将该数 据源与该类别进行关联后， 将该数据源的类别存储进服务器端的数据 库。
在本实施例中，数据源的类别可以包括第一类别和第二类别，其中， 第一类别可以为运营类数据源， 即该数据源作为 ISP,将 P2SP的下载平 台作为其数字媒体内容的发布渠道， 主动发布包括软件、 游戏安装包、 系统补丁、 影音文件等在内的网络资源； 第二类别可以为非运营类数据 源， 包括由服务器端通过爬虫系统从互联网上抓取到的提供网络资源的 第三方服务器， 或者为 P2P网络中拥有网络资源的节点等。
因此， 在步骤 S202 中， 服务器端根据客户端上报的错误报告中的 数据源， 即可在存储网络资源相关信息的数据库中查找到该数据源的类 别。
作为本发明的一个实施例， 在服务器端将数据源与其相应的类别进 行关联并存储进数据库的同时， 还可以将该数据源与其相应的类别发送 给客户端， 以使客户端在发现存在未校验通过的数据分片， 且该数据源 为第一类别时， 客户端屏蔽该数据源， 避免客户端继续从该数据源下载 网络资源。
在步骤 S203中， 当该数据源为第一类别时， 对该数据源进行屏蔽。 在本实施例中， 当服务器端判断出数据源为第一类别， 即为运营类 数据源的时候， 服务器端对该数据源进行屏蔽， 在之后向其他客户端提 供该网络资源的数据源的时候， 不会再向客户端发送该数据源， 避免了 该错误的数据源继续向客户端提供错误的数据分片， 即避免了客户端从 该数据源中下载错误的数据分片。
在步骤 S204 中， 当该数据源为第二类别时， 指示该数据源对该数 据分片所属的网络资源进行更新。
通常， 对于第二类别的数据源， 即非运营类数据源来说， 由于互联 网上经常存在链接保持不变， 但该链接对应的网络资源发生变化的情 况。 例如当软件发布的时候， 对外下载链接已经公布了， 但在发布前期 发现软件有 bug, 此时会直接替换该下载链接所对应的文件， 而不是连 下载链接一同更新， 此时， 若客户端仍采用同样的下载链接进行下载， 则或者到的数据分片的校验值会与此前服务器端提供的该数据分片的 分片校验信息不同， 校验不成功， 导致文件始终无法下载完整。
因此， 在本实施例中， 当服务器端判断出数据源为第二类别， 即为 非运营类数据源的时候， 服务器端向该数据源发出指示， 指示该数据源 对该数据分片所属的网络资源进行更新。 同时， 在数据源对网络资源进 行更新之后， 需要对该网络资源在服务器端的相关信息进行同步更新， 包括该网络资源的分片校验信息。
进一步地， 作为本发明的一个实施例， 如图 3所示， 步骤 S204具 体为：
在步骤 S301中， 获取错误报告的上报次数。
在步骤 S302 中， 当上报次数超过预设阈值时， 指示该数据源对该 数据分片所属的网络资源进行更新。
在本实施例中， 还包括， 当接收到该错误报告后， 在获取错误报告 的上报次数之前， 更新该错误报告的上报次数。 即， 将该错误报告的上 报次数增加 1 , 以随时掌握关于某个数据源的错误报告的上报次数。 当 包括该数据源的错误报告上报次数达到预设阈值时， 服务端才指示该数 据源对其所对应的网络资源进行更新。 这样， 不会因为服务器端频繁对 相关的校验信息进行变更， 而导致客户端没有稳定的数据源进行下载。
在本发明实施例中， 服务器端通过接收客户端在 P2SP下载过程中 上报的错误报告， 判断校验结果出错的数据分片所属的数据源的类别， 以进一步对该数据源进行相应的屏蔽或者更新处理， 避免了由于数据的 原始数据源出错导致客户端无法下载完整文件的情况发生， 提高了下载 的成功率。 本实施例中， 流程的执行主体为图 1所示的客户端 12, 详述如下：
在步骤 S401中， 客户端从服务器端指示的数据源下载数据分片。 在本实施例中， 客户端根据服务器端指示的数据源来下载相应的网 络资源的数据分片， 且在下载完一个数据分片之后对该数据分片进行校 验， 并将校验结果与服务器端提供的分片校验信息进行比较， 确定该数 据分片是否通过校验。
在步骤 S402 中， 当该数据分片未通过校验时， 客户端向服务器端 发送错误报告，其中，错误报告包括该为通过校验的数据分片的数据源， 从而根据所述错误报告包括所述数据源， 服务器端获取该数据源的类 别， 以对该数据源进行屏蔽或者指示该数据源进行更新。
进一步地， 在步骤 S401之前， 客户端接收服务器端发送的数据源， 以从该数据源下载数据， 同时， 还从服务器端接收该数据源的类别， 当 客户端从该数据源下载的数据分片未通过校验时， 客户端可以判断该数 据源的类别是否为第一类别， 当该数据源为第一类别时， 客户端在本侧 屏蔽该数据源， 不再从该数据源下载网络资源。
由于本发明图 4实施例所述的网络资源管理方法基于的是与本发明 是从客户端作为执行主体进行描述， 后者是从服务器端作为执行主体进 行描述， 因此， 相关的实现原理可以参考图 2至图 3所述实施例， 在此 不再赘述。
图 5示出了本发明实施例提供的网络资源管理装置的结构框图， 为 了便于说明， 仅示出了与本实施例相关的部分。 如图 5所示， 该网络资 源管理装置运行于如图 1所示的网络资源管理系统中， 且位于服务器端 和至少一个客户端上， 在服务器端上， 各装置可以位于同一服务器中， 也可以根据需要将不同的单元分布在不同的功能服务器（例如资源索引 服务器、入库管理服务器、统计服务器或者 P2P跟踪（ Tracker )服务器） 上以实现不同的模块功能， 其具体包括：
在服务器端， 其包括：
第一接收单元 51 ,接收客户端的错误报告， 该错误报告包括未通过 客户端校验的数据分片的数据源。
获取单元 52, 用于获取该数据源的类别。
第一屏蔽单元 53 , 用于当该数据源为第一类别时， 对该数据源进行 展蔽。
指示单元 54, 用于当该数据源为第二类别时， 指示该数据源对该数 据分片所属的网络资源进行更新。
进一步地， 在服务器端， 该装置还包括：
发送单元， 将数据源和该数据源的类别发送给客户端， 以使客户端 根据该类别判断该数据源为第一类别时， 屏蔽该数据源。
进一步地， 指示单元 54包括：
获取子单元， 获取错误报告的上报次数。
指示子单元， 当上报次数超过预设阈值时， 指示该数据源对该数据 分片所属的网络资源进行更新。
在客户端， 包括：
下载单元 55 , 从服务器端指示的数据源下载数据分片。
发送单元 56, 当该数据分片未通过校验时， 向服务器端发送错误报 告， 该错误报告包括未通过校验的数据源， 从而根据所述错误报告包括 所述数据源， 服务器端获取该数据源的类别， 以对该数据源进行屏蔽或 者指示该数据源进行更新。
进一步地， 还包括：
第二接收单元， 接收服务器端发送的数据源和该数据源的类别。 第二屏蔽单元， 当数据分片未通过校验时， 且当该数据源为第一类 别时， 屏蔽该数据源。
图 6为本发明实施例提供的服务器的结构框图。 如图 6所示， 该服 务器至少包括： 存储器以及与存储器通信的处理器， 其中该存储器中 包括可由处理器执行的指令， 当指令被执行时可以使服务器实现前述 实施例中的各种功能。 在一个实施例中， 存储器可存储如图 6所示的 第一接收指令、 获取指令、 第一屏蔽指令、 指示指令。
当第一接收指令执行时， 服务器接收客户端的错误报告， 该错误报 告包括未通过客户端校验的数据分片的数据源。
当获取指令执行时， 服务器获取该数据源的类别。
当第一屏蔽指令执行时， 当该数据源为第一类别时， 服务器对该数 据源进行屏蔽。
当指示指令执行时， 当该数据源为第二类别时， 服务器指示该数据 源对该数据分片所属的网络资源进行更新。
进一步地， 在服务器端， 该装置还包括发送指令：
当发送指令执行时，服务器将数据源和该数据源的类别发送给客户 端，以使客户端根据该类别判断该数据源为第一类别时，屏蔽该数据源。
进一步地， 指示指令包括获取指令、 第二指示指令：
当获取指令执行时， 服务器获取错误报告的上报次数。
当第二指示指令执行时， 当上报次数超过预设阈值时， 服务器指示 该数据源对该数据分片所属的网络资源进行更新。
图 7为本发明实施例提供的客户端的结构框图。 如图 7所示， 该客 户端至少包括： 存储器以及与存储器通信的处理器， 其中该存储器中 包括可由处理器执行的指令， 当指令被执行时可以使服务器实现前述 实施例中的各种功能。 在一个实施例中， 存储器可存储如图 7所示的 下载指令、 发送指令。
当下载指令执行时， 客户端从服务器端指示的数据源下载数据分 片。
当发送指令执行时， 客户端当该数据分片未通过校验时， 向服务器 端发送错误报告， 该错误报告包括未通过校验的数据源， 从而根据所述 错误报告包括所述数据源， 服务器端获取该数据源的类别， 以对该数据 源进行屏蔽或者指示该数据源进行更新。
进一步地， 还包括第二接收指令、 第二屏蔽指令：
当第二接收指令执行时，客户端接收服务器端发送的数据源和该数 据源的类别。
当第二屏蔽指令执行时， 客户端当数据分片未通过校验时， 且当该 数据源为第一类别时， 屏蔽该数据源。
作为本发明的一个实现示例， 图 8示出了当图 5的各装置分布在不 理图。 如图 8所示， 网络资源管理系统包括网络资源索引数据库 601、 网络资源索引服务器组 602、 P2P跟踪服务器组 603、 统计服务器 604、 主动入库服务器 605、入库管理服务器 606、 爬虫服务器系统 607、 CDN 节点 1 608、 CDN节点 2 609、 CDN节点 3 610、客户端 611、客户端 612。 客户端 611从网络资源索引服务器组 602获取数据源， 并从该数据源下 载数据。该数据源可以是客户端 612、 CDN节点 1 608、 CDN节点 2 609、 CDN节点 3 610。 客户端 611向网络资源索引服务器组 602发送错误报 告， 所述错误报告包括未通过所述客户端校验的数据分片的数据源。 网 络资源索引服务器组 602获取所述数据源的类别， 并对该数据源进行屏 蔽或指示所述数据源对所述数据分片所属的网络资源进行更新。 从图 8 中容易看出， 本发明实施例提供的网络资源管理方法通过服务器端对发 生了源错误的数据源进行屏蔽或者指示数据源进行更新， 避免了由于网 络资源的原始源出错导致客户端无法下载完整文件的情况发生， 提高了 下载的成功率。 以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡 在本发明的精神和原则之内所作的任何修改、 等同替换和改进等， 均应 包含在本发明的保护范围之内。

Claims

权利要求书
1、 一种网络资源管理方法， 其特征在于， 包括：
服务器接收客户端的错误报告， 所述错误报告包括未通过所述客户 端校验的数据分片的数据源；
服务器获取所述数据源的类别；
当所述数据源属于第一类别时， 服务器对所述数据源进行屏蔽； 当所述数据源属于第二类别时， 服务器指示所述数据源对所述数据 分片所属的网络资源进行更新。
2、 如权利要求 1 所述的方法， 其特征在于， 所述服务器指示所述 数据源对所述数据分片所属的网络资源进行更新， 包括：
获取所述错误报告的上报次数；
当所述上报次数超过预设阈值时， 指示所述数据源对所述数据分片 所属的网络资源进行更新。
3、 一种网络资源管理方法， 其特征在于， 包括：
客户端从服务器端指示的数据源下载数据分片；
当所述数据分片未通过校验时， 所述客户端向所述服务器端发送错 误报告， 所述错误报告包括所述数据源， 从而根据所述错误报告包括所 述数据源， 所述服务器端获取所述数据源的类别， 以对所述数据源进行 屏蔽或者指示所述数据源进行更新。
4、 如权利要求 3所述的方法， 其特征在于， 还包括：
当根据从服务器端获取的数据源的类别判断出所述数据源属于第 一类别时， 所述客户端屏蔽所述数据源。 一种服务器， 其特征在于， 包括: 第一接收单元， 用于接收客户端的错误报告， 所述错误报告包括未 通过所述客户端校验的数据分片的数据源；
获取单元， 用于获取所述数据源的类别；
第一屏蔽单元， 用于当所述数据源属于第一类别时， 对所述数据源 进行屏蔽；
指示单元， 用于当所述数据源属于第二类别时， 指示所述数据源对 所述数据分片所属的网络资源进行更新。
6、 如权利要求 5所述的装置， 其特征在于， 所述指示单元包括： 获取子单元， 用于获取所述错误报告的上报次数；
指示子单元， 用于当所述上报次数超过预设阈值时， 指示所述数据 源对所述数据分片所属的网络资源进行更新。
7、 一种客户端， 其特征在于， 包括：
下载单元， 用于从服务器端指示的数据源下载数据分片；
发送单元， 用于当所述数据分片未通过校验时， 向所述服务器端发 送错误报告， 所述错误报告包括所述数据源， 从而根据所述错误报告包 括所述数据源， 所述服务器端获取所述数据源的类别， 以对所述数据源 进行屏蔽或者指示所述数据源进行更新。
8、 如权利要求 7所述的客户端， 其特征在于， 还包括：
第二接收单元， 用于接收所述服务器端发送的所述数据源的类别； 第二屏蔽单元， 用于当根据从服务器端获取的数据源的类别判断出 所述数据源为第一类别时， 屏蔽所述数据源。
9、 一种网络资源管理系统， 其特征在于， 包括如权利要求 5 或 6 所述的网络资源管理装置； 以及
至少一个如权利要求 7或 8所述的客户端。
PCT/CN2013/082259 2012-08-30 2013-08-26 一种网络资源管理方法、装置、客户端及系统 WO2014032553A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/621,553 US9648135B2 (en) 2012-08-30 2015-02-13 Method, device, client end and system for network resource management

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210315060.3A CN103684809B (zh) 2012-08-30 2012-08-30 一种网络资源管理方法、装置、客户端及系统
CN201210315060.3 2012-08-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/621,553 Continuation US9648135B2 (en) 2012-08-30 2015-02-13 Method, device, client end and system for network resource management

Publications (1)

Publication Number Publication Date
WO2014032553A1 true WO2014032553A1 (zh) 2014-03-06

Family

ID=50182497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/082259 WO2014032553A1 (zh) 2012-08-30 2013-08-26 一种网络资源管理方法、装置、客户端及系统

Country Status (3)

Country Link
US (1) US9648135B2 (zh)
CN (1) CN103684809B (zh)
WO (1) WO2014032553A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150227404A1 (en) * 2014-02-11 2015-08-13 Wipro Limited Systems and methods for smart service management in a media network
CN106993054B (zh) * 2017-05-05 2022-06-03 腾讯科技（深圳）有限公司 文件分发方法、节点及系统
US10637846B2 (en) * 2017-08-30 2020-04-28 Capital One Services, Llc System and method for cloud-based analytics
CN109151067B (zh) * 2018-10-17 2020-11-03 广东广信通信服务有限公司 一种结合缓存和cdn访问数据的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282366A (zh) * 2008-05-21 2008-10-08 北京中企开源信息技术有限公司 点对点网络中的数据传输处理方法及装置
CN101854278A (zh) * 2009-04-01 2010-10-06 升东网络科技发展(上海)有限公司 即时通讯中的多媒体传输系统和方法
CN101977205A (zh) * 2010-08-16 2011-02-16 中兴通讯股份有限公司 分片补全方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203851A1 (en) * 2003-10-25 2005-09-15 Macrovision Corporation Corruption and its deterrence in swarm downloads of protected files in a file sharing network
US7584226B2 (en) * 2005-05-24 2009-09-01 International Business Machines Corporation System and method for peer-to-peer grid based autonomic and probabilistic on-demand backup and restore
EP2385656B1 (en) * 2010-05-06 2012-12-12 Deutsche Telekom AG Method and system for controlling data communication within a network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282366A (zh) * 2008-05-21 2008-10-08 北京中企开源信息技术有限公司 点对点网络中的数据传输处理方法及装置
CN101854278A (zh) * 2009-04-01 2010-10-06 升东网络科技发展(上海)有限公司 即时通讯中的多媒体传输系统和方法
CN101977205A (zh) * 2010-08-16 2011-02-16 中兴通讯股份有限公司 分片补全方法及系统

Also Published As

Publication number Publication date
US9648135B2 (en) 2017-05-09
CN103684809B (zh) 2018-02-27
US20150160996A1 (en) 2015-06-11
CN103684809A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN101584190B (zh) 用于将推模式和拉模式相结合的系统和方法
US20210385231A1 (en) Distributed data authentication and validation using blockchain
JP6282293B2 (ja) ネットワーク・パラメータに基づく、完全性点検および選択的な重複排除を実施する方法、コンピュータ・システムおよびコンピュータ・プログラム
US8510415B2 (en) Data distribution method, data distribution system and relevant devices in edge network
US20150215400A1 (en) File Upload Method And System
US8448233B2 (en) Dealing with web attacks using cryptographically signed HTTP cookies
US9820009B2 (en) Streaming with optional broadcast delivery of data segments
US20110131336A1 (en) Method and device for file transmission based on multiple protocols
WO2015117570A1 (en) Network acceleration method, apparatus and device based on router device
US11218541B2 (en) Data storage method, storage server, and storage medium and system
US20060224670A1 (en) File distribution method and client terminal implementing the same
KR101773275B1 (ko) 오류 장애극복 프로세스를 이용하여 상당수의 클라이언트를 지원하기 위한 미디어 전달 서비스 프로토콜
US20130346552A1 (en) Download method, system, and device for mobile terminal
WO2008016694A2 (en) Improved distribution of content on a network
US20140297774A1 (en) System for managing configuration updates in cluster of computational devices
WO2014032553A1 (zh) 一种网络资源管理方法、装置、客户端及系统
CN110633168A (zh) 一种分布式存储系统的数据备份方法和系统
US9313291B2 (en) Systems and methods for transparent communication with bandwidth conservation and HTTP caching
JP2010213150A (ja) 送信装置、大容量ファイル配信システム、同システムにおけるファィル再送制御方法、再送制御プログラム
CN110198315B (zh) 一种报文处理的方法及装置
WO2017011981A1 (zh) 一种流表项的定时处理方法及装置
US20220141279A1 (en) Client-side measurement of computer network conditions
US10992702B2 (en) Detecting malware on SPDY connections
CN109688204B (zh) 基于ndn网络的文件下载方法、节点、终端
CN111147595A (zh) 一种文档下载方法、系统、服务器和客户端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13833988

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC OF 130715

122 Ep: pct application non-entry in european phase

Ref document number: 13833988

Country of ref document: EP

Kind code of ref document: A1