WO2011157150A2 - 数据处理方法、缓存节点、协作控制器及系统 - Google Patents

数据处理方法、缓存节点、协作控制器及系统 Download PDF

Info

Publication number
WO2011157150A2
WO2011157150A2 PCT/CN2011/075063 CN2011075063W WO2011157150A2 WO 2011157150 A2 WO2011157150 A2 WO 2011157150A2 CN 2011075063 W CN2011075063 W CN 2011075063W WO 2011157150 A2 WO2011157150 A2 WO 2011157150A2
Authority
WO
WIPO (PCT)
Prior art keywords
cache node
data content
replacement space
local
collaborative
Prior art date
Application number
PCT/CN2011/075063
Other languages
English (en)
French (fr)
Other versions
WO2011157150A3 (zh
Inventor
龙有水
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to PCT/CN2011/075063 priority Critical patent/WO2011157150A2/zh
Priority to CN201180000652.XA priority patent/CN102204218B/zh
Publication of WO2011157150A2 publication Critical patent/WO2011157150A2/zh
Publication of WO2011157150A3 publication Critical patent/WO2011157150A3/zh
Priority to US14/094,148 priority patent/US9330004B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0817—Cache consistency protocols using directory methods
    • G06F12/0824—Distributed directories, e.g. linked lists of caches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Definitions

  • CDN TECHNICAL FIELD
  • the present application relates to the field of network communications, and in particular, to a data processing method, a cache node, a cooperative controller, and a system.
  • BACKGROUND With the popularization of broadband access and the rapid development of streaming media-based broadband applications, CDN is found to be a kind of pressure to effectively alleviate the high throughput of streaming media transmission to the backbone network, and improve the quality of streaming media services. Effective means. Therefore, in recent years, CDN has received more and more attention, and has been widely deployed at home and abroad, and streaming media content has replaced Web content as the main carrier of CDN.
  • the core idea of the CDN is to push the data content from the central network to the edge close to the user. This not only effectively improves the performance of the user's access to the content, but also effectively reduces the pressure on the central device and the backbone network.
  • the content can be removed from the original CDN.
  • the single central structure becomes a distributed structure.
  • a single CDN server is equivalent to a cache node, and its cache and service capabilities are limited. Therefore, it is necessary to establish a cache node group composed of multiple CDN servers to work collaboratively through collaborative caching, and make full use of the cache space of each CDN server. Hit rate, spread hotspot data, balance server load, avoid single point of error and resolve bottlenecks.
  • the internal single storage space stores the global target for collaborative access, and the CDN cache nodes participating in the collaboration are completely peer-to-peer, ignoring the different needs of the cache local optimization. Summary of the invention
  • the embodiment of the present application provides a data processing method, a cache node, a collaboration controller, and a system, and a global and single cache node that comprehensively cooperates, and effectively processes the participating collaborative data.
  • the technical solutions are as follows:
  • a data processing method based on a cached node group of data cache, any cache node in the group includes: a local replacement space for saving data accessed by a local client and used for accessing a non-local client Collaborative replacement space for saving data content;
  • the method includes:
  • the accessed cache node receiving the client data request searches for data content corresponding to the data request
  • the data content directory list is provided with a corresponding relationship between the data content and the corresponding cache node;
  • a cache node is applied to a cache node group of a data cache, and includes: a control module, a local replacement space, and a collaborative replacement space;
  • the local replacement space is used to save data accessed by a local client
  • the cooperation replacement space is configured to save data content accessed by a non-local client; the control module is configured to receive a data request sent by the client, and search for the data request corresponding to the data request in the local replacement space.
  • Data content when the data content is not found in the local replacement space, querying the data content set in the data content directory list and its corresponding cache node Corresponding relationship, the cache node including the data content in the other cache nodes in the cache node group is used as the target cache node according to the correspondence relationship; the collaboration replacement from the target cache node is empty
  • a data processing method based on a cached node group of data cache, any cache node in the group includes: a local replacement space for saving data accessed by a local client and used for accessing a non-local client The data content is saved in a collaborative replacement space; the method includes: obtaining a link utilization rate of a topology link where each cache node in the cache node group is located; and configuring, according to the link utilization, each cache node in the cache The proportion of participation in collaboration in the node group is adjusted.
  • a collaboration controller comprising: an obtaining module, configured to obtain a link utilization rate of a topology link of each cache node in a cache node group; and an adjustment module, configured to obtain, according to the link utilization rate obtained by the acquiring module The proportion of each cache node participating in the collaboration in the cache node group is adjusted.
  • a data processing system includes: a cache node group consisting of cache nodes and a cooperative controller.
  • the data content to be accessed by different non-local clients the internal storage space of the cache node is subdivided, and the client obtains the data more accurately and directly in the process of accessing the cache node, and satisfies the different requirements of the local optimization of the cache node.
  • the configuration of each cache node is consistent.
  • the data cache can be used to access the cache nodes of other clients to obtain the required data, which is ensured in the cache node group.
  • the data acquisition of a single cache node is optimized.
  • the storage space of the cache node reaches a certain threshold, such as when the storage space is full, the replacement operation is performed on the content acquired by the cache node to be stored in the local replacement space or the collaborative replacement space, and the local replacement space is replaced.
  • the data content with the lowest frequency of access in the collaborative replacement space is replaced with the acquired data content, which ensures the smoothness and timeliness of the client to obtain the required data content.
  • the process further includes the process of adding the data content replaced by the replacement space of the cache node to another replacement space after satisfying a certain condition,
  • the space utilization of each cache node is utilized to the greatest extent.
  • the cache node when the link utilization of the link where the cache node is located is higher than a certain threshold, the cache node cooperates to replace some data with higher access frequency of the participating cooperation in the space. The content is transferred, thereby reducing the link utilization of the cache node, balancing the overall link utilization in the cache node group, and balancing the data cooperation process.
  • the embodiment of the present application further provides a collaboration controller for monitoring and controlling the process of participating in the collaboration of each cache node in the cache node group, and counting statistics in each cache node. Participate in the collaborative data content and distribute the data content list to each cache node in the cache node group, adjust the cooperation ratio of each cache node, and optimize the data cache process.
  • FIG. 1 is a flowchart of a method for processing a data according to an embodiment of the present disclosure
  • FIG. 2 is a method for determining a target cache node in a data processing method according to an embodiment of the present application
  • FIG. 3 is a detailed flowchart of a data processing method according to an embodiment of the present application.
  • FIG. 4 is another detailed flowchart of a data processing method according to an embodiment of the present disclosure
  • FIG. 5 is a flowchart of a process for saving data content acquired in a collaborative replacement space in a data processing method according to an embodiment of the present disclosure
  • FIG. 6 is a detailed processing flowchart of saving the acquired data content to the collaborative replacement space in the data processing method provided by the embodiment of the present application;
  • FIG. 7 is a flowchart of a method for transferring data content in a collaborative replacement space in a data processing process according to an embodiment of the present application
  • FIG. 8 is a flowchart of a method for obtaining data content from a target cache node in a data processing process according to an embodiment of the present application
  • FIG. 9 is a flowchart of a process for saving acquired data content to a local replacement space according to an embodiment of the present application.
  • FIG. 10 is a detailed processing flowchart of saving the acquired data content to a local replacement space according to an embodiment of the present application.
  • FIG. 11 is a schematic diagram of an application environment of a cache node according to an embodiment of the present application.
  • FIG. 12 is a schematic structural diagram of a cache node according to an embodiment of the present disclosure.
  • FIG. 13 is a schematic diagram of a first structure of a control module in a cache node according to an embodiment of the present disclosure
  • FIG. 14 is a schematic diagram of a second structure of a control module in a cache node according to an embodiment of the present disclosure
  • FIG. 16 is a schematic diagram of a fourth structure of a control module in a cache node according to an embodiment of the present disclosure
  • FIG. 17 is a schematic diagram of a fifth structure of a control module in a cache node according to an embodiment of the present disclosure
  • FIG. 18 is a schematic diagram of a sixth structure of a control module in a cache node according to an embodiment of the present disclosure
  • FIG. 13 is a schematic diagram of a first structure of a control module in a cache node according to an embodiment of the present disclosure
  • FIG. 14 is a schematic diagram of a second structure of a control module in a cache node according to an embodiment of the present disclosure
  • FIG. 16 is a schematic diagram of a fourth structure of a
  • FIG. 19 is a schematic diagram of a seventh structure of a control module in a cache node according to an embodiment of the present disclosure.
  • the eighth structure diagram of the control module in the node is a data processing method applied to the collaborative controller end according to the embodiment of the present application;
  • FIG. 22 is a data processing method provided by the embodiment of the present application, and the cooperation ratio of the cache node is adjusted. Method flow chart;
  • FIG. 23 is a flowchart of a method for controlling data content transfer in a cache node collaborative replacement space according to an embodiment of the present application
  • FIG. 24 is a detailed flowchart of controlling transfer of data content in a cache node collaborative replacement space according to an embodiment of the present application
  • FIG. 25 is a schematic diagram of a first structure of a collaboration controller according to an embodiment of the present disclosure
  • FIG. 26 is a schematic diagram of a second structure of a collaboration controller according to an embodiment of the present disclosure
  • FIG. 28 is a schematic diagram of a fourth structure of a collaboration controller according to an embodiment of the present disclosure
  • FIG. 29 is a schematic structural diagram of a data processing system according to an embodiment of the present application.
  • any cache node in the group includes: a local replacement space for saving data accessed by the local client and a data content for saving the data accessed by the non-local client Collaborative replacement space; wherein the data content in the collaborative replacement space participates in global collaboration in the group of cache nodes.
  • the method includes: Step S101: The accessed cache node receiving the client data request searches for data content corresponding to the data request; each cache node in the cache node group has a client corresponding thereto The client sends a data request to the corresponding cache node to obtain the required data content.
  • Step S102 Query the preset data content directory list when the data content is not found in the local replacement space of the accessed cache node.
  • the data content directory list is provided with a correspondence between the data content and the corresponding cache node; the local replacement space of the cache node stores the data content accessed by the local client, and the accessed cache node receives the data request sent by the cache node. After that, in its local replacement space, the data content corresponding to the data request sent by the client is searched, and when the data content is not found in the local replacement space of the accessed cache node, indicating that the cached node is accessed The data content of the local client is not saved in the local replacement space; At this time, the data cooperation process in the cache node group is performed, and the preset data content directory list is queried, and the corresponding relationship between the data content and the corresponding cache node is set in the data content directory list; Step S103: According to the corresponding relationship a cache node that includes the data content among other cache nodes in the cache node group as a target cache node;
  • Step S104 Acquiring the data content in a collaborative replacement space of the target cache node and saving the data content to a local replacement space of the accessed cache node; acquiring the client from the determined collaborative replacement space of the target cache node Number of demand The content is saved according to the content and stored in the local replacement space of the locally accessed cache node.
  • the collaborative replacement space of the locally accessed cache node stores a request corresponding to the data transmission sent by the client.
  • the data content is the target cache node, and the data content corresponding to the data request stored in the local access cache node cooperation replacement space is directly sent to the local client, and the content is Data content is added from the collaborative replacement space to the local replacement space.
  • the process of determining the target cache node from the other cache nodes in the cache node group in step S103 is performed without the data content corresponding to the client transmitting the data request in the accessed cache node.
  • the data content directory list that is queried records the data content of the cache nodes participating in the cache node group and the frequency of the data content being accessed in a certain time zone, and the like.
  • a data content directory list is pre-configured in any of the cache nodes in the cache node group, and the directory list may be preset by the processing device in real time.
  • the data content directory in each cache node in the data processing method provided by the embodiment of the present application The list is preferably preset by the writing controller, and the collaboration controller interacts with each of the cache nodes in real time during execution of the data processing method to update the list of data content directories in each of the cache node groups.
  • the data content directory list exists in multiple manners.
  • the collaborative controller may preset the updated data content directory list in each cache node in real time;
  • the collaboration controller presets the updated data content directory list inside the collaboration controller, and when each cache node needs to query the data content directory list, requests a query from the collaboration controller;
  • the data content directory list is preset in the third-party device, and when each cache node needs to query the data content directory list, the third-party device is requested to query.
  • Step S201 Query a correspondence between the data content set in the preset data content directory list and its corresponding cache node;
  • FIG. 3 On the basis of the implementation of FIG. 2, a detailed flowchart of the data processing method provided by the embodiment of the present application is as shown in FIG. 3, and includes:
  • Step S301 The accessed node that receives the client data request searches for the data content corresponding to the data request.
  • Step S302 determining whether the data content is found in the local replacement space of the accessed cache node, when the data content is not found, step S303 is performed, otherwise, step S310 is performed;
  • Step S303 Query a preset data content directory list, where the data content directory list is set with a corresponding relationship between the data content and the corresponding cache node;
  • Step S304 determining whether the correspondence between the data content and the corresponding cache node is queried in the data content directory list, if yes, executing step S305, otherwise, performing step S307; step S305: caching according to the correspondence relationship a cache node that includes the data content among other cache nodes in the node group as a target cache node;
  • Step S306 Acquire the data content from the collaborative replacement space of the target cache node and save the data content to a local replacement space of the accessed cache node.
  • Step S307 Forward the data request sent by the received local client to the remote content source server.
  • the content source server is a starting position of content required by each client, and includes data content required by all clients;
  • Step S308 Obtain data content corresponding to the data request from the content source server.
  • Step S309 Save the acquired data content to a collaborative replacement space of the accessed cache node.
  • the data content corresponding to the local client sending data request is not saved in the collaborative replacement space of all the cache nodes in the cache node group
  • the data content obtained from the content source server is added to the collaborative replacement space of the accessed cache node to participate in global data cooperation, so that when other cache nodes need the data content, the data content can be acquired in time;
  • Step S310 Return the found data content to the local client.
  • the update process of the data content directory list is further included, as implemented in the present application. As shown in Figure 4, the example includes:
  • Step S311 Update the directory list of the data content saved by the collaborative replacement space, and send the updated directory list to the cooperation controller.
  • the content directory list is a list of data content directories in the collaborative replacement space. Because the collaboration controller manages and controls the data content participating in the collaboration replacement space in each cache node in the cache node group, the collaboration controller provided by the embodiment of the present application mainly cooperates with each cache node in the space of replacement. The list of data content directories is updated.
  • the cache node updates the data content directory list in the collaborative replacement space, and sends the updated data content directory list to the cooperation controller, and all the cache nodes in the data cache node group are coordinated by the cooperation controller.
  • the list of upper data content directories in the collaborative replacement space is updated. The update is not limited by the steps in the data processing method provided by the embodiment of the present application.
  • Step S401 The process of saving the acquired data content to the collaborative replacement space, in real time, performing step S402: determining whether the storage space of the collaborative replacement space reaches a preset threshold, and if not, executing step S403; otherwise, executing step S404;
  • Step S403 directly save the acquired data content into the collaborative replacement space
  • Step S404 Read the data content directory list in the collaborative replacement space
  • the data content directory list in the collaborative replacement space records the frequency value of the data content stored in the collaborative replacement space participating in the cache node group cooperation process;
  • Step S405 Query the data content of the non-local client with the lowest frequency of access recorded in the directory list;
  • the data content of the collaborative replacement space is mainly for data cooperation in the group of participating cache nodes, the data content with the lowest frequency of access by the non-local client is first considered in the replacement process, and the non-local client access frequency is also the lowest.
  • Collaboration replaces the least frequently accessed data content in the space, whether it is the local client access frequency or the non-local client access frequency;
  • Step S406 Replace the data content with the lowest access frequency with the acquired data content.
  • the replaced data content in the collaborative replacement space in FIG. 5 is reprocessed.
  • the method includes:
  • Step S407 Read a data content directory list in the local replacement space of the cache node, and query a data content with the lowest local client access frequency recorded in the directory list;
  • the local replacement space of the cache node provided by the embodiment of the present application is also provided with a data content directory list for recording data content stored in the local replacement space, and recording each data content stored in the local replacement space by the local client.
  • Step S408 determining whether the access time of the data content with the lowest access frequency in the collaborative replacement space is later than the access update time of the data content with the lowest access frequency in the local replacement space, and the storage space of the local replacement space does not reach the preset threshold. If yes, go to step S409, otherwise, go to step S410;
  • Step S408 includes two determination conditions, one is whether the access time of the data content with the lowest access frequency replaced in the collaborative replacement space is later than the access update time of the data content with the lowest access frequency in the local replacement space, and the second is the local replacement space. Whether the storage space reaches a preset threshold;
  • the condition for performing step S409 in the embodiment of the present application is: the access time of the data content with the lowest access frequency replaced in the collaborative replacement space is later than the access update time of the data content with the lowest access frequency in the local replacement space and the storage of the local replacement space. The space has not reached the preset threshold;
  • the condition for performing step S410 in the embodiment of the present application is: the access time of the data content with the lowest access frequency replaced in the collaborative replacement space is later than the access update time of the data content with the lowest access frequency in the local replacement space and the storage of the local replacement space.
  • the space reaches a preset threshold;
  • step S409 and step S410 the replaced space is replaced.
  • the access time of the data content with the lowest access frequency must be later than the access update time of the data content with the lowest access frequency in the local replacement space.
  • Step S409 Add the data content with the lowest access frequency replaced in the collaborative replacement space to the local replacement space for storage;
  • Step S410 Replace the data content with the lowest access frequency in the local replacement space with the data content with the lowest access frequency replaced in the collaborative replacement space.
  • the data content in the collaborative replacement space when the data content in the collaborative replacement space is too high, the data content in the collaborative replacement space is frequently replaced; the content in the collaborative replacement space and the local replacement The content in the space alternates frequently; thus the workload of the cache node is too large, the load is too high, and the link utilization of the cache node is too large; this indicates that in the cache node group, a cache node participates in cooperation.
  • the proportion of the cache node is too large, and the other cache nodes may be in an idle state.
  • Step S501 Counting the frequency of accesses in the collaborative replacement space of the currently accessed cache node from high to high Full data content
  • the link utilization of a cache node is high, indicating that the workload of the cache node is too large, and the data content participating in the collaboration is too much.
  • the statistics accessed by the cache node replaces the data content with higher frequency of access in the space. That is, the data content that participates in the collaboration is more frequent; the data content with the higher frequency of access is within a range of a preset access frequency value, and it is assumed that the accessed frequency of the N data content exceeds the preset access frequency value. ;
  • Step S502 Send the content list of the N data contents to the cooperation controller;
  • Step S503 Receive a transfer instruction sent by the cooperation controller, where the transfer instruction includes a physicality of a target transfer cache node with low link utilization rate Address
  • the collaboration controller After receiving the directory list of the N data contents that need to be transferred, the collaboration controller queries the total record list to determine that the cached node with a low cooperation ratio is lower, that is, the cache node with lower link utilization is the target transfer cache node, and the target is Transmitting a physical address of the cache node to the accessed cache node; Step S504: transferring the N data contents to the link according to the physical address The rate of the target transfers the collaborative replacement space of the cache node.
  • each cache node after the transfer of the data content is completed, each cache node also updates the list of data content directories in the collaborative replacement space and sends the list of data content directories to the collaborative controller.
  • the method includes:
  • Step S601 Forward the client data request received by the access cache node to the target cache node.
  • Step S602 Receive data content corresponding to the data request saved in the collaborative replacement space returned by the target cache node.
  • the execution process is as shown in FIG. 9, and further includes:
  • Step S603 determining whether the storage space of the local replacement space reaches a preset threshold, if not, executing step S604; otherwise, executing step S605;
  • the storage space capacity of the local replacement space in the cache node is the same as the collaborative replacement space, and is limited;
  • Step S604 directly save the data content to the local replacement space
  • Step S605 Read the data content directory list in the local replacement space, and query the data content with the lowest local client access frequency recorded in the local replacement space;
  • the newly acquired data content needs to replace the previously stored data content; at this time, the data content with the lowest local client access frequency is replaced;
  • Step S606 Replace the data content with the lowest local access frequency of the local client with the data content obtained from the collaborative replacement space of the target cache node.
  • the data in the local replacement space is replaced.
  • the capacity is not directly deleted, but is reprocessed, as shown in FIG. 10, on the basis of FIG. 9, after step S606 is performed, the method includes:
  • Step S607 reading a data content directory list of the collaborative replacement space, and querying the data content of the non-local client with the lowest frequency of access recorded in the directory list;
  • Step S608 determining whether the data content in the local replacement space is not recorded in the data content directory list, and the storage space of the collaborative replacement space does not reach a preset threshold; if yes, executing step S609; otherwise, performing steps S610;
  • the execution condition of the foregoing step S609 is: the data content in the local replacement space is not recorded in the data content directory list in the collaborative replacement space, and the storage space of the collaborative replacement space does not reach a preset threshold;
  • the execution condition of the foregoing step S610 is: the storage space of the replaced data content or the collaborative replacement space in the local replacement space in the data content directory list in the collaborative replacement space reaches a preset threshold;
  • Step S609 Add the content with the lowest access frequency in the local replacement space to the collaborative replacement space for saving
  • Step S610 Replace the data content with the lowest access frequency of the non-local client in the collaborative replacement space with the data content with the lowest access frequency of the replaced local client in the local replacement space, and replace the replaced cooperation space with the non-local The data content with the lowest frequency of local client access is deleted.
  • the process of replacing the data content in the local replacement space needs to be described.
  • the data content obtained from the target cache node is added to the local replacement space.
  • the local replacement space reaches a preset threshold, the data stored in the local replacement space needs to be replaced.
  • the content is replaced; in addition, when the replaced data content in the collaborative replacement space can be added to the local replacement space, and the local replacement space reaches a preset threshold, the data content stored in the local replacement space is also replaced.
  • the local replacement space or the collaborative replacement space of the cache node when new content needs to join the local replacement space or the collaborative replacement space, and the storage capacity of the local replacement space or the collaborative replacement space is reached.
  • the threshold is preset
  • the replacement process of the data content is performed accordingly; for example, in the collaborative replacement space, when the data content is acquired from the content source server, if the storage capacity of the collaborative replacement space reaches a preset threshold, the replacement is performed; When other cache nodes are overloaded, the data content is transferred to the collaborative replacement space of the cache node. If the storage capacity of the collaborative replacement space of the cache node reaches a preset threshold, a corresponding replacement process is also performed.
  • the data processing method provided by the embodiment of the present application is used for collaborating the replacement space in the cache node and the data content stored in the local replacement space.
  • the data content stored in the collaborative replacement space is mainly used for data cooperation in the cache node group, and local replacement
  • the data content stored in the space is used for the access of the local client.
  • the replaced data content can be added to the local replacement space accordingly.
  • the data content of the local replacement space changes, it can also be added to the collaborative replacement space, and the interaction between the space and the local replacement space through the collaborative replacement space enables a single cache node to be better in the process of local access and participation in collaboration. Meet the optimization needs of the cache node itself.
  • each cache node participates in the cooperation under the control of the cooperation controller, so that the overall cooperation is more perfect.
  • the application further provides a cache node corresponding thereto, and the application environment of the cache node is provided in the embodiment of the present application.
  • a local single cache node can interact with multiple local clients, and the cache node can perform data interaction with the content source server, the collaboration controller, and other cache nodes in the cache node group.
  • FIG. 12 is a schematic structural diagram of a cache node provided, including: a control module 701, a local replacement space 702, and a cooperative replacement space 703;
  • the local replacement space 702 is used to save the data accessed by the local client;
  • the collaborative replacement space 703 is used to save the data content accessed by the non-local client;
  • the control module 701 is configured to receive the data request sent by the client, and Searching for the data content corresponding to the data request in the local replacement space; when the data content is not found in the local replacement space, querying the data content set in the data content directory list and its corresponding cache Corresponding relationship between the nodes, the cache node including the data content in the other cache nodes in the cache node group is used as the target cache node according to the correspondence relationship; and the collaborative replacement from the target cache node
  • the control module 701 is further configured to receive the control command sent from the cooperation controller, and adjust the proportion of the local replacement space and the cooperative replacement space of the cache node. To describe the cache node provided by the embodiment of the present application, the control module 701 is further described. The structure is refined, and its internal structure is shown in Figure 13, including: Receiving unit 801, searching unit 802, query unit 803, determining unit 804, and acquiring unit
  • the receiving unit 801 is configured to receive a data request sent by the client.
  • the searching unit 802 is configured to search, in the local replacement space 702, the data content corresponding to the data request according to the data request received by the receiving unit 801;
  • the query unit 803 is configured to: when the searching unit 802 does not find the data content in the local replacement space 702, query a correspondence between the data content set in the data content directory list and its corresponding cache node;
  • a determining unit 804 configured to: when the query unit 803 queries the correspondence between the data content and its corresponding cache node, include the data content in other cache nodes in the cache node group according to the correspondence relationship The cache node is determined to be the target cache node;
  • the first forwarding unit 806 is When the query unit 803 does not query the correspondence between the data content and its corresponding cache node, forward the data request received by the receiving unit 801 to the content source server, and control the obtaining unit 805 from the The content source server acquires data content corresponding to the data request; and saves the acquired data content to a collaborative replacement space of the cache node.
  • the cache node provided in this embodiment is further provided with a second forwarding unit 807, as shown in FIG. 15;
  • the second forwarding unit 807 is configured to forward the data request received by the receiving unit 801 to the target cache node determined by the determining unit 804 when the query unit 803 queries the corresponding relationship between the data content and its corresponding cache node. And controlling the obtaining unit 805 to acquire the data content corresponding to the data request from the collaborative replacement space of the target cache node; and the acquired data content Save to the local replacement space of the cache node.
  • the cache node provided by the embodiment of the present application updates the data directory in the collaborative replacement space or the local replacement space when the data content of the collaborative replacement space or the local replacement space is changed. Therefore, the cache node provided in the embodiment of the present application is in the cache node.
  • a directory update unit is also provided, as shown in FIG.
  • the directory update unit 808 is configured to use the directory list of the data content saved in the local replacement space or the collaborative replacement space when the storage content in the local replacement space or the collaborative replacement space changes. The update is made and the catalog list of the updated collaborative replacement space is sent to the collaboration controller.
  • the cache node provided by the embodiment of the present application is further provided with a statistics unit 809. As shown in FIG. 17, the statistics unit 809 is used for a local replacement space or a collaborative replacement space. The data content stored in the data is counted by the frequency of access.
  • the storage capacity of the local replacement space and the collaborative replacement space is limited.
  • the local replacement space or the collaborative replacement space exceeds a preset threshold
  • the local replacement space or The content of the data stored in the space is replaced by the local replacement unit 811 and the cooperation replacement unit 810.
  • the collaboration replacement unit 810 is used for the non-local client. Ending the access process of the collaborative replacement space, in the process of the obtaining unit 805 saving the acquired data content to the collaborative replacement space, when the storage space of the collaborative replacement space reaches a preset threshold, Replace the data content in the space for replacement.
  • the local replacement unit 811 is configured to manage the access process of the local replacement space by the local client, and save the storage space of the local replacement space in the process of saving the acquired data content to the local replacement space.
  • the cache node provided by the embodiment of the present application is further provided with a replacement processing unit 812.
  • the replacement processing unit 812 is configured to replace the replaced data in the local replacement space or the collaborative replacement space.
  • the specific processing refer to the process of processing the replaced data content in the data processing method embodiment of the present application.
  • the cache node provided by the embodiment of the present application when the cache node is accessed too many times, participates in collaboration
  • the cache node provided by the embodiment of the present application is further provided with a transfer unit 813 as shown in FIG. 20; the transfer content 813 is used as a cache node when the data content of the cache node exceeds a preset threshold.
  • the link utilization is greater than the preset link utilization, the data content stored in the cache replacement space is transferred.
  • the data processing method and the corresponding cache node are applied to the cache node group.
  • the embodiment of the present application further provides a data processing method for each cache node in the cache node group and the cache node group.
  • the method is applied to the collaborative controller, and the processing flowchart thereof is as shown in FIG. 21, and the method includes the following steps: Step S910: Obtain a link utilization rate of a topology link where each cache node in the cache node group is located;
  • Step S911 Adjust the proportion of each cache node participating in the collaboration in the cache node group according to the link utilization.
  • the foregoing processing method provided by the embodiment of the present application collects the link utilization of the network topology, and sends different control command information of the participation degree to each cache node according to the difference of the link utilization, so as to make the entire cache node group. Where the network is.
  • the process of obtaining the link utilization rate of each cache node in the cache node group may be multiple, and the collaboration controller may actively collect the links of each cache node in the cache node group.
  • the utilization rate of the cache nodes can also be reported by the cache nodes in the cache node group.
  • the third-party collection device can also be used to collect the link utilization of each cache node by the third-party collection device.
  • the collected link utilization is sent to the collaboration controller.
  • the process of adjusting the cooperation ratio of each cache node participating in the cache node group is as shown in FIG. 22, and the method includes the following steps: Step S1001: Calculating the cache node group The average link utilization of each cache node and the absolute difference between the current link utilization of each cache node and the average link utilization;
  • the absolute difference is a difference between the current link utilization and the average link utilization, that is, a difference between the current link utilization being higher than the average link utilization or lower than the average link utilization;
  • Step S1002 Determine, according to a preset basic adjustment granularity of participating in the collaboration, an adjustment information for the absolute difference value; and set a basic adjustment granularity for the adjustment scale to participate in the cooperation, where the basic adjustment granularity is a minimum adjustment
  • the adjustment information is separately sent to the cache node corresponding thereto, and the cache node is controlled to adjust the proportion of participation in the cooperation according to the adjustment information.
  • the average link utilization of each cache node is calculated.
  • the link utilization of a cache node exceeds a certain threshold of the average link utilization
  • the cache bound to the link is The node needs to reduce the proportion of participation in the collaboration. For example, if the ratio is 5% as the basic adjustment granularity, and the link utilization exceeds the average link utilization rate by N times the basic adjustment granularity, the granularity is adjusted to N*5%;
  • the link utilization is lower than the threshold of the average link utilization, the cache node bound to the link needs to increase the proportion of participation in the collaboration.
  • the ratio is 5% as the basic adjustment granularity, and the link utilization is low.
  • the data processing method provided by the embodiment of the present application is to adjust the proportion of the cache node participating in the collaboration.
  • the data processing method provided by the embodiment of the present application is to transfer the data content of the cached node in the space of the cached replacement space.
  • the adjustment information for the absolute difference value included in the adjustment information includes adjustment direction information, where the adjustment direction information includes a transfer instruction for controlling transfer of data content in the cache node cooperative replacement space and a physical address of the target transfer cache node And controlling, according to the transfer instruction, the process of transferring the data content in the cache node to replace the space in the space as shown in FIG.
  • Step S1101 sending a data content directory list to the cache node, the data content directory list Included in the cache node, the data content in the collaborative replacement space that is accessed by the access frequency is higher than the preset access frequency;
  • Step S1102 Instruct the cache node to transfer the data content of the cache node cooperative replacement space whose access frequency is higher than the preset access frequency to the target transfer cache node according to the physical address.
  • the cache node After receiving the branch instruction, the cache node transfers the data content to be transferred to the target transfer cache node according to the transfer instruction, and then the cache node updates the data content cache list in the collaborative replacement space, and caches the updated data content cache list.
  • the data processing method provided by the embodiment of the present application further includes: receiving a data content directory list uploaded by each cache node, where the data content directory list is included
  • Frequency information statistical summary of the data content directory list uploaded by each cache node and sending the summarized data content directory list to each cache node.
  • the data processing method provided by the embodiment of the present application updates the data content directory list in real time. In any processing stage, when the data content in the collaborative replacement space of any cache node changes, the data content data is updated. List, and distribute the updated data content directory listing to each cache node in the cache node group.
  • the adjustment information for the absolute difference value determined in the data processing method provided by the embodiment of the present application further includes adjustment ratio information; the adjustment ratio information includes controlling a proportion of the cache node cooperative replacement space and the local replacement space.
  • Step S1103 cooperatively replace the space in the data according to the adjustment instruction The vacant space after the transfer is re-allocated, and the proportion of the local replacement space and the cooperative replacement space occupied by the cache node is adjusted.
  • FIG. 25 The above is an embodiment of the data processing method applied to the collaboration controller.
  • the embodiment of the present application provides a collaboration controller.
  • the schematic diagram of the structure is as shown in FIG. 25, and includes:
  • the obtaining module 1201 is configured to obtain a link utilization rate of a topology link where each cache node in the cache node group is located;
  • the adjusting module 1202 is configured to adjust, according to the link utilization acquired by the acquiring module, a proportion of each cache node participating in collaboration in the cache node group.
  • the collaboration controller provided by the embodiment of the present invention is responsible for coordinating cache of data content, collecting various information for collaborative control, receiving various collaboration request information sent by the cache node, and processing, and sending various cooperation commands to the cache node.
  • the detailed structure diagram of the adjustment module 1202 of the collaboration controller provided by the embodiment of the present application, as shown in FIG. 26, includes:
  • the calculating unit 1203 is configured to calculate an average link utilization rate of each cache node in the cache node group and an absolute difference between a current link utilization rate of each cache node and the average link utilization rate;
  • the determining unit 1204 is configured to determine, according to a preset basic adjustment granularity of participating in the cooperation, adjustment information of the absolute difference calculated by the calculating unit 1203;
  • the ratio adjusting unit 1205 is configured to separately send the adjustment information determined by the determining unit 1204 to a cache node corresponding thereto, and control the cache node to adjust the proportion of participating in the cooperation according to the adjustment information.
  • the ratio adjustment unit in the adjustment module 1202 1205 includes as shown in FIG. 28:
  • the transfer subunit 1206 is configured to control, according to the adjustment information determined by the determining unit 1204, the data content in the cache node cooperative replacement space to be transferred.
  • the content directory update subunit 1207 is configured to perform statistical summarization on the data content directory list uploaded by each cache node, and send the summarized data content directory list to each cache node.
  • the allocation subunit 1208 is configured to re-allocate the cache space of the cache node collaborative replacement space after the data content transfer according to the adjustment information determined by the determining unit 1204, and replace the local replacement space and the collaborative replacement space of the cache node. The proportion is adjusted.
  • the embodiment of the present application further provides a data processing system, and a schematic structural diagram thereof is shown in FIG. 29 . Show, including:
  • a cache node group 1301 and a collaboration controller 1302 composed of cache nodes
  • the cache node in the cache node group 1301 includes: a control module, a local replacement space, and a collaborative replacement space;
  • the local replacement space is used to save data accessed by a local client
  • the cooperation replacement space is configured to save data content accessed by a non-local client; the control module is configured to receive a data request sent by the client, and search for the data request corresponding to the data request in the local replacement space.
  • Data content when the data content is not found in the local replacement space, querying a correspondence between the data content set in the data content directory list and its corresponding cache node, and the cache node group according to the corresponding relationship a cache node containing the data content among other cache nodes in the group as a target cache node; cooperative replacement from the target cache node
  • the cooperation controller includes: an obtaining module, configured to acquire a link utilization rate of a topology link where each cache node in the cache node group is located;
  • an adjusting module configured to adjust, according to the link utilization acquired by the acquiring module, a proportion of each cache node participating in collaboration in the cache node group.
  • the data processing method, the cache node, the collaboration controller, and the system provided by the embodiments of the present application are applicable to the distributed environment, and the storage space of the cache node is divided into two parts: a local replacement space and a collaborative replacement space;
  • the node receives the control information sent by the cooperation controller, and adjusts the storage space managed by the local replacement unit and the storage space managed by the cooperation replacement unit according to the control information.
  • the received control information includes the adjustment direction and the adjustment ratio value.
  • the content is saved in the collaboration replacement unit, and the content of the collaborative replacement space is replaced according to the non-local user access situation; when the received new content comes from the collaboration area, The content is saved in the local replacement space, and the content of the local replacement space is replaced according to the local user access.
  • the local cache node sends the content list of the collaborative replacement space to the collaboration controller and receives a list of content of the collaborative replacement space of the other local cache devices from the collaboration controller.
  • the load of the local cache node is above a certain threshold, the most popular one or more content is selected from the collaborative replacement space to be transferred to the collaborative replacement space of other less loaded local cache devices.
  • the replacement algorithm considers the local replacement optimization on the basis of the global replacement optimization, and has the function of preferentially serving the local user;
  • the collaboration controller only maintains the content information of the collaboration space, and does not maintain the content information in the local replacement space. Interest, thus greatly reducing the overhead of maintaining the number of copies of the content;
  • a heavily loaded node actively transfers the hot content in its collaborative space to a node with a low load, which can be adjusted to achieve load balancing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Description

数据处理方法、 緩存节点、 协作控制器及系统
技术领域 本申请涉及网络通信领域， 特别是涉及一种数据处理方法、緩存节点、 协 作控制器及系统。 背景技术 随着宽带接入的普及以及基于流媒体的宽带应用的迅速发展， CDN被发 现是一种能够有效緩解流媒体传输的高吞吐率对骨干网络带来的压力，同时提 升流媒体服务质量的有效手段。 因此， 近年来， CDN得到越来越多的重视， 并在国内外得到广泛的部署，而流媒体内容也取代 Web内容成为 CDN的主要 承载对象。
CDN 的核心思想是将数据内容从中心网络推到边缘靠近用户的地方， 这 样， 不但有效提高了用户访问内容的性能， 而且有效减轻了中心设备和骨干网 络的压力， 通过 CDN可以将内容从原来的单一中心结构变为分布式的结构。 单个 CDN服务器相当于一个緩存节点， 其緩存和服务能力有限， 因此需 要建立一个由多个 CDN服务器组成的緩存节点群组通过协同緩存的方式进行 协同工作， 充分利用各个 CDN服务器彼此的緩存空间提高命中率、 分散热点 数据、 均衡各服务器负载， 避免单点出错和解决瓶颈问题。 现有的 CDN緩存节点， 其内部的单一存储空间即存储用于本地访问的本 只考虑协作的全局目标， 参与协作的 CDN緩存节点完全对等， 忽略了緩存的 本地优化的不同需求。 发明内容
为解决上述技术问题， 本申请实施例提供一种数据处理方法、 緩存节点、 协作控制器及系统， 综合协作的全局及单个緩存节点，有效的对参与的协作的 数据进行处理。 技术方案如下：
一种数据处理方法，基于数据緩存的緩存节点群组， 所述群组中任一緩存 节点包括：用于对本地客户端访问的数据进行保存的本地替换空间及用于对非 本地客户端访问的数据内容进行保存的协作替换空间；
所述方法包括：
接收客户端数据请求的被访问緩存节点对与所述数据请求相对应的数据 内容进行查找；
当在所述被访问緩存节点的本地替换空间中未查找到所述数据内容时，查 询预设数据内容目录列表；所述数据内容目录列表中设置有数据内容与其对应 緩存节点的对应关系；
依据所述对应关系将所述緩存节点群组中的其它緩存节点中包含所述数 据内容的緩存节点作为目标緩存节点；
从所述目标緩存节点的协作替换空间中获取所述数据内容并将所述数据 内容保存至所述被访问緩存节点的本地替换空间。
一种緩存节点， 应用于数据緩存的緩存节点群组中， 包括： 控制模块、 本 地替换空间和协作替换空间；
其巾：
所述本地替换空间用于对本地客户端访问的数据进行保存；
所述协作替换空间用于对非本地客户端访问的数据内容进行保存； 所述控制模块用于接收客户端发送的数据请求，并在所述本地替换空间中 查找与所述数据请求相对应的数据内容；当在所述本地替换空间中未查找到所 述数据内容时，查询数据内容目录列表中设置的数据内容与其对应緩存节点的 对应关系，依据所述对应关系将所述緩存节点群组中的其它緩存节点中包含所 述数据内容的緩存节点作为目标緩存节点；从所述目标緩存节点的协作替换空
一种数据处理方法，基于数据緩存的緩存节点群组， 所述群组中任一緩存 节点包括：用于对本地客户端访问的数据进行保存的本地替换空间及用于对非 本地客户端访问的数据内容进行保存的协作替换空间； 所述方法包括： 获取緩存节点群组中各个緩存节点所在拓朴链路的链路利用率； 依据所述链路利用率对各个緩存节点在所述緩存节点群组中参与协作的 比例进行调整。 一种协作控制器， 包括： 获取模块，用于获取緩存节点群组中各个緩存节点所在拓朴链路的链路利 用率； 调整模块，用于依据所述获取模块获取的链路利用率对各个緩存节点在所 述緩存节点群组中参与协作的比例进行调整。 一种数据处理系统， 包括： 由緩存节点组成的緩存节点群组及一种协作控 制器。
由以上本申请实施例提供的技术方案可见，本发明提供的一种数据处理方 法及执行所述方法的緩存节点、协作控制器及数据处理系统，基于数据緩存的 緩存节点群组， 所述群组中的任意緩存节点包括： 用于对本地客户端访问的数 据进行保存的本地替换空间及用于对非本地客户端访问的数据内容进行保存 的协作替换空间，以上两种存储空间分别存储本地及非本地不同客户端所要访 问的数据内容，使緩存节点的内部存储空间细分化，客户端在访问緩存节点的 过程中对数据的获取更加准确直接， 满足了緩存节点本地优化的不同需求。 各个緩存节点的构造一致 ,当某一客户端访问本地緩存节点未能查找到所 需的数据内容时， 可通过数据协作访问其它客户端的緩存节点获取所需数据， 在保证了緩存节点群组中全局数据緩存的基础上，对单个緩存节点的数据获取 进行了优化。 同时， 当所述緩存节点的存储空间到达某一阈值，如存储空间已满等情况 时，对于緩存节点获取的将要存储到本地替换空间或协作替换空间中的内容执 行替换操作，将本地替换空间或协作替换空间中被访问频率最低的数据内容替 换为获取的数据内容，保证了客户端对所需数据内容进行获取的顺畅性与及时 性。 另外， 为了保证数据内容的可重复使用及节约链路资源， 还包括将从緩存 节点的某一替换空间替换出的数据内容在满足某一条件的基础上加入到另一 替换空间的过程， 是各个緩存节点的空间利用率在最大程度上得到利用。 在上述方法的执行过程中，当某一緩存节点所在链路的链路利用率偏高超 过某一预设阈值时，将该緩存节点协作替换空间中参与协作的被访问频率较高 的一些数据内容进行转移，从而降低本緩存节点的链路利用率， 平衡緩存节点 群组中的整体链路利用率， 使数据的协作过程平衡稳定。 在緩存节点及数据处理处理方法的基 上，本申请实施例还提供了一种协 作控制器 ,用于对緩存节点群组中的各个緩存节点参与协作的过程进行监测控 制，统计各个緩存节点中参与协作的数据内容并将数据内容列表分发到緩存节 点群组中的各个緩存节点，调整各个緩存节点的协作比例，使数据緩存过程更 加优化。 附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地， 下面描述中的附图仅 仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创 造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1为本申请实施例提供的一种数据处理方法的方法流程图； 图 2为本申请实施例提供的数据处理方法中确定目标緩存节点的方法 流程图；
图 3为本申请实施例提供的数据处理方法的一详细流程图；
图 4为本申请实施例提供的数据处理方法的另一详细流程图； 图 5为本申请实施例提供的数据处理方法中将获取的数据内容保存至 协作替换空间的处理流程图；
图 6为本申请实施例提供的数据处理方法中将获取的数据内容保存至 协作替换空间的一详细处理流程图；
图 7为本申请实施例提供的数据处理过程中对协作替换空间中数据内 容进行转移的方法流程图；
图 8为本申请实施例提供的数据处理过程中从目标緩存节点获取数据 内容的方法流程图；
图 9为本申请实施例提供的将获取的数据内容保存至本地替换空间的 处理流程图；
图 10 为本申请实施例提供的将获取的数据内容保存至本地替换空间 的一详细处理流程图；
图 11为本申请实施例提供的緩存节点的应用环境示意图；
图 12为本申请实施例提供的緩存节点的结构示意图；
图 13为本申请实施例提供的緩存节点中控制模块的第一结构示意图； 图 14为本申请实施例提供的緩存节点中控制模块的第二结构示意图； 图 15为本申请实施例提供的緩存节点中控制模块的第三结构示意图； 图 16为本申请实施例提供的緩存节点中控制模块的第四结构示意图； 图 17为本申请实施例提供的緩存节点中控制模块的第五结构示意图； 图 18为本申请实施例提供的緩存节点中控制模块的第六结构示意图； 图 19为本申请实施例提供的緩存节点中控制模块的第七结构示意图； 图 20为本申请实施例提供的緩存节点中控制模块的第八结构示意图； 图 21为本申请实施例提供的应用在协作控制器端的数据处理方法； 图 22 为本申请实施例提供的数据处理方法中对緩存节点的协作比例 进行调整的方法流程图；
图 23 为本申请实施例提供的控制緩存节点协作替换空间中的数据内 容进行转移的方法流程图； 图 24 为本申请实施例提供的控制緩存节点协作替换空间中的数据内 容进行转移的一详细流程图；
图 25为本申请实施例提供的协作控制器的第一结构示意图； 图 26为本申请实施例提供的协作控制器的第二结构示意图； 图 27为本申请实施例提供的协作控制器的第三结构示意图； 图 28为本申请实施例提供的协作控制器的第四结构示意图； 图 29为本申请实施例提供的数据处理系统的结构示意图。
为了图示的简单和清楚， 以上附图示出了结构的普通形式， 并且为了避免 不必要的模糊本发明， 可以省略已知特征和技术的描述和细节。 另外， 附图中 的单元不必要按照比例绘制。 例如， 可以相对于其他单元放大图中的一些单元 的尺寸，从而帮助更好的理解本发明的实施例。 不同附图中的相同标号表示相 同的单元。
说明书和权利要求书及上述附图中的术语 "第一，，、 "第二，，、 "第三，， "第四，， 等（如果存在）是用于区别类似的单元， 而不必用于描述特定的顺序或先后次 序。应该理解这样使用的数据在适当情况下可以互换， 以便这里描述的本发明 的实施例例如能够以除了在这里图示的或否则描述的那些以外的顺序实施。此 夕卜， 术语"包括，，和"具有，，以及他们的任何变形， 意图在于覆盖不排他的包含， 以便包含一系列单元的过程、 方法、 系统、 产品或设备不必限于那些单元， 而 是可以包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它 单元。 具体实施方式
为了使本技术领域的人员更好地理解本申请方案。下面将结合本申请实施 例中的附图， 对本申请实施例中的技术方案进行清楚、 完整地描述， 显然， 所 描述的实施例仅仅是本申请一部分实施例， 而不是全部的实施例。基于本申请 中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有 其他实施例， 都应当属于本申请保护的范围。 本申请实施例提供的一种数据处理方法的方法流程图如图 1所示，该方法 基于数据緩存的緩存节点群组， 所述群组中任一緩存节点包括： 用于对本地客 户端访问的数据进行保存的本地替换空间及用于对非本地客户端访问的数据 内容进行保存的协作替换空间；其中协作替换空间中的数据内容参与所述緩存 节点群组中的全局协作。 所述方法包括： 步骤 S101 : 接收客户端数据请求的被访问緩存节点对与所述数据请求相 对应的数据内容进行查找； 緩存节点群组中的每个緩存节点都有与其相对应的客户端，客户端发送数 据请求到其对应的緩存节点获取需求的数据内容； 步骤 S102: 当在所述被访问緩存节点的本地替换空间中未查找到所述数 据内容时， 查询预设数据内容目录列表； 所述数据内容目录列表中设置有数据 内容与其对应緩存节点的对应关系； 緩存节点的本地替换空间中存储有本地客户端访问的数据内容，被访问的 緩存节点接收到緩存节点发送的数据请求后，在其本地替换空间中查找与所述 客户端发送的数据请求相对应的数据内容，当在被访问緩存节点的本地替换空 间中未查找到所述数据内容时，表明被访问緩存节点的本地替换空间中未保存 有本地客户端需求的数据内容； 此时执行緩存节点群组中的数据协作过程， 查 询预设数据内容目录列表，所述数据内容目录列表中设置有数据内容与其对应 緩存节点的对应关系； 步骤 S103: 依据所述对应关系将所述緩存节点群组中的其它緩存节点中 包含所述数据内容的緩存节点作为目标緩存节点；
依据数据内容目录列表中设置的对应关系，查询与本地客户端发送数据请 求相对应的数据内容所存储的緩存节点的物理位置，将查询得到的緩存节点作 为目标緩存节点； 步骤 S104: 从所述目标緩存节点的协作替换空间中获取所述数据内容并 将所述数据内容保存至所述被访问緩存节点的本地替换空间； 从所述确定的目标緩存节点的协作替换空间中获取所述客户端需求的数 据内容并将所述获取的数据内容保存至本地被访问緩存节点的本地替换空间 中。
对于上述方法中步骤 S103及步骤 S 104的执行过程中， 当依据所述对应 关系查询得出，在本地被访问的緩存节点的协作替换空间中存储有与所述客户 端发送数据请求相对应的数据内容时，则本地被访问的緩存节点即为目标緩存 节点，直接将本地被访问緩存节点协作替换空间中存储的与所述数据请求相对 应的数据内容发送至本地客户端 ,并将所述数据内容从所述协作替换空间加入 到本地替换空间。 对于步骤 S103中从緩存节点群组中的其它緩存节点中确定 目标緩存节点的过程是在被访问緩存节点中不存在与所述客户端发送数据请 求相对应的数据内容的情况下执行的。 上述数据处理方法执行过程中，所查询的数据内容目录列表中记录有緩存 节点群组中各个緩存节点中参与协作的数据内容及所述数据内容在某一时间 区域内被访问的频率等，数据緩存节点群组中的任一緩存节点中都实时预设有 数据内容目录列表， 该目录列表可有处理设备实时预设， 本申请实施例提供的 数据处理方法中各个緩存节点中的数据内容目录列表优选的由写作控制器进 行预设，并且协作控制器在所述数据处理方法的执行过程中与各个緩存节点之 间实时进行交互， 为各个緩存节点群组中的数据内容目录列表进行更新。 本申请实施例提供的数据处理方法中，所述数据内容目录列表的存在方式 有多种，如上述可为协作控制器实时将更新的数据内容目录列表预设在各个緩 存节点内部；也可为协作控制器将更新的数据内容目录列表预设在协作控制器 内部， 当各个緩存节点需要查询所述数据内容目录列表时， 向所述协作控制器 请求查询； 还可以由协作控制器将所述数据内容目录列表预设在第三方设备 中， 当各个緩存节点需要查询所述数据内容目录列表时， 向所述第三方设备请 求查询。 通过预设数据内容目录列表，当在被访问緩存节点的本地替换空间中未找 到与所述客户端发送数据请求相对应的数据内容时 ,确定所述数据内容所在其 它緩存节点的过程如本申请实施例提供的图 2所示， 包括：
步骤 S201 : 查询预设数据内容目录列表中设置的数据内容与其对应緩存 节点的对应关系； 步骤 S202: 当查找到与所述客户端所请求数据内容相对应的緩存节点时， 将所述緩存节点作为目标緩存节点。
在图 2执行的基础上，本申请实施例提供的数据处理方法的一详细流程图 如图 3所示， 包括：
步骤 S301 : 接收客户端数据请求的被访问节点对与所述数据请求相对应 的数据内容进行查找；
步骤 S302: 判断在所述被访问緩存节点的本地替换空间中是否查找到所 述数据内容， 当未查找到所述数据内容时， 执行步骤 S303 , 否则， 执行步骤 S310;
步骤 S303 : 查询预设数据内容目录列表， 所述数据内容目录列表中设置 有数据内容与其对应緩存节点的对应关系；
步骤 S304: 判断是否在所述数据内容目录列表中查询到所述数据内容与 其对应緩存节点的对应关系， 如果是， 执行步骤 S305 , 否则， 执行步骤 S307; 步骤 S305: 依据所述对应关系将緩存节点群组中的其它緩存节点中包含 所述数据内容的緩存节点作为目标緩存节点；
步骤 S306: 从所述目标緩存节点的协作替换空间中获取所述数据内容并 将所述数据内容保存至所述被访问緩存节点的本地替换空间；
步骤 S307: 将接收的本地客户端发送的数据请求转发至远程的内容源服 务器；
所述内容源服务器为各个客户端所需内容的起始位置，包含所有客户端需 求的数据内容；
步骤 S308: 从所述内容源服务器获取与所述数据请求相对应的数据内容； 步骤 S309: 将所述获取的数据内容保存至所述被访问緩存节点的协作替 换空间中；
由于在数据内容目录列表中未查找到所述对应关系，即所述緩存节点群组 中所有緩存节点的协作替换空间中均未保存与所述本地客户端发送数据请求 相对应的数据内容，所以将从所述内容源服务器获取的数据内容加入到被访问 緩存节点的协作替换空间中参与全局数据协作，以便有其它緩存节点需要所述 数据内容时， 能够及时对所述数据内容进行获取；
步骤 S310: 将所述查找到数据内容返回至所述本地客户端。 对与图 3所示的数据处理方法，在将从所述内容源服务器获取的数据内容 加入到被访问緩存节点的协作替换空间后，还包括对数据内容目录列表的更新 过程， 如本申请实施例提供的图 4所示， 包括：
步骤 S311 : 对所述协作替换空间保存的数据内容的目录列表进行更新， 并将更新的目录列表发送至协作控制器。
将获取的数据内容加入到被访问緩存节点的协作替换空间中，则被访问緩 存节点的协作替换空间中有新的数据内容参与数据的全局协作，所以需要更新 数据内容目录列表，此时的数据内容目录列表为协作替换空间中的数据内容目 录列表。由于协作控制器是对緩存节点群组中各个緩存节点中协作替换空间中 参与协作的数据内容进行管理控制的， 所以， 本申请实施例提供的协作控制器 主要对各个緩存节点协作替换空间中的数据内容目录列表进行更新。
需要特别强调的是： 本申请实施例提供的数据处理方法执行过程中，緩存 节点群组中的任一緩存节点的协作替换空间中的数据内容发生变化时，无论是 增加了新的内容还是删除了已有的内容，緩存节点均对协作替换空间中的数据 内容目录列表进行更新， 并将更新的数据内容目录列表发送至协作控制器， 由 协作控制器对数据緩存节点群组中所有緩存节点协作替换空间中的上数据内 容目录列表进行更新。所述更新不受本申请实施例提供的数据处理方法中的步 骤限制。
本申请实施例提供的数据处理方法处理过程中，将从内容源服务器获取的 数据内容保存至被访问緩存节点的协作替换空间的过程中，由于緩存节点的协 作替换空间的存储能力是有限的 ,当协作替换空间的存储能力达到某一预设阈 值时，如协作替换空间的存储空间已满， 则需要对协作替换空间中的数据内容 进行替换， 其执行过程如本申请实施例提供的图 5所示， 具体为：
步骤 S401 : 将获取的数据内容保存至协作替换空间的过程中， 实时执行 步骤 S402: 判断协作替换空间的存储空间是否达到预设阈值， 如果否， 执行 步骤 S403 , 否则， 执行步骤 S404;
步骤 S403 : 直接将所述获取的数据内容保存至协作替换空间中； 步骤 S404: 读取协作替换空间中的数据内容目录列表；
协作替换空间中的数据内容目录列表中记录有协作替换空间中存储的数 据内容参与緩存节点群组协作过程被访问的频率值； 步骤 S405: 查询所述目录列表中记录的非本地客户端访问频率最低的数 据内容；
由于协作替换空间的数据内容主要为参与緩存节点群组中的数据协作，所 以在替换过程中首先考虑非本地客户端访问频率最低的数据内容，所述的非本 地客户端访问频率最低也可为协作替换空间中访问频率最低的数据内容无论 是本地客户端访问频率还是非本地客户端的访问频率；
步骤 S406: 将所述访问频率最低的数据内容替换为所述获取的数据内容。 本申请实施例为了不使数据资源浪费并节约链路利用率，将图 5中协作替 换空间中被替换的数据内容进行重新处理， 如图 6所示， 在图 5中步骤 S406 之后包括：
步骤 S407: 读取緩存节点本地替换空间中的数据内容目录列表， 查询所 述目录列表中记录的本地客户端访问频率最低的数据内容；
本申请实施例提供的緩存节点的本地替换空间中同样设置有数据内容目 录列表， 用于对本地替换空间中存储的数据内容进行记录， 同时记录有本地替 换空间中存储的各个数据内容被本地客户端访问的频率及各个数据内容的更 新时间；
步骤 S408: 判断协作替换空间中被替换的访问频率最低的数据内容的访 问时间是否晚于本地替换空间中访问频率最低的数据内容的访问更新时间且 本地替换空间的存储空间未达到预设阈值， 如果是， 执行步骤 S409, 否则， 执行步骤 S410;
步骤 S408执行包含两个判断条件， 一是协作替换空间中被替换的访问频 率最低的数据内容的访问时间是否晚于本地替换空间中访问频率最低的数据 内容的访问更新时间， 二是本地替换空间的存储空间是否达到预设阈值；
本申请实施例中执行步骤 S409的条件为： 协作替换空间中被替换的访问 频率最低的数据内容的访问时间晚于本地替换空间中访问频率最低的数据内 容的访问更新时间且本地替换空间的存储空间未达到预设阈值；
本申请实施例中执行步骤 S410的条件为： 协作替换空间中被替换的访问 频率最低的数据内容的访问时间晚于本地替换空间中访问频率最低的数据内 容的访问更新时间且本地替换空间的存储空间达到预设阈值；
由此可知步骤 S409及步骤 S410的执行过程中，协作替换空间中被替换的 访问频率最低的数据内容的访问时间必须晚于本地替换空间中访问频率最低 的数据内容的访问更新时间， 当不满足该条件时，将协作替换空间中替换出的 数据内容进行删除；
步骤 S409: 将所述协作替换空间中被替换出的访问频率最低的数据内容 加入本地替换空间中进行保存；
步骤 S410: 将所述本地替换空间中访问频率最低的数据内容替换为所述 协作替换空间中被替换的访问频率最低的数据内容。
上述本申请实施例提供的数据处理方法执行过程中，当协作替换空间中的 数据内容被访问频率过高时会使协作替换空间中的数据内容的替换频繁；协作 替换空间中的内容与本地替换空间中的内容交替频繁；从而导致该緩存节点的 工作负担过大， 负载过高， 所述緩存节点所在的链路利用率过大； 这表明在緩 存节点群组中， 某一緩存节点参与协作的比例过大， 其它緩存节点可能出于空 闲状态， 为了使整个緩存节点群组中各个緩存节点的协作比例均衡， 本申请实 施例提供的数据处理方法中，当某一緩存节点所在链路的利用率超过预设链路 利用率时， 将所述緩存节点中参与协作的数据内容进行转移， 如图 7所示： 步骤 S501 : 统计当前被访问緩存节点协作替换空间中被访问频率从高到 的全部数据内容；
某一緩存节点所在的链路利用率高，表明该緩存节点的工作负载过大， 参 与协作的数据内容过多， 此时， 统计被访问緩存节点协作替换空间中被访问频 率较高的数据内容， 即参与协作较为频繁的数据内容； 所述被访问频率较高的 数据内容在某一预设访问频率值的范围内， 假设有 N个数据内容的被访问频 率超过所述预设访问频率值；
步骤 S502: 将所述 N个数据内容的内容列表发送至协作控制器； 步骤 S503: 接收所述协作控制器发送的转移指令， 所述转移指令包括链 路利用率低的目标转移緩存节点的物理地址；
协作控制器接收到需要转移的 N个数据内容的目录列表后， 查询总的记 录列表，确定参与协作比例较低， 即链路利用率较低的緩存节点为目标转移緩 存节点， 并将该目标转移緩存节点的物理地址发送至所述被访问緩存节点； 步骤 S504: 依据所述物理地址将所述 N个数据内容转移至所述链路利用 率的目标转移緩存节点的协作替换空间。
通过将负载较高的緩存节点协作替换空间中的数据内容进行转移，从而降 低了改緩存节点所在链路的链路利用率，使该緩存节点的负载均衡， 并且平衡 了緩存节点群组中的其它緩存节点的链路利用率。
对于图 7所述的方法，在数据内容转移结束后， 各个緩存节点同样更新协 作替换空间中的数据内容目录列表，并将所述数据内容目录列表发送至协作控 制器。
以上各个方法实施例主要介绍对緩存节点协作替换空间中的数据内容的 处理过程， 对于緩存节点本地替换空间中的数据的处理过程如下：
首先当经过查询数据内容目录列表确定目标緩存节点后，如本申请实施例 提供的图 8所示， 包括：
步骤 S601 : 将本访问緩存节点接收的客户端数据请求转发至所述目标緩 存节点；
步骤 S602: 接收所述目标緩存节点返回的其协作替换空间中保存的与所 述数据请求相对应的数据内容。
在接收到所述目标緩存节点返回的数据内容后，将所述数据内容加入本地 替换空间的过程中， 执行过程如图 9所示， 还包括：
步骤 S603 : 判断本地替换空间的存储空间是否达到预设阈值， 如果否， 执行步骤 S604; 否则， 执行步骤 S605;
緩存节点中的本地替换空间的存储空间容量和协作替换空间是一样，都是 有限的；
步骤 S604: 直接将所述数据内容保存至本地替换空间中；
步骤 S605: 读取本地替换空间中的数据内容目录列表， 查询本地替换空 间中记录的本地客户端访问频率最低的数据内容；
当存入到本地替换空间中的内容达到一定阈值时，新获取的数据内容需要 对以往存储的数据内容进行替换； 此时，将本地客户端访问频率最低的数据内 容进行替换；
步骤 S606: 将所述本地客户端访问频率最低的数据内容替换为所述从目 标緩存节点的协作替换空间中获取的数据内容。
本申请实施例提供的数据处理方法中，本地替换空间中被替换出的数据内 容不是直接被删除的， 而是经过重新处理的， 如图 10所示， 在图 9的基石出上， 步骤 S606执行之后， 包括：
步骤 S607: 读取协作替换空间的数据内容目录列表，， 并查询所述目录列 表中记录的非本地客户端访问频率最低的数据内容；
步骤 S608: 判断是否所述数据内容目录列表中未记录所述本地替换空间 中被替换的数据内容且所述协作替换空间的存储空间未达到预设阈值； 如是， 执行步骤 S609; 否则， 执行步骤 S610;
上述步骤 S609的执行条件为： 所述协作替换空间中的数据内容目录列表 中未记录所述本地替换空间中被替换的数据内容且协作替换空间的存储空间 未达到预设阈值；
上述步骤 S610的执行条件为： 所述协作替换空间中的数据内容目录列表 中记录有所述本地替换空间中被替换的数据内容或协作替换空间的存储空间 达到预设阈值；
步骤 S609: 将所述本地替换空间中被替换的访问频率最低的内容加入到 协作替换空间中进行保存；
步骤 S610: 将所述协作替换空间中非本地客户端访问频率最低的数据内 容替换为本地替换空间中被替换出的本地客户端访问频率最低的数据内容，并 将替换出的协作替换空间中非本地客户端访问频率最低的数据内容进行删除。
需要对上述本地替换空间中数据内容替换的过程进行说明的是，从所述目 标緩存节点获取数据内容加入本地替换空间中， 本地替换空间达到预设阈值 时， 需要对本地替换空间中存储的数据内容进行替换； 另外， 当协作替换空间 中被替换出的数据内容能够加入到本地替换空间中，而本地替换空间达到预设 阈值时， 也对本地替换空间中存储的数据内容进行替换。
本申请实施例提供的数据处理方法中，緩存节点的本地替换空间或协作替 换空间， 当有新的内容需要加入本地替换空间或协作替换空间时， 而本地替换 空间或协作替换空间的存储容量达到预设阈值时 ,都会相应的执行数据内容的 替换过程； 如协作替换空间中， 当从内容源服务器获取数据内容加入时， 如协 作替换空间的存储容量达到预设阈值， 则进行替换； 另外， 当其他緩存节点由 于负载过大， 转移数据内容至緩存节点的协作替换空间中， 若该緩存节点的协 作替换空间的存储容量达到预设阈值， 此时也进行相应替换过程。 本申请实施例提供的数据处理方法，对与緩存节点中协作替换空间及本地 替换空间中存储的数据内容，协作替换空间中存储的数据内容主要用于緩存节 点群组中的数据协作 ,本地替换空间存储的数据内容用于本地客户端的访问需 要， 对于某一特定緩存节点， 当协作替换空间中的数据内容发生改变， 如替换 过程， 替换出的数据内容可以相应的加入本地替换空间中， 同样， 本地替换空 间的数据内容发生改变时，也可以相应的加入到协作替换空间，通过协作替换 空间与本地替换空间的交互， 使单个緩存节点在本地访问和参与协作的过程 中， 能够更好的满足緩存节点自身的优化需求。 同时对于緩存节点群组而言， 各个緩存节点在协作控制器的控制下， 更好的参与协作，使协作的全局更加完 善。 以上是本申请实施例提供的数据处理的方法实施例，针对该方法实施例本 申请还提供了与其相对应的一种緩存节点，该緩存节点的应用环境如本申请实 施例提供附图图 11所示， 本地的单个緩存节点可以与本地的多个客户端进行 交互， 同时緩存节点与内容源服务器、协作控制器以及緩存节点群组中的其它 緩存节点均可实现数据交互，本申请实施例提供的緩存节点的结构示意图如图 12所示， 包括： 控制模块 701、 本地替换空间 702和协作替换空间 703;
其中： 本地替换空间 702用于对本地客户端访问的数据进行保存； 协作替换空间 703用于对非本地客户端访问的数据内容进行保存； 控制模块 701用于接收客户端发送的数据请求，并在所述本地替换空间中 查找与所述数据请求相对应的的数据内容；当在所述本地替换空间中未查找到 所述数据内容时，查询数据内容目录列表中设置的数据内容与其对应緩存节点 的对应关系，依据所述对应关系将所述緩存节点群组中的其它緩存节点中包含 所述数据内容的緩存节点作为目标緩存节点；从所述目标緩存节点的协作替换
同时控制模块 701还用于接收从协作控制器发送的控制命令，调整緩存节 点的本地替换空间和协作替换空间的比例，为了更加清晰的对本申请实施例提 供的緩存节点进行描述， 将控制模块 701 的结构进行细化， 其内部结构如图 13所示， 包括： 接收单元 801、 查找单元 802、 查询单元 803、 确定单元 804和获取单元
805; 其中： 接收单元 801 , 用于接收客户端发送的数据请求；
查找单元 802, 用于依据所述接收单元 801接收的数据请求在所述本地替 换空间 702中查找与所述数据请求相对应的数据内容；
查询单元 803 , 用于当所述查找单元 802在所述本地替换空间 702中未查 找到所述数据内容时，查询数据内容目录列表中设置的数据内容与其对应緩存 节点的对应关系；
确定单元 804, 用于当所述查询单元 803查询到所述数据内容与其对应緩 存节点的对应关系时 ,依据所述对应关系将所述緩存节点群组中的其它緩存节 点中包含所述数据内容的緩存节点确定为目标緩存节点；
获取单元 805 , 用于从所述确定单元 804确定的目标緩存节点的协作替换 对于本申请实施例提供的緩存节点，当查询单元 802在数据内容目录列表 中未查询到数据内容与其对应緩存节点的对应关系时， 需要将接收单元 801 接收的数据请求转发至内容源服务器， 因此， 本申请实施例提供的緩存节点还 设置有第一转发单元 806, 如图 14所示， 第一转发单元 806即用于当所述查 询单元 803未查询到所述数据内容与其对应緩存节点的对应关系时，将所述接 收单元 801 接收的数据请求转发至内容源服务器， 并控制所述获取单元 805 从所述内容源服务器获取与所述数据请求相对应的数据内容；将所述获取的数 据内容保存至所述緩存节点的协作替换空间。
当所述确定单元确定出目标緩存节点时，需要将接收的客户端的数据请求 转发至内容源服务器，本申请实施例提供的緩存节点中还设置有第二转发单元 807, 如图 15所示；
第二转发单元 807用于当所述查询单元 803查询到所述数据内容与其对应 緩存节点的对应关系时，将所述接收单元 801接收的数据请求转发至所述确定 单元 804确定的目标緩存节点，并控制所述获取单元 805从所述目标緩存节点 的协作替换空间获取所述数据请求相对应的数据内容；将所述获取的数据内容 保存至所述緩存节点的本地替换空间。 本申请实施例提供的緩存节点，当协作替换空间或本地替换空间的数据内 容发生变化时， 均对协作替换空间或本地替换空间中的数据目录进行更新， 所 以本申请实施例提供的緩存节点中还设置有目录更新单元， 如图 16所示； 目录更新单元 808 用于当本地替换空间或协作替换空间中的存储内容发 生变化时，对本地替换空间或协作替换空间保存的数据内容的目录列表进行更 新， 并将更新的协作替换空间的目录列表发送至协作控制器。 对于协作替换空间或本地替换空间中存储的数据内容，本申请实施例提供 的緩存节点还设置有统计单元 809, 如图 17所示， 所述统计单元 809用于对 本地替换空间或协作替换空间中存储的数据内容被访问频率进行统计。
对于本申请实施例提供的緩存节点，其本地替换空间和协作替换空间的存 储容量是有限的，当本地替换空间或协作替换空间中存储的数据内容超过预设 阈值时， 需要对本地替换空间或协作替换空间中存储的数据内容进行替换， 本 申请实施例提供的緩存节点中还设置有本地替换单元 811 和协作替换单元 810; 如图 18所示； 协作替换单元 810, 用于对非本地客户端对所述协作替换空间的访问过程 进行管理，在所述获取单元 805将获取的数据内容保存至协作替换空间的过程 中， 当协作替换空间的存储空间达到预设阈值时，对所述协作替换空间中的数 据内容进行替换。 本地替换单元 811 , 用于对本地客户端对所述本地替换空间的访问过程进 行管理， 在所述获取单元 805 将获取的数据内容保存至本地替换空间的过程 中， 当本地替换空间的存储空间达到预设阈值时，对所述本地替换空间中的数 据内容进行替换。 对与替换出的数据内容，本申请实施例提供的緩存节点还设置有替换处理 单元 812, 如图 19所示， 替换处理单元 812用于对本地替换空间或协作替换 空间中被替换出的数据内容进行处理， 其具体处理过程， 可参照本申请数据处 理方法实施例中对替换出的数据内容进行处理的过程。 本申请实施例提供的緩存节点， 当该緩存节点被访问次数过多，参与协作 的数据内容超过预设阈值，造成该緩存节点所在链路利用率过高时， 本申请实 施例提供的緩存节点还设置有转移单元 813 , 如图 20所示； 转移内容 813用于当緩存节点所在的链路利用率超过预设链路利用率时， 对所述緩存节点协作替换空间中存储的数据内容进行转移。 以上即为本申请实施例提供的緩存节点的具体结构，本申请实施例提供的 緩存节点结构鲜明， 在参与数据协作的过程中， 自身的调节能力更强。
以上所述的数据处理方法及相应的緩存节点应用在緩存节点群组中，本申 请实施例同时提供了一种数据处理方法针对緩存节点群组及緩存节点群组中 的每一个緩存节点， 该方法应用于协作控制器端， 其处理流程图如图 21所示， 包括： 步骤 S910: 获取緩存节点群组中各个緩存节点所在拓朴链路的链路利用 率；
步骤 S911 : 依据所述链路利用率对各个緩存节点在緩存节点群组中参与 协作的比例进行调整。 本申请实施例提供的上述处理方法， 收集网络拓朴的链路利用率，根据链 路利用率的差异性向各个緩存节点发送不同的参与协作程度的控制命令信息， 目的是使整个緩存节点群组所在网络。 本申请实施例提供的数据处理方法，获取緩存节点群组中各个緩存节点的 链路利用率的获取过程可以有多种，可以由协作控制器主动收集緩存节点群组 中各个緩存节点的链路利用率；也可以由緩存节点群组中的各个緩存节点主动 上报其链路利用率； 还可以通过设置第三方收集设备， 由所属第三方收集设备 收集各个緩存节点的链路利用率，并将收集的链路利用率发送至所述协作控制 器。 本申请实施例提供的数据处理方法中，对于各个緩存节点在所述緩存节点 群组中参与的协作比例进行调整的过程如图 22所示， 包括： 步骤 S1001 : 计算所述緩存节点群组中各个緩存节点的平均链路利用率及 各个緩存节点的当前链路利用率与所述平均链路利用率之间的绝对差值； 所述绝对差值为当前链路利用率与平均链路利用率的相差范围，即当前链 路利用率高于平均链路利用率的差值或低于平均链路利用率的差值；
步骤 S1002: 以预设的参与协作的基本调整粒度为基准值， 确定针对所述 绝对差值的调整信息； 对于参与协作的调整尺度预设有基本调整粒度，所述基本调整粒度为调整 的最小单位； 步骤 S1003: 将所述调整信息分别发送至与其对应的緩存节点， 控制所述 緩存节点依据所述调整信息对其参与协作的比例进行调整。
上述步骤执行过程中，计算各个緩存节点的平均链路利用率， 当某个緩存 节点的链路利用率超过所述平均链路利用率的某一阈值时，该链路绑定的所述 緩存节点需要降低参与协作的比例， 如比例以 5%作为基本调整粒度， 链路利 用率超过平均链路利用率的大小为基本调整粒度的 N倍时， 则调整粒度为 N*5%; 当某个链路利用率低于平均链路利用率的某一阈值时， 该链路绑定的 緩存节点需要提高参与协作的比例， 比例以如比例以 5%作为基本调整粒度， 链路利用率低于平均链路利用率的大小为基本调整粒度的 N倍时， 则调整粒 度为 N*5%。 本申请实施例提供的数据调整方法对緩存节点参与协作的比例进行调整 的主要过程为将緩存节点协作替换空间中的被访问频率较高的数据内容进行 转移，本申请实施例提供的数据处理方法中确定的针对所述绝对差值的调整信 息中包括调整方向信息，所述调整方向信息中包括控制所述緩存节点协作替换 空间中的数据内容进行转移的转移指令及目标转移緩存节点的物理地址； 依据所述转移指令控制所述緩存节点协作替换空间中的数据内容进行转 移的过程如图 23所示： 包括： 步骤 S1101 : 发送数据内容目录列表至所述緩存节点， 所述数据内容目录 列表中包含所述緩存节点协作替换空间中被访问频率高于预设访问频率的数 据内容; 步骤 S1102: 指示所述緩存节点依据所述物理地址将所述緩存节点协作替 换空间中被访问频率高于预设访问频率的数据内容转移至目标转移緩存节点。
当緩存节点接收到转移指令后，依据所述转移指令将需要转移的数据内容 转移到目标转移緩存节点，然后緩存节点更新其协作替换空间中的数据内容緩 存列表， 并将更新的数据内容緩存列表上传至协作控制器； 本申请实施例提供 的数据处理方法还包括： 接收各个緩存节点上传的数据内容目录列表，所述数据内容目录列表中包
的频率信息； 对各个緩存节点上传的数据内容目录列表进行统计汇总并将经过汇总的 数据内容目录列表发送至各个緩存节点。 本申请实施例提供的数据处理方法，对于数据内容目录列表的更新是实时 的，在任何处理阶段过程中， 当任一緩存节点的协作替换空间中的数据内容发 生变化时， 即更新数据内容数据列表， 并将更新的数据内容目录列表分发到緩 存节点群组中的各个緩存节点。 本申请实施例提供的数据处理方法中确定的针对所述绝对差值的调整信 息还包括调整比例信息； 所述调整比例信息中包括控制所述緩存节点协作替换空间和本地替换空 间所占比例进行调整的比例调整指令； 当緩存节点依据转移指令将协作替换空间中的数据内容进行转移后，空出 的存储空间需要重新调整和分配，所以对所述緩存节点协作替换空间中的内容 进行转移后， 如图 24所示， 还包括： 步骤 S1103: 依据所述调整指令对所述緩存节点协作替换空间经过数据内 容转移后的空余空间进行重新分配，对所述緩存节点的本地替换空间和协作替 换空间所占的比例值进行调整。
以上是应用在协作控制器端的数据处理方法实施例，针对该方法实施例本 申请实施例提供了一种协作控制器， 其结构示意图如图 25所示， 包括：
获取模块 1201 , 用于获取緩存节点群组中各个緩存节点所在拓朴链路的 链路利用率；
调整模块 1202, 用于依据所述获取模块获取的链路利用率对各个緩存节 点在所述緩存节点群组中参与协作的比例进行调整。
本申请实施例提供的协作控制器负责数据内容的协作緩存，并收集各种用 于协作控制的信息，接收緩存节点发送的各种协作请求信息并处理， 向緩存节 点发送各种协作命令。
在图 25所述协作控制器的基 上本申请实施例提供的协作控制器的调整 模块 1202的详细结构示意图， 如图 26所示， 包括：
计算单元 1203 , 用于计算所述緩存节点群组中各个緩存节点的平均链路 利用率及各个緩存节点的当前链路利用率与所述平均链路利用率之间的绝对 差值；
确定单元 1204, 用于以预设的参与协作的基本调整粒度为基准值， 确定 针对所述计算单元 1203计算得出的绝对差值的调整信息；
比例调整单元 1205 , 用于将所述确定单元 1204确定的调整信息分别发送 至与其对应的緩存节点 ,控制所述緩存节点依据所述调整信息对其参与协作的 比例进行调整。
本申请实施例提供的协作控制器中， 调整模块 1202 中的比例调整单元 1205如图 28所示包括：
转移子单元 1206, 用于依据所述确定单元 1204确定的调整信息控制所 述緩存节点协作替换空间中的数据内容进行转移。
内容目录更新子单元 1207, 用于对各个緩存节点上传的数据内容目录列 表进行统计汇总， 并将经过汇总的数据内容目录列表发送至各个緩存节点。
分配子单元 1208, 用于依据所述确定单元 1204确定的调整信息对所述緩 存节点协作替换空间经过数据内容转移后的空余空间进行重新分配 ,对所述緩 存节点的本地替换空间和协作替换空间所占的比例进行调整。
以上即为本申请实施例提供的协作控制器的基本结构，结合本申请实施例 提供的緩存节点及协作控制器， 本申请实施例还提供了一种数据处理系统， 其 结构示意图如图 29所示， 包括：
由緩存节点组成的緩存节点群组 1301和协作控制器 1302;
所述緩存节点群组 1301 中的緩存节点包括： 控制模块、 本地替换空间和 协作替换空间；
其中：
所述本地替换空间用于对本地客户端访问的数据进行保存；
所述协作替换空间用于对非本地客户端访问的数据内容进行保存； 所述控制模块用于接收客户端发送的数据请求，并在所述本地替换空间中 查找与所述数据请求相对应的的数据内容；当在所述本地替换空间中未查找到 所述数据内容时，查询数据内容目录列表中设置的数据内容与其对应緩存节点 的对应关系，依据所述对应关系将所述緩存节点群组中的其它緩存节点中包含 所述数据内容的緩存节点作为目标緩存节点；从所述目标緩存节点的协作替换 所述协作控制器包括： 获取模块， 用于获取緩存节点群组中各个緩存节点 所在拓朴链路的链路利用率；
调整模块，用于依据所述获取模块获取的链路利用率对各个緩存节点在所 述緩存节点群组中参与协作的比例进行调整。
综合以上本申请实施例提供的数据处理方法、緩存节点、协作控制器及系 统， 可应用在分布式环境下， 所述緩存节点的存储空间分为本地替换空间和协 作替换空间两部分； 本地緩存节点接收协作控制器发送的控制信息，根据控制 信息调整本地替换单元管理的存储空间和协作替换单元管理的存储空间的比 例大小。 接收的控制信息包含了调整方向和调整比例值。
本地緩存节点接收到的新内容来自协作区域外的内容源服务器时，内容保 存在协作替换单元， 协作替换空间的的内容根据非本地用户访问情况进行替 换； 接收到的新内容来自协作区域时， 内容保存在本地替换空间， 本地替换空 间的内容根据本地用户访问情况进行替换。
本地緩存节点把协作替换空间的内容列表发送给协作控制器，并从协作控 制器接收到其它本地緩存设备的协作替换空间的内容列表。当本地緩存节点的 负载高于某个阈值时，从协作替换空间选择最热门的一个或多个内容转移到其 它负载较轻的本地緩存设备的协作替换空间。
通过本申请实施例提供的数据处理方法、 緩存节点、 协作控制器及系统， 使得替换算法在全局替换优化的基 上考虑了本地替换优化，有优先服务本地 用户的作用；
协作控制器只维护协作空间的内容信息，不维护本地替换空间中的内容信 息， 从而大大减少了维护内容副本数的开销；
负载重的节点将其协作空间中的热门内容主动向负载低的节点转移，可以 调节达到负载均衡的作用。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相 似的部分互相参见即可， 每个实施例重点说明的都是与其他实施例的不同之 处。 以上所述仅是本申请的具体实施方式， 应当指出， 对于本技术领域的普通 技术人员来说， 在不脱离本申请原理的前提下， 还可以做出若干改进和润饰， 这些改进和润饰也应视为本申请的保护范围。
+

Claims

权 利 要 求
1、 一种数据处理方法， 其特征在于， 基于数据緩存的緩存节点群组， 所 述群组中任一緩存节点包括：用于对本地客户端访问的数据进行保存的本地替 换空间及用于对非本地客户端访问的数据内容进行保存的协作替换空间； 所述方法包括：
接收客户端数据请求的被访问緩存节点对与所述数据请求相对应的数据 内容进行查找；
当在所述被访问緩存节点的本地替换空间中未查找到所述数据内容时，查 询预设数据内容目录列表；所述数据内容目录列表中设置有数据内容与其对应 緩存节点的对应关系；
依据所述对应关系将所述緩存节点群组中的其它緩存节点中包含所述数 据内容的緩存节点作为目标緩存节点；
从所述目标緩存节点的协作替换空间中获取所述数据内容并将所述数据 内容保存至所述被访问緩存节点的本地替换空间。
2、 根据权利要求 1所述的方法， 其特征在于， 所述查询预设数据内容目 录列表的过程具体为查询由协作控制器进行预设的数据内容目录列表。
3、 根据权利要求 2所述的方法， 其特征在于， 依据所述对应关系确定目 标緩存节点的过程包括：
查询预设数据内容目录列表中设置的数据内容与其对应緩存节点的对应 关系；
当查找到与所述客户端所请求数据内容相对应的緩存节点时 ,将所述緩存 节点作为目标緩存节点。
4、 根据权利要求 3所述的方法， 其特征在于， 还包括：
当未查找到与所述客户端所请求数据内容相对应的緩存节点时，将接收的 客户端数据请求转发至内容源服务器；
从所述内容源服务器获取与所述数据请求相对应的数据内容；
将所述获取的数据内容保存至所述被访问緩存节点的协作替换空间。
5、 根据权利要求 4所述的方法， 其特征在于， 还包括：
对所述被访问緩存节点的协作替换空间保存的数据内容的目录列表进行 更新；
将经过更新的目录列表发送至所述协作控制器。
6、 根据权利要求 5所述的方法， 其特征在于， 将获取的数据内容保存至 协作替换空间的过程中， 当协作替换空间的存储空间达到预设阈值时，还包括 协作替换空间中数据内容的替换过程， 具体为：
读取协作替换空间中的数据内容目录列表，查询所述目录列表中记录的非 本地客户端访问频率最低的数据内容；
将所述访问频率最低的数据内容替换为所述获取的数据内容。
7、 根据权利要求 6所述的方法， 其特征在于， 还包括：
读取本地替换空间中的数据内容目录列表，查询所述目录列表中记录的本 地客户端访问频率最低的数据内容；
当协作替换空间中被替换的访问频率最低的数据内容的访问更新时间晚 于本地替换空间中访问频率最低的数据内容的访问更新时间且本地替换空间 的存储空间未达到预设阈值时，将所述协作替换空间中被替换的访问频率最低 的数据内容加入本地替换空间中进行保存。
8、 根据权利要求 6所述的方法， 其特征在于， 还包括：
读取本地替换空间中的数据内容目录列表，查询所述目录列表中记录的本 地客户端访问频率最低的数据内容；
当协作替换空间中被替换的访问频率最低的数据内容的访问更新时间晚 于本地替换空间中访问频率最低的数据内容的访问更新时间且本地替换空间 的存储空间达到预设阈值时，将所述本地替换空间中访问频率最低的数据内容 替换为所述协作替换空间中被替换的访问频率最低的数据内容。
9、 根据权利要求 7或 8所述的方法， 其特征在于， 在所述协作替换空间 被访问的过程中， 当所述协作替换空间被访问次数过多，造成所述緩存节点所 在链路的利用率超过预设链路利用率时，还包括协作替换空间中数据内容的转 移过程， 具体为：
统计当前被访问緩存节点协作替换空间中被访问频率从高到低的 N个数 内容；
将所述 N个数据内容的内容列表发送至协作控制器；
接收所述协作控制器的转移指令，所述转移指令包括链路利用率低的目标 转移緩存节点的物理地址；
依据所述物理地址将所述 N个数据内容转移至所述链路利用率低的目标 转移緩存节点的协作替换空间。
10、 根据权利要求 3所述的方法， 其特征在于， 从所述目标緩存节点获取 数据内容的过程包括：
将被访问緩存节点接收的客户端数据请求转发至所述目标緩存节点； 接收所述目标緩存节点返回的其协作替换空间中保存的与所述数据请求 相对应的数据内容。
11、 根据权利要求 10所述的方法， 其特征在于， 将获取的目标緩存节点 的协作替换空间中的数据内容保存至被访问緩存节点的本地替换空间的过程 中， 当本地替换空间的存储空间达到预设阈值时，还包括本体替换空间中数据 内容的替换过程， 具体为：
读取本地替换空间中的数据内容目录列表，查询本地替换空间中记录的本 地客户端访问频率最低的数据内容；
将所述本地客户端访问频率最低的数据内容替换为所述从目标緩存节点 的协作替换空间中获取的数据内容。
12、 根据权利要求 11所述的方法， 其特征在于， 还包括：
读取协作替换空间中的数据内容目录列表；
当所述数据内容目录列表中未记录有所述本地替换空间中被替换的数据 内容且所述协作替换空间的存储空间未达到预设阈值时，将所述本地替换空间 中被替换的访问频率最低的内容加入到协作替换空间中进行保存。
13、 根据权利要求 11所述的方法， 其特征在于， 还包括：
读取协作替换空间中的数据内容目录列表，查询所述目录列表中记录的非 本地客户端访问频率最低的数据内容；
当所述数据内容目录表列中未记录有所述本地替换空间中被替换的数据 内容且所述协作替换空间达到预设阈值时，将所述协作替换空间中非本地客户 端访问频率最低的数据内容替换为本地替换空间中被替换出的本地客户端访 问频率最低的数据内容，并将替换出的协作替换空间中非本地客户端访问频率 最低的数据内容进行删除。
14、 一种緩存节点， 其特征在于， 应用于数据緩存的緩存节点群组中， 包 括： 控制模块、 本地替换空间和协作替换空间；
其巾：
所述本地替换空间用于对本地客户端访问的数据进行保存；
所述协作替换空间用于对非本地客户端访问的数据内容进行保存； 所述控制模块用于接收客户端发送的数据请求，并在所述本地替换空间中 查找与所述数据请求相对应的的数据内容；当在所述本地替换空间中未查找到 所述数据内容时，查询数据内容目录列表中设置的数据内容与其对应緩存节点 的对应关系，依据所述对应关系将所述緩存节点群组中的其它緩存节点中包含 所述数据内容的緩存节点作为目标緩存节点；从所述目标緩存节点的协作替换
15、 根据权利要求 14所述的緩存节点， 其特征在于， 所述控制模块包括： 接收单元， 用于接收客户端发送的数据请求；
查找单元，用于依据所述接收单元接收的数据请求在所述本地替换空间中 查找与所述数据请求相对应的数据内容；
查询单元，用于当所述查找单元在所述本地替换空间中未查找到所述数据 内容时，查询数据内容目录列表中设置的数据内容与其对应緩存节点的对应关 系；
确定单元，用于当所述查询单元查询到所述数据内容与其对应緩存节点的 对应关系时，依据所述对应关系将所述緩存节点群组中的其它緩存节点中包含 所述数据内容的緩存节点确定为目标緩存节点； 获取单元，用于从所述确定单元确定的目标緩存节点的协作替换空间获取
16、 根据权利要求 15所述的緩存节点， 其特征在于， 所述控制模块还包 括：
第一转发单元，用于当所述查询单元未查询到所述数据内容与其对应緩存 节点的对应关系时，将所述接收单元接收的数据请求转发至内容源服务器， 并 控制所述获取单元从所述内容源服务器获取与所述数据请求相对应的数据内 容； 将所述获取的数据内容保存至所述緩存节点的协作替换空间。
17、 根据权利要求 15所述的緩存节点， 其特征在于， 所述控制模块还包 括：
第二转发单元，用于当所述查询单元查询到所述数据内容与其对应緩存节 点的对应关系时，将所述接收单元接收的数据请求转发至所述确定单元确定的 目标緩存节点，并控制所述获取单元从所述目标緩存节点的协作替换空间获取 所述数据请求相对应的数据内容；将所述获取的数据内容保存至所述緩存节点 的本地替换空间。
18、 根据权利要求 16或 17所述的緩存节点， 所述控制模块还包括： 目录更新单元，用于当本地替换空间或协作替换空间中的存储内容发生变 化时， 对本地替换空间或协作替换空间保存的数据内容的目录列表进行更新， 并将更新的协作替换空间的目录列表发送至所述协作控制器。
19、 根据权利要求 18所述的緩存节点， 所述控制模块还包括：
统计单元 ,用于对本地替换空间及协作替换空间中存储内容的被访问频率 进行统计。
20、 根据权利要求 19所述的緩存节点， 其特征在于， 所述控制模块还包 括：
协作替换单元，用于对非本地客户端对所述协作替换空间的访问过程进行 管理，在所述获取单元将获取的数据内容保存至协作替换空间的过程中， 当协 作替换空间的存储空间达到预设阈值时，对所述协作替换空间中的数据内容进 行替换。
21、 根据权利要求 19所述的緩存节点， 其特征在于， 所述控制模块还包 括：
本地替换单元 ,用于对本地客户端对所述本地替换空间的访问过程进行管 理，在所述获取单元将获取的数据内容保存至本地替换空间的过程中， 当本地 替换空间的存储空间达到预设阈值时，对所述本地替换空间中的数据内容进行 替换。
22、 根据权利要求 20或 21所述的緩存节点， 其特征在于， 所述控制模块 还包括：
替换处理单元，用于对本地替换空间或协作替换空间中被替换的数据内容 进行处理。
23、 根据权利要求 20所述的緩存节点， 其特征在于， 所述控制模块还包 括：
转移单元， 用于当所述緩存节点所在的链路利用率超过预设链路利用率 时， 对所述协作替换空间中存储的数据内容进行转移。
24、 一种数据处理方法， 其特征在于， 基于数据緩存的緩存节点群组， 所 述群组中任一緩存节点包括：用于对本地客户端访问的数据进行保存的本地替 换空间及用于对非本地客户端访问的数据内容进行保存的协作替换空间； 所述方法包括：
获取緩存节点群组中各个緩存节点所在拓朴链路的链路利用率； 依据所述链路利用率对各个緩存节点在所述緩存节点群组中参与协作的 比例进行调整。
25、 根据权利要求 24所述的方法， 其特征在于， 所述获取緩存节点群组 中各个緩存节点的链路利用率的获取过程具体为：
主动收集所述緩存节点群组中各个緩存节点的链路利用率。
26、 根据权利要求 24所述的方法， 其特征在于， 所述获取緩存节点群组 中各个緩存节点的链路利用率的获取过程具体为：
接收各个緩存节点上传的链路利用率。
27、 根据权利要求 24所述的方法， 其特征在于， 所述获取緩存节点群组 中各个緩存节点的链路利用率的获取过程具体为：
设置第三方收集设备，通过所述第三方收集设备收集各个緩存节点的链路 利用率。
28、 根据权利要求 25、 26或 27所述的方法， 其特征在于， 对所述协作比 例进行调整的过程包括：
计算所述緩存节点群组中各个緩存节点的平均链路利用率及各个緩存节 点的当前链路利用率与所述平均链路利用率之间的绝对差值；
以预设的参与协作的基本调整粒度为基准值，确定针对所述绝对差值的调 整信息；
将所述调整信息分别发送至与其对应的緩存节点，控制所述緩存节点依据 所述调整信息对其参与协作的比例进行调整。
29、 根据权利要求 28所述的方法， 其特征在于， 所述确定的针对所述绝 对差值的调整信息包括调整方向信息；
所述调整方向信息中包括控制所述緩存节点协作替换空间中的数据内容 进行转移的转移指令及目标转移緩存节点的物理地址；
依据所述转移指令控制所述緩存节点协作替换空间中的数据内容进行转 移的过程包括：
发送数据内容目录列表至所述緩存节点，所述数据内容目录列表中包含所 述緩存节点协作替换空间中被访问频率高于预设访问频率的数据内容；
指示所述緩存节点依据所述物理地址将所述緩存节点协作替换空间中被 访问频率高于预设访问频率的数据内容转移至目标转移緩存节点。
30、 根据权利要求 29所述的方法， 其特征在于， 还包括：
接收各个緩存节点上传的数据内容目录列表，所述数据内容目录列表中包 的频率信息；
对各个緩存节点上传的数据内容目录列表进行统计汇总并将经过汇总的 数据内容目录列表发送至各个緩存节点。
31、 根据权利要求 29所述的方法， 其特征在于， 所述确定的针对所述绝 对差值的调整信息还包括调整比例信息；
所述调整比例信息中包括控制所述緩存节点协作替换空间和本地替换空 间所占比例进行调整的比例调整指令；
对所述緩存节点协作替换空间中的内容进行转移后， 还包括： 依据所述调整指令对所述緩存节点协作替换空间经过数据内容转移后的 空余空间进行重新分配，对所述緩存节点的本地替换空间和协作替换空间所占 的比例值进行调整。
32、 一种协作控制器， 其特征在于， 包括：
获取模块，用于获取緩存节点群组中各个緩存节点所在拓朴链路的链路利 用率；
调整模块，用于依据所述获取模块获取的链路利用率对各个緩存节点在所 述緩存节点群组中参与协作的比例进行调整。
33、 根据权利要求 32所述的协作控制器， 其特征在于， 所述调整模块包 括：
计算单元，用于计算所述緩存节点群组中各个緩存节点的平均链路利用率 及各个緩存节点的当前链路利用率与所述平均链路利用率之间的绝对差值； 确定单元， 用于以预设的参与协作的基本调整粒度为基准值，确定针对所 述计算单元计算得出的绝对差值的调整信息；
比例调整单元，用于将所述确定单元确定的调整信息分别发送至与其对应 的緩存节点 ,控制所述緩存节点依据所述调整信息对其参与协作的比例进行调 整。
34、 根据权利要求 33所述的协作控制器， 其特征在于， 所述比例调整单 元包括：
转移子单元， 用于依据所述确定单元确定的调整信息控制所述緩存节点 协作替换空间中的数据内容进行转移。
35、 根据权利要求 34所述的协作控制器， 其特征在于， 所述比例调整单 元还包括：
内容目录更新子单元，用于对各个緩存节点上传的数据内容目录列表进行 统计汇总， 并将经过汇总的数据内容目录列表发送至各个緩存节点。
36、 根据权利要求 34所述的协作控制器， 其特征在于， 所述比例调整单 元还包括：
分配子单元，用于依据所述确定单元确定的调整信息对所述緩存节点协作 替换空间经过数据内容转移后的空余空间进行重新分配，对所述緩存节点的本 地替换空间和协作替换空间所占的比例进行调整。
37、 一种数据处理系统， 其特征在于， 包括： 由权利要求 14〜23所述的緩 存节点组成的緩存节点群组及权利要求 32〜36所述的协作控制器。
PCT/CN2011/075063 2011-05-31 2011-05-31 数据处理方法、缓存节点、协作控制器及系统 WO2011157150A2 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2011/075063 WO2011157150A2 (zh) 2011-05-31 2011-05-31 数据处理方法、缓存节点、协作控制器及系统
CN201180000652.XA CN102204218B (zh) 2011-05-31 2011-05-31 数据处理方法、缓存节点、协作控制器及系统
US14/094,148 US9330004B2 (en) 2011-05-31 2013-12-02 Data processing method, cache node, collaboration controller, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/075063 WO2011157150A2 (zh) 2011-05-31 2011-05-31 数据处理方法、缓存节点、协作控制器及系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/094,148 Continuation US9330004B2 (en) 2011-05-31 2013-12-02 Data processing method, cache node, collaboration controller, and system

Publications (2)

Publication Number Publication Date
WO2011157150A2 true WO2011157150A2 (zh) 2011-12-22
WO2011157150A3 WO2011157150A3 (zh) 2012-05-03

Family

ID=44662822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2011/075063 WO2011157150A2 (zh) 2011-05-31 2011-05-31 数据处理方法、缓存节点、协作控制器及系统

Country Status (3)

Country Link
US (1) US9330004B2 (zh)
CN (1) CN102204218B (zh)
WO (1) WO2011157150A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225396A (zh) * 2021-04-30 2021-08-06 深圳市腾讯网域计算机网络有限公司 一种热点数据包分流方法、装置、电子设备及介质
CN113709761A (zh) * 2020-05-20 2021-11-26 清华大学 基于动态位置的内容分发方法、系统、设备及存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2852897B1 (en) 2012-05-20 2020-10-07 Microsoft Technology Licensing, LLC Server-based hierarchical mass storage system
CN103001870B (zh) * 2012-12-24 2015-10-07 中国科学院声学研究所 一种内容中心网络协同缓存方法及系统
CN104348722B (zh) 2013-07-31 2017-12-12 华为技术有限公司 确定内容获取路径、请求处理的方法、装置和系统
KR102212973B1 (ko) * 2014-01-07 2021-02-04 인터디지털 브이씨 홀딩스 인코포레이티드 멀티미디어 컨텐츠의 컨텐츠 부분을 클라이언트 단말기, 대응 캐시에 제공하는 방법
KR20150103477A (ko) * 2014-03-03 2015-09-11 주식회사 티맥스 소프트 분산환경 기반의 캐쉬 관리 장치 및 방법
CN105095104B (zh) * 2014-04-15 2018-03-27 华为技术有限公司 数据缓存处理方法及装置
US20160241665A1 (en) * 2015-02-12 2016-08-18 Google Inc. Pre-caching on wireless access point
CN104765888B (zh) * 2015-04-30 2019-03-26 北京奇艺世纪科技有限公司 一种数据访问系统、方法及装置
GB2540761B (en) * 2015-07-23 2017-12-06 Advanced Risc Mach Ltd Cache usage estimation
CN105357281B (zh) * 2015-10-19 2019-06-21 中国科学院信息工程研究所 一种移动接入网分布式内容缓存访问控制方法及系统
US10841374B2 (en) * 2015-10-26 2020-11-17 Mcafee, Llc Dynamic sharding for state-based processing
CN105306578A (zh) * 2015-11-11 2016-02-03 中国联合网络通信集团有限公司 一种内容存储的方法及装置
CN107277092A (zh) * 2016-04-08 2017-10-20 北京优朋普乐科技有限公司 内容分发网络及其数据下载方法
CN107872478A (zh) * 2016-09-26 2018-04-03 中国移动通信有限公司研究院 一种内容缓存方法、装置和系统
CN108494720B (zh) * 2017-02-23 2021-02-12 华为软件技术有限公司 一种基于会话迁移的调度方法及服务器
CN107426302B (zh) * 2017-06-26 2020-06-05 腾讯科技（深圳）有限公司 访问调度方法、装置、系统、终端、服务器及存储介质
CN109218340A (zh) * 2017-06-29 2019-01-15 上海云教信息技术有限公司 一种数据在线引证系统
CN109218363B (zh) * 2017-07-03 2021-06-08 中国移动通信有限公司研究院 内容分发方法、网络节点及存储介质
CN107562385B (zh) * 2017-09-13 2020-08-04 郑州云海信息技术有限公司 分布式存储客户端读取数据的方法、装置和设备
CN109144998B (zh) * 2018-07-06 2020-10-16 东软集团股份有限公司 节点数据的展现方法、装置、存储介质及电子设备
CN111294222B (zh) * 2018-12-07 2022-08-02 中国移动通信集团陕西有限公司 一种资源配置、内容请求方法、装置及cdn系统
CN111414347B (zh) * 2019-01-04 2023-06-20 阿里巴巴集团控股有限公司 节点信息处理方法及装置，输出方法及存储和电子设备
CN111435939B (zh) * 2019-01-14 2023-05-05 百度在线网络技术（北京）有限公司 用于划分节点的存储空间的方法和装置
CN110704019B (zh) * 2019-08-26 2020-12-22 深圳芯英科技有限公司 数据缓存器及数据读取方法
CN111225023B (zh) * 2019-11-19 2022-02-25 中国联合网络通信集团有限公司 一种缓存方法及装置
WO2021097802A1 (zh) 2019-11-22 2021-05-27 华为技术有限公司 处理非缓存写数据请求的方法、缓存器和节点
CN111124292B (zh) * 2019-12-10 2022-08-19 新华三大数据技术有限公司 一种数据下刷方法、装置、缓存节点及分布式存储系统
CN113132439B (zh) * 2019-12-31 2023-04-21 贵州白山云科技股份有限公司 一种数据处理方法和系统及边缘节点
CN113127414B (zh) * 2019-12-31 2023-05-23 贵州白山云科技股份有限公司 一种请求处理方法和系统及边缘节点

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453480A (zh) * 2007-11-30 2009-06-10 中国科学院声学研究所 一种适用于媒体流化的数据共享系统及共享方法
CN102067617A (zh) * 2008-06-20 2011-05-18 阿尔卡特朗讯美国公司 在内容分发网络中自组织的高速缓存的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876662A (en) * 1988-05-02 1989-10-24 International Business Machines Corporation Optimizing volume mounts in a multidrive environment
US7065587B2 (en) * 2001-04-02 2006-06-20 Microsoft Corporation Peer-to-peer name resolution protocol (PNRP) and multilevel cache for use therewith
US6996674B2 (en) * 2001-05-07 2006-02-07 International Business Machines Corporation Method and apparatus for a global cache directory in a storage cluster
EP1483672A4 (en) * 2002-02-28 2008-03-26 Silicon Graphics Inc METHOD AND SYSTEM FOR CACHED MEMORY COHERENCE IN A MULTIPROCESSOR SYSTEM WITHOUT INCREASING THE SHARING VECTOR
US7443857B1 (en) * 2003-07-09 2008-10-28 Cisco Technology Inc. Connection routing based on link utilization
US8169912B2 (en) * 2006-08-31 2012-05-01 Futurewei Technologies, Inc. System for dynamic bandwidth adjustment and trading among peers
CN101959054B (zh) * 2009-07-14 2013-04-10 中国电信股份有限公司 集中式对等点播系统和伙伴节点选择方法
CN102025634B (zh) * 2010-12-16 2015-06-03 中兴通讯股份有限公司 数据包缓存管理方法和设备
US8935431B2 (en) * 2010-12-17 2015-01-13 International Business Machines Corporation Highly scalable and distributed data sharing and storage

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453480A (zh) * 2007-11-30 2009-06-10 中国科学院声学研究所 一种适用于媒体流化的数据共享系统及共享方法
CN102067617A (zh) * 2008-06-20 2011-05-18 阿尔卡特朗讯美国公司 在内容分发网络中自组织的高速缓存的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GE JIANQING: 'Research of Dynamic Replication access-load-balancing strategy on Heterogenerity Structured P2P Network' CHINESE MASTER'S THESES FULL-TEXT DATABASE INFORMATION SCIENCE AND TECHNOLOGY SERIES no. ISS.7, 15 July 2010, ISSN 1674-0246 page 33 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709761A (zh) * 2020-05-20 2021-11-26 清华大学 基于动态位置的内容分发方法、系统、设备及存储介质
CN113709761B (zh) * 2020-05-20 2023-12-12 清华大学 基于动态位置的内容分发方法、系统、设备及存储介质
CN113225396A (zh) * 2021-04-30 2021-08-06 深圳市腾讯网域计算机网络有限公司 一种热点数据包分流方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN102204218A (zh) 2011-09-28
CN102204218B (zh) 2015-01-21
WO2011157150A3 (zh) 2012-05-03
US9330004B2 (en) 2016-05-03
US20140089594A1 (en) 2014-03-27

Similar Documents

Publication Publication Date Title
WO2011157150A2 (zh) 数据处理方法、缓存节点、协作控制器及系统
US10893118B2 (en) Content delivery network with deep caching infrastructure
CN103581245B (zh) 一种内容分发网络内容分发的方法及系统
US9161080B2 (en) Content delivery network with deep caching infrastructure
JP5143957B2 (ja) トポロジを意識したキャッシュ協働
JP5745169B2 (ja) コンテンツ処理方法、コンテンツ処理デバイス、およびコンテンツ処理システム
KR101922607B1 (ko) 네트워크 환경에서의 캐싱을 위한 방법 및 장치
WO2009079948A1 (fr) Procédé de mise en tampon et d'interrogation de contenu, et système de transmission multimédia point à point
WO2010127618A1 (zh) 一种实现流媒体内容服务的系统和方法
JP2004192170A (ja) アクセス中継装置
CN101841553A (zh) 网络上请求资源的位置信息的方法、用户节点和服务器
CN102438020A (zh) 内容分发网络中内容分发的方法、设备和网络系统
KR20140032064A (ko) 컨텐츠 전송 서비스 방법, 이를 위한 캐시 장치
CN101635741B (zh) 分布式网络中查询资源的方法及其系统
CN103825916A (zh) 一种资源下载方法及系统
JP2011118593A (ja) データ転送サーバ、データ転送システム、データ転送方法およびプログラム
WO2014075426A1 (zh) 一种数据更新方法及web服务器
KR20130033252A (ko) 서비스 오버레이 네트워크에서 종단간 ＱｏＳ 보장형 콘텐츠 전달 방법 및 그 시스템
CN114095573B (zh) 基于边缘缓存的cdn-p2p网络的内容副本放置方法
WO2013047207A1 (ja) キャッシュシステム、キャッシュ方法、及びキャッシュサーバ
JP2013105227A (ja) Ｐ２Ｐ型Ｗｅｂプロキシネットワークシステム
JP2014203329A (ja) ストレージシステム、ノード装置及びデータ管理方法
Zhou et al. A cooperative hybrid caching strategy for P2P mobile network
CN116633921A (zh) 基于边缘缓存的cdn-p2p网络及缓存方法、缓存放置方法
CN115174471A (zh) 一种icn路由器存储单元的缓存管理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180000652.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11795116

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11795116

Country of ref document: EP

Kind code of ref document: A2