WO2010118638A1 - 一种基于地理位置信息编码的cdn网络系统及数据分发方法 - Google Patents

一种基于地理位置信息编码的cdn网络系统及数据分发方法 Download PDF

Info

Publication number
WO2010118638A1
WO2010118638A1 PCT/CN2010/000495 CN2010000495W WO2010118638A1 WO 2010118638 A1 WO2010118638 A1 WO 2010118638A1 CN 2010000495 W CN2010000495 W CN 2010000495W WO 2010118638 A1 WO2010118638 A1 WO 2010118638A1
Authority
WO
WIPO (PCT)
Prior art keywords
network
node
location information
cache
data
Prior art date
Application number
PCT/CN2010/000495
Other languages
English (en)
French (fr)
Inventor
王劲林
尤佳莉
齐向东
王玲芳
邓浩江
Original Assignee
中国科学院声学研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院声学研究所 filed Critical 中国科学院声学研究所
Priority to JP2012505033A priority Critical patent/JP5532361B2/ja
Publication of WO2010118638A1 publication Critical patent/WO2010118638A1/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal

Definitions

  • the present invention relates to a structure of a content distribution network composed of distributed nodes, and more particularly to a CDN network system and a data distribution method based on geographic location information coding.
  • the full name of the CDN is the Content Distribution/Delivery Network, which is the content distribution network.
  • the purpose is to add a new network architecture to the existing Internet, and publish the content of the website to the edge of the network closest to the user so that the user can obtain the desired content nearby.
  • the CDN can reduce the delay and solve the Internet.
  • the situation of network congestion; on the other hand, it can effectively implement a variety of broadband applications and promote the development of the entire broadband industry.
  • CDN is a virtual network that is built on top of the Internet and consists of node server groups distributed in different areas. It is an application-level "value-added" network built on the existing Internet network structure. It is also a kind of transparent.
  • the middle layer of the service which utilizes technologies such as distributed caching/replication, load balancing, traffic engineering, and client redirection, to provide various network content distribution and service delivery functions, including dynamically deploying network content to the edge, according to the network.
  • Content processing traffic forwarding access requests to the optimal server, so that users can get the required information from the closest location to the user as quickly as possible, which can solve network congestion, improve response speed and quality of service, especially There are unparalleled advantages of other technologies in streaming media transmission.
  • the patent CN1738295A published on February 22, 2006 also proposes a method of encoding user location information, which can obtain an identifier that uniquely identifies the user, but such an encoding method cannot
  • the nodes of the Cache network layer are networked according to the geographical relationship, and the area aggregation of nodes in the Cache network layer cannot be guaranteed.
  • Patent CN101026744A published on Aug. 29, 2007, proposes a method of performing slice storage on stored data blocks, but the invention does not describe the characteristics of the slice, such as length, number, how to divide, etc., so in practical applications The slicing method cannot perform flexible slice division with unequal length according to the actual storage capacity of each storage node. Summary of the invention
  • the object of the present invention is to overcome the situation that the existing CDN network system has a large delay in data storage and access, and is likely to cause congestion of the Internet network, thereby proposing a CDN network system based on geographic location information coding and a data distribution method. .
  • the CDN network system and the data distribution method based on the geographic location information coding proposed by the invention enable the CDN system to have higher anti-dynamicity and expandability through hierarchical storage and management of the media data and the management data, and facilitate the media. File distribution processing and data management.
  • a CDN network system based on geographic location information coding
  • the CDN network system includes a network management layer, a local content center management layer, and a Cache network layer;
  • the network management layer is configured to be responsible for information management of the entire network and analysis and execution of system administrator operation commands, and the layer is served by a server having backup;
  • the local content center management layer is responsible for storing related calculations and management information of the local area of the CDN, separating the management data and the media data, facilitating system expansion and user behavior statistics and calculation, and the layer is stabilized by partial storage capacity.
  • a node with strong computing power
  • the Cache network layer is configured to be responsible for routing and storing required backup data, and is composed of a plurality of nodes having certain storage capabilities;
  • the encoding method based on the hierarchical geographic location information obtains an ID value of an N-bit sequence according to the geographical location information, and the sequence represents geographical location information from left to right, from a large region to a small region, and hierarchically. Each area is represented by a numerical value of the same or different number of digits.
  • the nodes of the Cache network layer described in the above technical solution form a network by means of P2P.
  • the ID value of the N-bit sequence specifically includes:
  • the coding of the difference of the area is obtained by IP address mapping and matching.
  • the mapping For the target of different applications, the distance measured by the network, the mapping generates a code that characterizes the difference in the region.
  • the coding method based on hierarchical geographical location information is to obtain an ID value of an N-bit sequence according to geographical location information, and the sequence represents geographical location information from left to right, from large area to small area, and hierarchically, each area is composed of Numerical representation of different numbers of digits;
  • the data distribution method specifically includes the following steps:
  • the network management server decides to distribute the content by means of an administrator setting or by means of a preset rule by the system to automatically distribute the decision, including: file name, target area, and other auxiliary information;
  • the network management server sends a message to the local management server of the target network according to the distribution decision information, including: the number of files to be distributed, the name, the total amount of data, the data volume of each program, the file name, the file source address, and the program. Initial popularity and geographic location information;
  • the local management server processes the message, cuts each file to be distributed into data blocks, calculates the size of all the data blocks, the number of backups and placement positions of each block, and the required storage space, and calculates the sum of the required space;
  • the local management server determines whether the remaining space of the local Cache network satisfies the storage requirement
  • the local management server calculates the hash value blockID_i of each blocki through the encoding method based on the hierarchical geographic location information, and issues a distribution instruction to the Cache node; otherwise, proceeds to step 9);
  • the local management server sends the message of the distributed blocki to the node in the Cache network layer, and the node that receives the message finds the node closest to the blockID_i hash space as the master node of the blocki through the distributed hash routing protocol; All the blocki backup information is stored on the home node of the master node. At the same time, the copy of the blocki is stored in the Cache network layer according to the calculated number and location of the copy;
  • the Cache node notifies the local management server of the data backup success message; 8)
  • the local management server indexes the corresponding file, and the index items include: a file name, a file ID, a corresponding data block ID, a number of data block copies, and a data block copy lifetime;
  • the local management server determines the current Cache network layer space size, if the optimized space is sufficient, go to step 5); otherwise, perform step 11);
  • the local management server notifies the entire network management server that the distribution fails;
  • Step 3 the file to be distributed is cut into data blocks, and the file can be unequal-lengthly sliced according to a plurality of parameter indicators to form data blocks of different sizes, and the parameters of the unequal-length slices are performed.
  • Indicators including: Access popularity on the time domain of the file.
  • the method for deleting the file is as follows:
  • the block to be deleted is processed one by one;
  • the primary node sends a delete message to each Cache node in the list;
  • the primary node home node After the deletion is completed, the primary node home node notifies the local management server;
  • the local management server updates the index information.
  • the deletion policy is selected according to the principle that the longer the time is added to the CDN network or the lower the priority.
  • the CDN network system of the present invention includes a three-layer architecture: a network management layer, a local content center management layer, and a Cache network layer, wherein the entire network management layer is served by a stable and reliable server with backup, and is mainly responsible for Analysis and execution of information management and system administrator operation commands of the entire network;
  • the local content center management layer is composed of nodes with stable storage capacity and strong computing power.
  • the main task is to be responsible for the related calculation and management of the local area of the CDN.
  • the storage of information separates the management data from the media data, facilitating system expansion and user behavior statistics and calculations;
  • the Cache network layer is organized by many nodes through P2P, and is mainly responsible for routing and storing the required backup data.
  • each server function and processing method are as follows:
  • the management of the entire network adopts the Global Manage Server (GM): it is responsible for configuring network control parameters, maintaining and updating parameters; configuring the content center according to the geographical attributes; storing global information of all content centers; content. Helps generate target content centers and Cache networks based on pre-configured global parameters. Collects global statistics such as total storage volume, total number of nodes, total files, and file access times for each content center and Cache network to prepare for further optimization management. .
  • This layer is set up to facilitate the expansion of services and the addition of new service areas, while facilitating the operator's update and optimization of control information.
  • the content center layer uses Local Management Server (LM):
  • LM Local Management Server
  • the content center is the server designated by GM, responsible for the global information maintenance and calculation of the Cache network in each region. All files obtained from the data source are downloaded by LM. To the local, and LM to block it, calculate the number of copies and corresponding placement positions required for each data block according to the existing file popularity and other information, and distribute to the Cache network node.
  • the content management center layer of the same region can be jointly responsible for multiple LMs.
  • Each LM stores global index information in the Cache network of the region, and the LMs are fully interconnected (see Figure 2). Multiple LMs can reduce the computational pressure of LM and speed up the processing time of the distribution process.
  • the advantages of this layer are:
  • GM can effectively collect statistical information of file access from LM by means of regular update of local information, which is convenient for operators or system designers to analyze user behavior.
  • Cache Peers The constituent nodes of the Cache network layer are called Cache Peers (CPs). All CPs in all regions form a global Cache network through distributed hash tables (DHT), and the CP nodes in the same region are called For a region's Cache network, and managed by the LM of each region, the nodes in the Cache network will remain connected to at least one LM (see Figure 3).
  • a coding method based on hierarchical geographic location information ie, a hash method
  • a hash method is applied to ensure that nodes with similar geographic locations are in the same area on the topology map.
  • the CP node receives the distribution message sent by the LM, finds the location where the data copy is to be placed, and makes a backup to speed up user access.
  • Each region's LM manages all CPs of the Cache network, including the number of copies of the file data block, the location of the copy, the distribution of user access behavior, lifetime, popularity, and so on.
  • Each CP node stores an ID The data block closest to the current node ID and the corresponding data block survival function periodically check the status of the data block and delete the expired data block.
  • all CP nodes are organized by DHT.
  • LM generates and manages data block index entries for each file.
  • a Content Providing Server that provides a data source for the network system of the present invention is a part independent of the above three-layer structure, and may be a separate server or a server cluster as data.
  • the source stores the raw data of the file to be distributed.
  • the CDN network system based on the hierarchical geographic location information coding method and the distribution processing method thereof have the beneficial effects that: the system ensures the effective division of the management capability of the node through the multi-layer architecture, which is beneficial to the expansion of the system.
  • Hierarchical geographical location information enables efficient aggregation of management nodes and storage nodes in the CDN, facilitating network management and expansion.
  • the system has good anti-dynamic characteristics.
  • the distribution and deletion of the optimization process ensures the dynamic update of the content, strengthens the system's service capabilities, and enhances the user experience.
  • FIG. 1 is a schematic structural diagram of a CDN network system based on geographic location information encoding according to the present invention
  • FIG. 2 is a schematic diagram showing a organization manner of a content center management server LM of a CDN network system based on geographic location information encoding according to the present invention
  • FIG. 3 is a schematic structural diagram of a Cache network of a CDN network system based on geographic location information coding according to the present invention
  • FIG. 4 is a flow chart of a data distribution method of a CDN network system based on geographic location information encoding according to the present invention
  • FIG. 5 is a flowchart of a data deletion process in a data distribution method of a CDN network system based on geographic location information encoding according to the present invention
  • Figure 6 is a schematic diagram of the Cache network layer in the country.
  • CDN network system based on geographic location information encoding and its distribution processing method of the present invention will be described in detail below with reference to the accompanying drawings and specific embodiments.
  • FIG. 1 is a schematic structural diagram of a CDN network system based on geographic location information coding according to the present invention.
  • a CDN network system based on geographic location information coding of the present invention includes a three-layer system The entire network management layer, the local content center management layer and the Cache network layer, wherein the entire network management layer is served by a stable and reliable backup server, which is mainly responsible for information management of the entire network and analysis of system administrator operation commands.
  • the execution of the local content center management layer is composed of nodes with stable storage capacity and strong computing capability, and the main task is to be responsible for storing related calculations and management information of the local area of the CDN, so that the management data and the media data are separated, which is convenient.
  • the Cache network layer is organized by many nodes through P2P, and is mainly responsible for routing and storing required backup data.
  • the introduction of hierarchical geocoding methods ensures that The area aggregation of nodes in the Cache network layer, and the application of P2P technology facilitates the expansion of this layer, reduces the load on the entire network management and content management server, and improves the user experience.
  • each server function and processing method are as follows:
  • the entire network management layer adopts a global management server (GM): is responsible for configuring network control parameters, maintaining and updating parameters; Configure the Content Center; store global information for all content centers; set up distribution content. Helps generate target content centers and Cache networks based on pre-configured global parameters. Collects global statistics such as total storage volume, total number of nodes, total files, and file access times for each content center and Cache network to prepare for further optimization management. .
  • the setting of this layer facilitates the expansion of services and the addition of new service areas, and facilitates the operator's update and optimization of control information.
  • FIG. 2 is a schematic diagram of the organization of the content center management server LM of the CDN network system based on the geographic location information encoding.
  • the content center is a server designated by the GM to be responsible for the maintenance and calculation of the global information of the Cache network in each region. All files obtained from the data source are downloaded to the local by the LM, and are blocked by the LM, which is popular according to the existing files. The information such as the degree of calculation calculates the number of copies and corresponding placement positions required for each data block, and distributes them to the Cache network node.
  • the content management center layer in the same area can be jointly responsible for multiple LMs.
  • Each LM stores global index information in the Cache network of the area, and the LMs are fully interconnected. Multiple LMs can reduce the computational pressure of LM and speed up the processing time of the distribution process.
  • the advantages of this layer are:
  • FIG. 3 is a schematic structural diagram of a Cache network of a CDN network system based on geographic location information coding according to the present invention.
  • the constituent nodes of the Cache network layer are called Cache Peers (CPs). All CPs in all regions form a global Cache network through distributed hash tables (DHT), and the same region
  • DHT distributed hash tables
  • the CP node is called a regional Cache network and is managed by the LM of each region.
  • the nodes in the Cache network are connected to at least one LM.
  • a coding method based on hierarchical geographic location information (ie, a hash method) is applied to ensure that nodes with similar geographic locations are in the same area on the topology map.
  • the CP node receives the distribution message sent by the LM, finds the location where the data copy is to be placed, and performs backup to speed up user access.
  • Each region's LM manages all CPs in the Cache network, including the number of copies of the file data block, the location of the copy, the distribution of user access behavior, lifetime, popularity, and so on.
  • Each CP node stores the data block whose ID is closest to the current node ID and the corresponding data block survival function, periodically checks the status of the data block, and deletes the expired data block.
  • all CP nodes are organized by DHT.
  • LM generates and manages data block index entries for each file.
  • the CP manages its own storage content and reduces the cost of network communication.
  • nodes adjacent to the geographic area can also be adjacent to the hash space.
  • a Content Providing Server that provides a data source for the network system of the present invention is a part independent of the above three-layer structure, and may be a separate server or a server cluster as data.
  • the source stores the raw data of the file to be distributed.
  • Fig. 4 is a flow chart showing a distribution processing method of a CDN network system based on geographical location information encoding of the present invention.
  • a data distribution processing method of a CDN network system based on geographic location information coding according to the present invention includes the following steps:
  • the entire network management server decides to distribute the content (can be automatically distributed by the system through the way set by the administrator or through pre-set rules), including: file name, target area and other auxiliary letters 2)
  • the network management server sends a message to the local management server of the target network according to the distribution decision information, including: the number of files to be distributed, the name, the total amount of data, the data volume of each program, the file name, the file source address, and the program.
  • Initial popularity and geographic location information including: the number of files to be distributed, the name, the total amount of data, the data volume of each program, the file name, the file source address, and the program.
  • the local management server processes the message, cuts each file to be distributed into data blocks, calculates the size of all the data blocks, the number of backups and placement positions of each block, and the required storage space, and calculates the sum of the required space;
  • the local management server determines whether the remaining space of the local Cache network satisfies the storage requirement
  • the local management server calculates the hash value blockID_i of each blocki through the encoding method based on the hierarchical geographic location information, and issues a distribution instruction to the Cache node; otherwise, go to step 9);
  • the coding method of hierarchical geographical location information can effectively map nodes and data with similar geospatial spaces to points close to the hash space, so that nodes and data have geographical region aggregation, which helps to improve the hit of CDN. rate.
  • the obtained ID value is an N-bit sequence, from left to right, from large area to small area, hierarchically representing geographical location information, each area may be different The numerical value of the number of digits. For example, an 8-digit digital sequence, in which the first two digits represent provinces and cities, 3 and 4 digits represent regions/county cities, 5 and 6 digits represent streets, and the last two digits represent house numbers and so on.
  • Different application environments have different coding granularities, from coarse to fine, and clearly organized.
  • the coding of the difference of the area is obtained by means of IP address mapping, matching, and the like.
  • the local management server sends the message distributing the blocki to the node in the Cache network layer, and the node receiving the message finds the hash space with the blockID_i through the distributed hash routing protocol (eg: Chord, Pastry, CAN, Tapstry, etc.)
  • the most recent node as the main node of blocki, the home node; all backup information of blocki is stored on the home node of the master node.
  • the copy of blocki is stored in the Cache network layer. ;
  • the local management server indexes the corresponding file, and the index items include: file name, file ID, corresponding data block ID, number of data block copies, and data block copy lifetime.
  • FIG. 5 is a flowchart of a data deletion process in a distribution processing method of a CDN network system based on geographic location information encoding according to the present invention.
  • the method for deleting the file is as follows:
  • the list After obtaining the list of data blocks to be deleted by LM calculation (by a certain deletion strategy, for example, a block that is added to the CDN network for a longer period of time, the lower the priority is selected, the list includes information such as the ID value of each data block. ), process the block to be deleted one by one.
  • the home node of each data block saves all the backup locations of the data block, and takes out the backup location information list.
  • the Home node sends a delete message to each CP node in the list.
  • the home node After the deletion is completed, the home node notifies LM.
  • the local management server determines the current Cache network layer space size, if the optimized space is sufficient, go to step 5); otherwise, perform step 11);
  • the local management server LM notifies the entire network management server that the GM distribution has failed.
  • the CDN network system and functions will be described below in conjunction with specific embodiments. Assume that the CDN network needs to cover Beijing, Shanghai, and Tianjin. Taking Beijing area as an example, assume that the server distribution is as shown in Table 1 below; two servers are responsible for content center management in Beijing for LM1 and LM2; in addition, one server acts as the GM to manage the CDN's global information.
  • Pastry is a basic routing protocol that quickly matches nodes in the corresponding region by means of prefix matching. Table 1: Distribution of Cache Network Layer Servers in Beijing
  • the zip code is a 6-digit sequence of numbers, where the first two digits represent the provinces and cities, the middle two digits represent the district/county market, and the last two digits represent the postal service to be delivered. Therefore, by zip code, it is possible to effectively divide a region from a large area to a small area or even a street. Therefore, the zip code of the required distribution area can be used as the geographical location information of the area to generate an ID value in the DHT, and each node ID is a schematic diagram of the Cache network layer of the country as shown in FIG. 6. .
  • the process is as follows:
  • the GM issues a distribution order to LM1 (or LM2), which will be distributed/distributed to Haidian District;
  • the CP node deletes blocklO after receiving the delete message
  • the node 1000812501920145 deletes the blocklO related information
  • the node 1000812501920145 After all the blocklOs are deleted, the node 1000812501920145 notifies that the LM1 deletion is successful;
  • LM1 updates the index table containing blocklO
  • LM1 cuts the file into data blocks (or not), each block is a block, and the file can be divided into data block sequences, which are assumed to be divided into 3 blocks, which are ⁇ blockl, block2, block3 ⁇ ;
  • the index storage ID is generated for the file by the encoding method based on the hierarchical geographical location information, assuming that the ID is 16 bits in total, the first 6 bits are the zip code, and the last 10 bits are the hash function generating values, namely:
  • Block ID generation formula
  • block3 ⁇ is ⁇ 1000810003215200, 100081013567810, 100084816213269 ⁇ .
  • step 16 Assuming that the size of the three data blocks are 100M, 200M and 300M, the required storage space for step 16) is 900M. LMl calculates the remaining free space of the Haidian District node in the Cache network. If the copy backup requirement is met, a copy of the resource is generated according to the calculation result of step 16) and placed.
  • the steps for placing each data block are as follows, such as blockl :
  • LMl randomly selects a node as the ingress node, notifies the portal of the distribution message of the block1; b) the ingress node finds the node 10008137094678 closest to the ID of the IDOOblock1, which is called the home node of the block l, and stores a copy of the blockl;
  • the home node After the home node receives the message that the backup is completed, it notifies the ingress node.
  • the IDs of all the blocks and the corresponding copy information are formed into index entries, and are stored on the node 1000812501920145 closest to the RID (1000812356780132) according to the Pastry routing algorithm;
  • Node 1000812501920145 informs the content center that the LM1 data copy is successfully backed up, generates a global index item, stores it in LM1, and the resource join is completed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

一种基于地理 信息编码的 CDN网络系统及数据分发 技术领域
本发明涉及由分布式节点组成的内容分发网络的结构, 尤其涉及一种基于地 理位置信息编码的 CDN网络系统及数据分发方法。
背景技术
CDN的全称是 Content Distribution/Delivery Network, 即内容分发网络。 其目 的是通过在现有的 Internet中增加一层新的网络架构, 将网站的内容发布到最接近 用户的网络边缘使用户可以就近取得所需的内容, 一方面, CDN可以减少延迟, 解决 Internet网络拥挤的状况; 另一方面, 还可以有效实现多种宽带应用, 推动整 个宽带产业的发展。
CDN是建立并覆盖在互联网之上、 由分布在不同区域的结点服务器群组成的 虚拟网络, 是在已有的 Internet网络结构基础上构建的应用层 "增值"网络, 也是 一种提供透明服务的中间层, 它利用分布式缓存 /复制、 负载均衡、 流量工程和客 户端重定向等技术, 专门提供各种网络内容分布和服务发送的功能, 包括动态地 部署网络内容到边缘, 根据网络内容处理通信量, 将访问请求转发给最优服务器, 从而使得用户能以最快的速度, 从最接近用户的地方获得所需的信息, 可解决网 络拥塞, 提高响应速度和服务质量, 特别是在流媒体传输方面有着其它技术无可 比拟的优势。
随着互联网和 P2P技术的发展, 越来越多的运营商和公司看到了其中的商机, 而如何让用户更快更好地获得服务则是一个关键问题。 由于地区的差别, 不同地 方对内容的需求可能有所侧重, 为了让本地区侧重的内容易于被本区域用户访问, 系统会利用全局负载均衡技术, 将该内容分发到与用户访问距离最近的正常工作 的服务节点上, 当用户提出请求时, 直接对其响应。 当用户访问已经使用了 CDN 服务的节点时, 充分考虑用户发起请求的地点和当时网络的情况, 来决定把用户 的请求定向到离用户最近同时负载相对较轻的节点服务器上, 保证用户的访问能 得到更及时可靠的响应, 2006年 2月 22日公开的专利 CN1738295A也提出了一种 对用户位置信息进行编码的方式, 该方法可以得到唯一标识该用户的标识, 但是 此种编码方法不能将 Cache 网络层的节点按照地理位置关系进行组网, 也就不能 保证 Cache 网络层中节点的区域聚集性。 由于大量的用户访问都由分布在网络边 缘的 CDN节点服务器直接响应了, 这就不仅提高了用户的访问质量, 同时有效地 降低了源服务器的负载压力。2007年 8月 29日公开的专利 CN101026744A提出了 一种对存储的数据块进行分片存储的方法, 但是该发明没有说明切片的特征, 如 长度、 数量、 如何划分等, 因此在实际应用中该种切片方式无法根据各个存储节 点的实际存储能力进行不等长的灵活的切片划分。 发明内容
本发明的目的在于, 为克服现有的 CDN网络系统在数据存储和访问时延迟较 大大, 且容易造成 Internet网络拥挤的状况, 从而提出一种基于地理位置信息编码 的 CDN网络系统及数据分发方法。
本发明提出的一种基于地理位置信息编码的 CDN网络系统及数据分发方法, 通过对媒体数据和管理数据的分层存储和管理, 使 CDN系统具有更高的抗动态性 和扩展性, 便于媒体文件的分发处理和数据管理。
为了实现上述目的, 本发明的一种基于地理位置信息编码的 CDN网络系统, 所述的 CDN网络系统包含全网管理层、 本地内容中心管理层和 Cache网络层; 其 中,
所述的全网管理层, 用于负责全网的信息管理和系统管理员操作命令的分析 和执行, 该层由有备份的服务器担任;
所述的本地内容中心管理层, 用于负责 CDN局部区域的相关计算和管理信息 的存储, 使管理数据和媒体数据分离, 便于系统扩展和用户行为的统计和计算, 该层由部分存储能力稳定、 计算能力强的节点组成;
所述的 Cache 网络层, 用于负责对所需备份数据的路由和存储, 由若干具有 一定存储能力的节点组成; 其特征在于,
所述的 Cache 网络层应用基于层次型地理位置信息的编码方式, 生成 Cache 网络层节点的唯一 ID标识, 节点 ID=地理位置编码 +根据用户网络特征得到的哈 希值, 以保证 Cache网络层中节点的区域聚集性;
其中, 所述的基于层次型地理位置信息的编码方式是根据地理位置信息获得 一个 N位序列的 ID值, 该序列从左到右、 由大区域到小区域、 层次性的表示地理 位置信息, 每个区域由相同或不同位数的数值表示。
上述技术方案所述的 Cache网络层的节点通过 P2P的方式形成网络。
上述技术方案, 所述的 N位序列的 ID值, 具体包含:
a) 通过一些官方规定的地理区域代号进行组合表示, 包括: 邮政编码、 行政 区域代码以及电话区号;
b) 针对不同应用, 通过 IP地址映射、 匹配方式得到表征区域差别的编码。 c) 针对不同应用的目标, 通过网络测量得到的距离, 映射生成表征区域差别 的编码。
作为本发明的一个改进, 本发明还提出一种数据分发方法, 该方法是基于层 次型地理位置信息的编码方式得到的 CDN网络系统的数据分发方法, 该 CDN网 络系统中的 Cache 网络层应用基于层次型地理位置信息的编码方式, 生成 Cache 网络层节点的唯一 ID标识, 节点 ID=地理位置编码 +根据用户网络特征得到的哈 希值, 以保证 Cache 网络层中节点的区域聚集性; 所述的基于层次型地理位置信 息的编码方式是根据地理位置信息获得一个 N位序列的 ID值, 该序列从左到右、 由大区域到小区域、 层次性的表示地理位置信息, 每个区域由不同位数的数值表 示;
所述的数据分发方法, 具体包括如下步骤:
1 )全网管理服务器通过管理员设定的方式或者通过预先设定规则由系统进行 自动分发决策的方式决策分发内容, 包括: 文件名、 目标区域以及其他辅助信息;
2) 全网管理服务器根据分发决策信息, 向目标网络的本地管理服务器发送消 息, 包含: 待分发的文件数目、 名称、 数据总量、 每个节目的数据量、 文件名、 文件源地址、 节目流行度初值以及地理位置信息;
3 ) 本地管理服务器处理消息, 将每个待分发文件切成数据块, 计算所有数据 块的大小、 每一块的备份数目和放置位置以及所需存储空间, 并计算所需空间总 和;
4) 本地管理服务器判断本地的 Cache网络剩余空间是否满足存储要求;
5 ) 如果满足, 本地管理服务器通过基于层次型地理位置信息的编码方法, 计 算每个 blocki的哈希值 blockID_i, 并向 Cache节点发出分发指令; 否则, 转而执 行步骤 9);
6) 本地管理服务器将分发 blocki的消息发送至 Cache网络层中的节点, 收到 消息的节点通过分布式哈希路由协议, 找到与 blockID_i哈希空间上最近的节点作 为 blocki的主节点 home node; blocki的所有备份信息都存储在主节点 home node 上, 同时, 根据计算得到的副本数目和位置在 Cache网络层中对 blocki的副本做 存储;
7) Cache节点通知本地管理服务器数据备份成功消息; 8)本地管理服务器为对应文件建立索引, 索引项包括: 文件名、 文件 ID、 对 应数据块 ID、 数据块副本数以及数据块副本生存期;
9) 通过本地管理服务器的计算, 优化 Cache存储空间, 由 Cache节点删除不 常用的 block, 增加可用空间, 同时更新本地管理服务器中的全局信息;
10) 本地管理服务器判断当前 Cache网络层空间大小, 如果优化后空间足够, 转而执行步骤 5 ); 否则, 执行步骤 11 );
11 ) 由本地管理服务器通知全网管理服务器分发失败;
其中, 步骤 3 )所述的将每个待分发文件切成数据块, 具体能够根据若干参数 指标对文件进行不等长切片形成不同大小的数据块, 所述的进行不等长切片的若 干参数指标, 包含: 文件时域上的访问热度。
上述技术方案, 所述步骤 9) 中, 所述文件的删除方法步骤如下:
a) 通过本地管理服务器利用某种删除策略计算得到待删除数据块列表后,逐 一处理待删除 block;
b) 逐一取出 block的 ID值;
c) 对每个 block ID, 通过 DHT协议, 向其主节点 home node发送删除消息; d) 每个数据块的 home node保存了该数据块所有的备份位置, 取出备份位置 信息列表;
e) 主节点 Home node向列表中的每个 Cache节点发送删除消息;
f) Cache节点删除 block后, 通知主节点 home node;
g) 删除完成后, 主节点 home node通知本地管理服务器;
h) 本地管理服务器更新索引信息。
其中, 所述删除策略按照加入 CDN网络时间越长的 block或者优先级越低的 原则进行选择。
本发明所述的 CDN网络系统, 包括三层体系结构: 全网管理层, 本地内容中 心管理层和 Cache 网络层, 其中, 所述全网管理层由稳定可靠、 有备份的服务器 担任, 主要负责全网的信息管理和系统管理员操作命令的分析和执行; 所述本地 内容中心管理层是由部分存储能力稳定, 计算能力强的节点所组成, 主要任务是 负责 CDN局部区域的相关计算和管理信息的存储, 使管理数据和媒体数据分离, 便于系统扩展和用户行为的统计和计算;所述 Cache网络层是由许多节点通过 P2P 的方式组织, 主要负责对所需备份数据的路由和存储, 同时, 层次型地理位置编 码方法的引入, 保证了 Cache网络层中节点的区域聚集性, 而 P2P技术的应用, 便于该层的扩展, 降低了全网管理和内容管理服务器的负载, 提升了用户体验。 在本发明的网络系统中, 各服务器功能和处理方法如下:
參 所述全网管理层采用全网管理服务器(Global Manage Server: GM): 负责 配置网络控制参数、 对参数进行维护和更新; 根据地域属性配置内容中心; 存储 所有内容中心的全局信息; 设置分发内容。 根据预先配置的全局参数, 帮助生成 目标内容中心及 Cache网络; 定期收集各个内容中心和 Cache网络的存储总量、 节点总数、 文件总数、 文件访问次数等全局统计信息, 为进一步的优化管理做准 备。 该层的设置便于服务的扩展和新服务地区的加入, 同时利于运营商对控制信 息的更新和优化。
• 所述内容中心层采用本地管理服务器(Local Manage Server: LM): 内容 中心是由 GM指定, 负责每个地区 Cache网络全局信息维护和计算的服务器, 所 有从数据源得到文件, 都由 LM下载到本地, 并由 LM对其进行分块, 根据已有 的文件流行度等信息计算每个数据块所需的副本数和对应放置位置, 并向 Cache 网络节点进行分发。 同时, 同一个地区的内容管理中心层, 可由多个 LM共同负 责, 每个 LM中都存储该地区 Cache网络内的全局索引信息, LM之间全互联(见 图 2)。 多 LM可以减少 LM的计算压力, 加速分发过程的处理时间。 该层的优势 为:
■ 无需人工干预地集中了文件的管理信息, 有效地将 CDN中的计算功 能和存储功能划分到不同节点上, 降低了节点负载和维护复杂性;
■ 基于管理信息和存储内容的分层管理, 通过局部信息定期更新的方 式, GM可以从 LM中有效收集文件访问的统计信息,便于运营商或者系统设计者 对用户行为的分析。
■ 所述 Cache网络层的组成节点称为 Cache节点 ( Cache Peer: CP), 所 有地区的所有 CP通过分布式哈希表(DHT)共同组成一个全局的 Cache网络, 而 同一个地区的 CP节点称为一个地区的 Cache网络,并由每个地区的 LM进行管理, Cache网络中的节点会和至少一个 LM保持连接(见图 3 )。为了使同一个地区 Cache 网络中的节点具有拓扑临近性,这里应用基于层次型地理位置信息的编码方法(即 哈希方法), 保证地理位置相近的节点在拓扑图上处于同一个区域。 CP 节点接收 LM所发出的分发消息,找到数据副本所要放置的位置,并做备份,加速用户访问。 每个地区的 LM对 Cache网络的所有 CP进行管理, 包括文件数据块的副本数, 副 本放置位置, 用户访问行为分布, 生存期, 流行度等信息。 每个 CP节点存储 ID 与当前节点 ID最近的数据块和对应数据块生存函数, 定期检测数据块状态, 删除 过期数据块。 为了使 Cache网络便于扩展, 更新, 适应网络动态性, 所有的 CP节 点通过 DHT进行组织。 最后, LM为每个文件生成数据块索引项并进行管理。
另外, 为本发明的网络系统提供数据源的内容提供服务器 (Content Providing Server, CPS), 是独立于上述三层结构之外的部分, 可以是单独的服务器, 也可以 是服务器集群, 其作为数据源存储待分发文件的原始数据。
本发明的基于层次型地理位置信息编码方法的 CDN网络系统及其分发处理方 法的有益效果在于: 该系统通过多层体系结构, 保证了节点在管理能力上的有效 分工, 利于系统的扩展, 通过层次型地理位置信息, 使 CDN中的管理节点和存储 节点进行有效聚集, 便于网络的管理和扩展, 同时, 通过 P2P 网络结构, 系统具 有良好的抗动态性特点。 另外, 分发和删除优化过程, 保证了内容的动态更新性, 加强了系统的服务能力, 提升了用户体验。
附图说明
图 1为本发明的基于地理位置信息编码的 CDN网络系统的结构示意图; 图 2为本发明的基于地理位置信息编码的 CDN网络系统的内容中心管理服务 器 LM的组织方式示意图;
图 3为本发明的基于地理位置信息编码的 CDN网络系统的 Cache网络的结构 示意图;
图 4为本发明的基于地理位置信息编码的 CDN网络系统的数据分发方法的流 程图;
图 5为本发明的基于地理位置信息编码的 CDN网络系统的数据分发方法中的 数据删除过程流程图;
图 6为全国的 Cache网络层示意图。
具体实 式
下面结合附图和具体实施例对本发明的基于地理位置信息编码的 CDN网络系 统及其分发处理方法进行详细的说明。
图 1为本发明的基于地理位置信息编码的 CDN网络系统的结构示意图。如图 1所示, 本发明的一种基于地理位置信息编码的 CDN网络系统, 包括三层体系结 构: 全网管理层, 本地内容中心管理层和 Cache 网络层, 其中, 所述全网管理层 由稳定可靠、 有备份的服务器担任, 主要负责全网的信息管理和系统管理员操作 命令的分析和执行; 所述本地内容中心管理层是由部分存储能力稳定, 计算能力 强的节点所组成, 主要任务是负责 CDN局部区域的相关计算和管理信息的存储, 使管理数据和媒体数据分离, 便于系统扩展和用户行为的统计和计算; 所述 Cache 网络层是由许多节点通过 P2P的方式组织, 主要负责对所需备份数据的路由和存 储, 同时, 层次型地理位置编码方法的引入, 保证了 Cache 网络层中节点的区域 聚集性, 而 P2P技术的应用, 便于该层的扩展, 降低了全网管理和内容管理服务 器的负载, 提升了用户体验。
在本发明的网络系统中, 各服务器功能和处理方法如下: 參 全网管理层采用全网管理服务器(Global Manage Server: GM): 负责配置 网络控制参数、对参数进行维护和更新; 根据地域属性配置内容中心; 存 储所有内容中心的全局信息; 设置分发内容。 根据预先配置的全局参数, 帮助生成目标内容中心及 Cache网络;定期收集各个内容中心和 Cache网 络的存储总量、 节点总数、 文件总数、 文件访问次数等全局统计信息, 为 进一步的优化管理做准备。该层的设置便于服务的扩展和新服务地区的加 入, 同时利于运营商对控制信息的更新和优化。 參 内容中心层采用本地管理服务器(Local Manage Server: LM): 图 2为本 发明的基于地理位置信息编码的 CDN 网络系统的内容中心管理服务器 LM的组织方式示意图。 内容中心是由 GM指定, 负责每个地区 Cache网 络全局信息维护和计算的服务器, 所有从数据源得到文件, 都由 LM下载 到本地, 并由 LM对其进行分块, 根据已有的文件流行度等信息计算每个 数据块所需的副本数和对应放置位置, 并向 Cache网络节点进行分发。 同 时,如图 2所示, 同一个地区的内容管理中心层,可由多个 LM共同负责, 每个 LM中都存储该地区 Cache网络内的全局索引信息, LM之间全互联。 多 LM可以减少 LM的计算压力, 加速分发过程的处理时间。该层的优势 为:
■ 无需人工干预地集中了文件的管理信息, 有效地将 CDN中的计算功 能和存储功能划分到不同节点上, 降低了节点负载和维护复杂性;
■ 基于管理信息和存储内容的分层管理, 通过局部信息定期更新的方 式, GM可以从 LM中有效收集文件访问的统计信息, 便于运营商或 者系统设计者对用户行为的分析。
• 图 3为本发明的基于地理位置信息编码的 CDN网络系统的 Cache网络的 结构示意图。如图 3所示, Cache网络层的组成节点称为 Cache节点(Cache Peer: CP), 所有地区的所有 CP通过分布式哈希表 (DHT) 共同组成一 个全局的 Cache网络, 而同一个地区的 CP节点称为一个地区的 Cache网 络,并由每个地区的 LM进行管理, Cache网络中的节点会和至少一个 LM 保持连接。为了使同一个地区 Cache网络中的节点具有拓扑临近性, 这里 应用基于层次型地理位置信息的编码方法 (即哈希方法), 保证地理位置 相近的节点在拓扑图上处于同一个区域。 CP节点接收 LM所发出的分发 消息, 找到数据副本所要放置的位置, 并做备份, 加速用户访问。 每个地 区的 LM对 Cache网络的所有 CP进行管理, 包括文件数据块的副本数, 副本放置位置, 用户访问行为分布, 生存期, 流行度等信息。 每个 CP节 点存储 ID与当前节点 ID最近的数据块和对应数据块生存函数,定期检测 数据块状态, 删除过期数据块。 为了使 Cache网络便于扩展, 更新, 适应 网络动态性, 所有的 CP节点通过 DHT进行组织。 最后, LM为每个文件 生成数据块索引项并进行管理。 该层的优势为:
■ P2P技术的应用可以无需中心监督而快速、 有效地进行数据定位;
■ CP对本身存储内容自行管理, 减少了网络通信代价。
■ 基于层次型地理位置信息的编码方法, 可以使地理区域临近的节点在 哈希空间上也临近。
另外, 为本发明的网络系统提供数据源的内容提供服务器 (Content Providing Server, CPS), 是独立于上述三层结构之外的部分, 可以是单独的服务器, 也可以 是服务器集群, 其作为数据源存储待分发文件的原始数据。
图 4为本发明的基于地理位置信息编码的 CDN网络系统的分发处理方法的流 程图。 如图 4所示, 本发明的一种基于地理位置信息编码的 CDN网络系统的数据 分发处理方法, 其特征在于, 包括如下步骤:
1 ) 全网管理服务器决策分发内容 (可以通过管理员设定的方式, 也可通过预 先设定规则由系统进行自动分发决策), 包括: 文件名、 目标区域以及其他辅助信 2) 全网管理服务器根据分发决策信息, 向目标网络的本地管理服务器发送消 息, 包含: 待分发的文件数目、 名称、 数据总量、 每个节目的数据量、 文件名、 文件源地址、 节目流行度初值以及地理位置信息;
3 ) 本地管理服务器处理消息, 将每个待分发文件切成数据块, 计算所有数据 块的大小、 每一块的备份数目和放置位置以及所需存储空间, 并计算所需空间总 和;
4) 本地管理服务器判断本地的 Cache网络剩余空间是否满足存储要求;
5 ) 如果满足, 本地管理服务器通过基于层次型地理位置信息的编码方法, 计 算每个 blocki的哈希值 blockID_i, 并向 Cache节点发出分发指令; 否则, 转步骤 9);
这里, 层次型地理位置信息的编码方法, 可以有效的将地理空间相近的节点 和数据映射到哈希空间上也相近的点, 使节点和数据具有地理区域聚集性, 有助 于提高 CDN的命中率。 在层次型地理位置信息的编码方法中, 得到的 ID值是一 个 N位的序列, 该序列从左到右, 由大区域到小区域、 层次性的表示地理位置信 息, 每个区域可以由不同位数的数值表示。 比如一个 8 位的数字序列, 其中, 前 两位表示省市, 3、 4两位表示地区 /县市, 5、 6两位表示街道, 最后两位表示门牌 号等等。 不同的应用环境, 存在不同的编码粒度, 由粗到细, 条理清晰。
该编码有多种生成方法, 例如:
a) 通过一些官方规定的地理区域代号进行组合表示, 比如邮政编码、 行政区 域代码、 电话区号等等;
b) 针对不同应用, 通过 IP地址映射、 匹配等方式得到表征区域差别的编码。
6) 本地管理服务器将分发 blocki的消息发送至 Cache网络层中的节点, 收到 消息的节点通过分布式哈希路由协议(如: Chord, Pastry, CAN, Tapstry等), 找 到与 blockID_i哈希空间上最近的节点, 作为 blocki的主节点 home node; blocki 的所有备份信息, 都存储在主节点 home node上, 同时, 根据计算得到的副本数目 和位置, 在 Cache网络层中对 blocki的副本做存储;
7) Cache节点通知本地管理服务器数据备份成功消息;
8)本地管理服务器为对应文件建立索引, 索引项包括: 文件名、 文件 ID、 对 应数据块 ID、 数据块副本数以及数据块副本生存期。
9)通过本地管理服务器的计算,优化 Cache存储空间,即删除不常用的 block, 增加可用空间, 同时更新 LM中的全局信息。 其中, 图 5为本发明的基于地理位置信息编码的 CDN网络系统的分发处理方 法中的数据删除过程流程图。 如图 5所示, 在本步骤 9)的优化 Cache存储空间过 程中, 文件的删除方法步骤如下:
a) 通过 LM 计算得到待删除数据块列表后 (通过某种删除策略, 例如加入 CDN网络时间越长的 block,优先级越低的原则进行选择, 列表中包括每个数据块 的 ID值等信息), 逐一处理待删除 block。
b) 逐一取出 block的 ID值。
c) 对每个 block ID, 通过 DHT协议, 向其 home node发送删除消息。
d) 每个数据块的 home node保存了该数据块所有的备份位置, 取出备份位置 信息列表。
e) Home node向列表中的每个 CP节点发送删除消息。
f) CP节点删除 block后, 通知 home node。
g) 删除完成后, home node通知 LM。
h) LM更新索引信息。
10) 本地管理服务器判断当前 Cache网络层空间大小, 如果优化后空间足够, 转而执行步骤 5 ); 否则, 执行步骤 11 );
11 ) 由本地管理服务器 LM通知全网管理服务器 GM分发失败。 实施例 下面结合具体实施例来说明该 CDN网络系统和功能。 假设该 CDN网络需覆 盖北京, 上海, 天津三地。 以北京地区为例, 假设服务器分布如下述表 1 所示; 两台服务器为 LM1和 LM2负责北京地区的内容中心管理; 除此之外, 一台服务 器作为 GM管理 CDN的全局信息。 这里, Pastry作为基本路由协议, 通过其前缀 匹配的方式, 快速匹配相应地区的节点。 表 1 : 北京地区 Cache网络层服务器分布情况示意
Figure imgf000012_0001
根据 CDN网络的目标和所分发内容的设置, 需要将其分发至离目标最近的服 务节点上。 邮政编码是一个 6位的数字序列, 其中, 前两位表示省市, 中间两位 表示地区 /县市, 最后两位表示所要投递的邮政所。 因此, 通过邮政编码, 可以有 效地将地区从大区域划分到小区域甚至街道。 因此, 所需分发地区的邮政编码可 以作为该地区的地理位置信息, 用以在 DHT中生成 ID值, 各节点 ID如图 6所示 的全国的 Cache网络层示意图。。 当文件/要分发到海淀区时, 过程如下:
1) GM向 LM1 (或者 LM2) 发出分发指令, 将/分发至海淀区;
2) LM1将文件 /从数据源下载到本地;
3) 通过 LM1获取本地 Cache网络中存储空间的占用情况, 发现剩余空间不 足以为新的数据块做备份, 根据一些优化准则 (比如加入 CDN网络时间越长的数 据块, 优先级越低),选出待删除的数据块列表,这里, 待删除数据块列表为 {block 10 , blockll} ;
4) 取出 blocklO的 ID, 如节点 1000812601825135;
5) 通过 DHT 协议找到节点 1000812601825135 的主节点 home node 1000812501920145;
6) 从节点 1000812501920145 中取出 blocklO 所有的备份节点列表 {1000812501920145, 1000813709467800};
7) 向列表中的所有 CP节点发出删除 blocklO的消息;
8) CP节点接到删除消息后删除 blocklO;
9) 同时节点 1000812501920145删除 blocklO相关信息;
10)所有 blocklO都删除结束后,节点 1000812501920145通知 LM1删除成功;
11) LM1更新包含 blocklO的索引表;
12)取出下一个 blockll , 继续删除, 其步骤与 blocklO的删除过程相同; 直至 待删除列表为空, 停止; 删除过程结束;
13)为了加速用户获取, LM1 将文件切成数据块 (也可不切分), 每块是一个 block, 文件可以被分为数据块序列, 假设分为 3块, 为 {blockl, block2, block3} ;
14)根据文件名称, 通过基于层次型地理位置信息的编码方法为文件生成索引 存储 ID, 假设 ID共 16位, 前 6位为邮政编码, 后 10位为哈希函数生成值, 即:
RID = 100081 (地理位置信息编码, 这里用地区邮政编码表示) + Hash(文件 名) (如 2356780132) 即 RID= 1000812356780132
15)通过基于层次型地理位置信息的编码方法为每个数据块生成 ID。数据块 ID 生成公式:
BIDi = 100081 (地理位置信息编码, 这里用地区邮政编码表示) + Hash (文 件名 +block的序号)
假定 {blockl, block2, block3}的 ID为 {1000810003215200, 100081013567810, 100084816213269}。
16)综合流行度等信息, 通过某种副本数目计算方法, 为每个数据块计算所需 副本数目和对应放置位置 (比如, blockl需要放置 2份在节点 1000812501920145 和 1000813709467800 , block2 需要放置 2 份在节点 1000812501920145 和 1000813709467800, block3需要放置 1份在节点 100084816213269)。
17)假设 3个数据块的大小各为 100M, 200M和 300M, 则步骤 16)所需的存 储空间大小为 900M。 LMl计算 Cache网络中, 海淀区节点的剩余可用空间, 如果 满足副本备份要求, 则根据步骤 16) 的计算结果生成资源副本, 并进行放置。 对 每个数据块的放置步骤如下, 如 blockl :
a) LMl随机选择一个节点作为入口节点, 将 blockl的分发消息通知该入口; b) 入口节点找到 IDOOblockl的 ID最近的节点 10008137094678, 该节点称为 block l的 home node, 存储一份 blockl的副本;
c) 根据计算得到的 block_l的副本数和放置位置, 通过 Pastry路由协议, 将 剩余副本进行放置, 同时, 每个备份数据都附加一个表示剩余生存时间的时间戳, 如 100小时, 并以 24小时为周期定期自我检测剩余生存时间。 备份完成后, 通知 home node;
d) home node接到备份完成的消息后, 通知入口节点。
e) block全部加入完成后, 将所有 block的 ID和对应副本信息组成索引项, 根据 Pastry 路由算法, 存储于离 RID ( 1000812356780132 ) 最近的节点 1000812501920145上;
18)节点 1000812501920145通知内容中心 LM1数据副本备份成功, 生成一个 全局索引项, 存储于 LM1中, 资源加入完成。
当读取数据时, 首先找到文件 /的索引节点 1000812501920145, 从中取出数 据块序列的 ID列表, 再通过 Pastry路由方法从网络中将各个 block内容取出。
说明文档中的其他内容针对本专业领域内的普通技术人员, 均可进行技术实 现, 这里不再赘述。 最后所应说明的是, 以上实施例仅用以说明本发明的技术方案而非限制。 尽 管参照实施例对本发明进行了详细说明, 本领域的普通技术人员应当理解, 对本 发明的技术方案进行修改或者等同替换, 都不脱离本发明技术方案的精神和范围, 其均应涵盖在本发明的权利要求范围当中。

Claims

1、一种基于地理位置信息编码的 CDN网络系统, 所述的 CDN网络系统包含 全网管理层、 本地内容中心管理层和 Cache网络层; 其中,
所述的全网管理层, 用于负责全网的信息管理和系统管理员操作命令的分析 和执行, 该层由有备份的服务器担任;
所述的本地内容中心管理层, 用于负责 CDN局部区域的相关计算和管理信息 的存储, 使管理数据和媒体数据分离, 便于系统扩展和用户行为的统计和计算, 该层由部分存储能力稳定、 计算能力强的节点组成;
所述的 Cache 网络层, 用于负责对所需备份数据的路由和存储, 由若干具有 一定存储能力的节点组成; 其特征在于,
所述的 Cache 网络层应用基于层次型地理位置信息的编码方式, 生成 Cache 网络层节点的唯一 ID标识, 节点 ID=地理位置编码 +根据用户网络特征得到的哈 希值, 以保证 Cache网络层中节点的区域聚集性;
其中, 所述的基于层次型地理位置信息的编码方式是根据地理位置信息获得 一个 N位序列的 ID值, 该序列从左到右、 由大区域到小区域、 层次性的表示地理 位置信息, 每个区域由相同或不同位数的数值表示。
2、 根据权利要求 1所述的基于地理位置信息编码的 CDN网络系统, 其特征 在于, 所述的 Cache网络层的节点通过 P2P的方式形成网络。
3、 根据权利要求 1或 2所述的基于地理位置信息编码的 CDN网络系统, 其 特征在于, 所述的 N位序列的 ID值, 具体包含:
a) 官方规定的地理区域代号或其组合表示, 包括: 邮政编码、 行政区域代码 以及电话区号;
b) 针对不同应用, 通过 IP地址映射、 匹配方式得到表征区域差别的编码。 c) 针对不同应用的目标, 通过网络测量得到的距离, 映射生成表征区域差别 的编码。
4、 一种数据分发方法, 该方法是基于层次型地理位置信息的编码方式得到的 CDN网络系统的数据分发方法, 该 CDN网络系统中的 Cache网络层应用基于层 次型地理位置信息的编码方式, 生成 Cache网络层节点的唯一 ID标识, 节点 ID= 地理位置编码 +根据用户网络特征得到的哈希值, 以保证 Cache网络层中节点的区 域聚集性; 所述的基于层次型地理位置信息的编码方式是根据地理位置信息获得 一个 N位序列的 ID值, 该序列从左到右、 由大区域到小区域、 层次性的表示地理 位置信息, 每个区域由不同位数的数值表示;
所述的数据分发方法具体包括如下步骤:
1 )全网管理服务器通过管理员设定的方式或者通过预先设定规则由系统进行 自动分发决策的方式决策分发内容, 包括: 文件名、 目标区域以及其他辅助信息;
2) 全网管理服务器根据分发决策信息, 向目标网络的本地管理服务器发送消 息, 包含: 待分发的文件数目、 名称、 数据总量、 每个节目的数据量、 文件名、 文件源地址、 节目流行度初值以及地理位置信息;
3 ) 本地管理服务器处理消息, 将每个待分发文件切成数据块, 计算所有数据 块的大小、 每一块的备份数目和放置位置以及所需存储空间, 并计算所需空间总 和;
4) 本地管理服务器判断本地的 Cache网络剩余空间是否满足存储要求;
5 ) 如果满足, 本地管理服务器通过基于层次型地理位置信息的编码方法, 计 算每个 blocki的哈希值 blockID_i, 并向 Cache节点发出分发指令; 否则, 转而执 行步骤 9);
6) 本地管理服务器将分发 blocki的消息发送至 Cache网络层中的节点, 收到 消息的节点通过分布式哈希路由协议, 找到与 blockID_i哈希空间上最近的节点作 为 blocki的主节点 home node; blocki的所有备份信息都存储在主节点 home node 上, 同时, 根据计算得到的副本数目和位置在 Cache网络层中对 blocki的副本做 存储;
7) Cache节点通知本地管理服务器数据备份成功消息;
8)本地管理服务器为对应文件建立索引, 索引项包括: 文件名、 文件 ID、 对 应数据块 ID、 数据块副本数以及数据块副本生存期;
9) 通过本地管理服务器的计算, 优化 Cache存储空间, 由 Cache节点删除不 常用的 block, 增加可用空间, 同时更新本地管理服务器中的全局信息;
10) 本地管理服务器判断当前 Cache网络层空间大小, 如果优化后空间足够, 转而执行步骤 5 ); 否则, 执行步骤 11 );
11 ) 由本地管理服务器通知全网管理服务器分发失败;
其中, 步骤 3 )所述的将每个待分发文件切成数据块, 根据若干参数指标对文 件进行不等长切片形成不同大小的数据块。 5、 根据权利要求 4所述的数据分发方法, 其特征在于, 所述的进行不等长切 片的若干参数指标, 包含: 文件时域上的访问热度。
6、 根据权利要求 4所述的数据分发方法, 其特征在于, 所述的步骤 9) 中文 件的删除方法步骤如下:
i) 通过本地管理服务器利用删除策略计算得到待删除数据块列表后,逐一处 理待删除 block;
j) 逐一取出 block的 ID值;
k) 对每个 block ID, 通过 DHT协议, 向其主节点 home node发送删除消息;
1) 每个数据块的 home node保存了该数据块所有的备份位置, 取出备份位置 信息列表;
m) 主节点 Home node向列表中的每个 Cache节点发送删除消息;
n) Cache节点删除 block后, 通知主节点 home node;
o) 删除完成后, 主节点 home node通知本地管理服务器;
p) 本地管理服务器更新索引信息。
7、 根据权利要求 6所述的数据分发方法, 其特征在于, 所述删除策略按照加 入 CDN网络时间越长的 block或者优先级越低的原则进行选择。
PCT/CN2010/000495 2009-04-17 2010-04-14 一种基于地理位置信息编码的cdn网络系统及数据分发方法 WO2010118638A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012505033A JP5532361B2 (ja) 2009-04-17 2010-04-14 地理位置情報に基づいてコーディングするcdnネットワークシステム及びデータを配信する方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200910082190.5 2009-04-17
CN200910082190.5A CN101645922B (zh) 2009-04-17 2009-04-17 基于地理位置信息编码的cdn网络系统及分发处理方法

Publications (1)

Publication Number Publication Date
WO2010118638A1 true WO2010118638A1 (zh) 2010-10-21

Family

ID=41657642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2010/000495 WO2010118638A1 (zh) 2009-04-17 2010-04-14 一种基于地理位置信息编码的cdn网络系统及数据分发方法

Country Status (3)

Country Link
JP (1) JP5532361B2 (zh)
CN (1) CN101645922B (zh)
WO (1) WO2010118638A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188006A (zh) * 2019-06-03 2019-08-30 深圳市网心科技有限公司 一种数据维护方法、装置及设备
CN111181801A (zh) * 2019-12-04 2020-05-19 腾讯云计算(北京)有限责任公司 节点集群测试方法、装置、电子设备及存储介质
CN111857979A (zh) * 2020-06-28 2020-10-30 厦门极致互动网络技术股份有限公司 一种分布式系统的信息管理方法、系统、存储介质及设备
CN112328583A (zh) * 2020-10-29 2021-02-05 北京东方耀阳信息技术有限公司 一种时空数据管理方法
CN113993122A (zh) * 2021-09-10 2022-01-28 广东南方通信建设有限公司 Nb-iot终端、通信方法以及通信系统
CN114173167A (zh) * 2021-12-17 2022-03-11 青岛聚看云科技有限公司 显示设备、内容分发网络系统和服务器
CN115174955A (zh) * 2022-05-25 2022-10-11 楼培德 基于未来网络的数字电影全国高速发行系统
CN116527756A (zh) * 2023-05-04 2023-08-01 武汉精阅数字传媒科技有限公司 一种基于无线移动通信网络的新闻内容分发系统

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645922B (zh) * 2009-04-17 2012-09-05 中国科学院声学研究所 基于地理位置信息编码的cdn网络系统及分发处理方法
CA2800617C (en) * 2010-04-20 2016-06-28 Zte Corporation Method and system for hierarchical tracking of content and cache for networking and distribution to wired and mobile devices
CN101888384B (zh) * 2010-06-30 2014-02-05 北京世纪互联宽带数据中心有限公司 多媒体安全信令系统
CN101888385B (zh) * 2010-06-30 2013-04-24 北京世纪互联宽带数据中心有限公司 多媒体安全信令系统
CN101902468B (zh) * 2010-06-30 2013-03-20 北京世纪互联宽带数据中心有限公司 多媒体安全信令系统
CN101877709A (zh) * 2010-06-30 2010-11-03 北京世纪互联宽带数据中心有限公司 多媒体安全信令系统
CN101867527B (zh) * 2010-07-06 2012-08-08 重庆大学 基于物理位置的分层Chord路由方法
CN102055798B (zh) * 2010-12-09 2013-01-02 南京远古科技有限公司 基于Chord环和区域Chord环内节目收集方法
CN102546711B (zh) * 2010-12-20 2014-12-31 中国移动通信集团公司 流媒体系统中的内容存储调整方法、装置及系统
CN102164309B (zh) * 2011-03-21 2014-09-03 华为技术有限公司 节目的处理方法和系统以及装置
CN102891869B (zh) * 2011-07-20 2015-07-15 郑州威科姆科技股份有限公司 一种内容分发网络及内容发布、调度方法
CN102368776B (zh) * 2011-11-25 2015-02-04 中国科学技术大学 一种内容分发网络中节点列表的优化功能模块
CN103188294A (zh) * 2011-12-28 2013-07-03 百度在线网络技术(北京)有限公司 分布式缓存的删除方法及删除系统
WO2013189038A1 (zh) * 2012-06-20 2013-12-27 华为技术有限公司 内容处理的方法和网络侧设备
CN103701619B (zh) * 2013-10-22 2016-09-07 上海交通大学 基于cdn和数据中心动态选择的互联网内容分发方法
CN104717258B (zh) * 2013-12-16 2018-09-28 华为技术有限公司 一种数据发送方法及系统
CN104202407B (zh) * 2014-09-10 2018-04-13 北京奇艺世纪科技有限公司 一种视频文件同步方法及装置
CN104506647B (zh) * 2014-12-31 2017-12-08 北京奇艺世纪科技有限公司 一种数据存储系统及存储和访问方法
CN105516372B (zh) * 2016-02-25 2019-05-14 深圳天珑无线科技有限公司 文件名的处理方法、装置及服务器
CN106372163B (zh) * 2016-08-31 2020-12-04 天津南大通用数据技术股份有限公司 一种适用于分布式数据库的数据分发方法及装置
CN106657437A (zh) * 2016-12-02 2017-05-10 董伟国 一种网络通信方法
CN106850581B (zh) * 2017-01-04 2020-06-23 网宿科技股份有限公司 互动直播流媒体数据的分发备份方法、系统及服务器
CN107295061B (zh) * 2017-05-05 2019-08-30 中广热点云科技有限公司 一种基于内容分发网络的内容分发方法
CN109639758B (zh) * 2018-10-31 2020-05-12 中国科学院信息工程研究所 内容中心网络中用户行为隐私的保护方法及装置
CN110113398A (zh) * 2019-04-23 2019-08-09 安徽云融信息技术有限公司 一种基于HBase的大规模无线传感网络数据存储系统
CN114172912A (zh) * 2021-11-01 2022-03-11 北京中合谷投资有限公司 一种混合分布式网络的组网方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179466A (zh) * 2007-10-15 2008-05-14 北京交通大学 一种基于集中服务的分布式对等网络的实现方法及系统
CN101222424A (zh) * 2007-12-24 2008-07-16 中国电信股份有限公司 内容分发网络和该网络中基于内容的调度方法
WO2008155161A1 (fr) * 2007-06-08 2008-12-24 Alcatel Lucent Utilisation d'un arbre de hachage à préfixes (pht) pour la localisation des services au sein d'un réseau de communication poste-à-poste
CN101399743A (zh) * 2007-09-28 2009-04-01 华为技术有限公司 在基于分布式哈希表的对等网络中查找数据的方法和系统
CN101645922A (zh) * 2009-04-17 2010-02-10 中国科学院声学研究所 基于地理位置信息编码的cdn网络系统及分发处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4821500B2 (ja) * 2006-08-21 2011-11-24 ブラザー工業株式会社 コンテンツ分散保存システム、フレーム取得方法、及びノード装置等
JP2008059351A (ja) * 2006-08-31 2008-03-13 Brother Ind Ltd ノード装置、処理プログラム、情報配信システム及びサーバ処理プログラム
JP5088969B2 (ja) * 2006-09-06 2012-12-05 アカマイ テクノロジーズ インコーポレイテッド ハイブリッドcdn−p2pにおけるコンテンツ配信方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008155161A1 (fr) * 2007-06-08 2008-12-24 Alcatel Lucent Utilisation d'un arbre de hachage à préfixes (pht) pour la localisation des services au sein d'un réseau de communication poste-à-poste
CN101399743A (zh) * 2007-09-28 2009-04-01 华为技术有限公司 在基于分布式哈希表的对等网络中查找数据的方法和系统
CN101179466A (zh) * 2007-10-15 2008-05-14 北京交通大学 一种基于集中服务的分布式对等网络的实现方法及系统
CN101222424A (zh) * 2007-12-24 2008-07-16 中国电信股份有限公司 内容分发网络和该网络中基于内容的调度方法
CN101645922A (zh) * 2009-04-17 2010-02-10 中国科学院声学研究所 基于地理位置信息编码的cdn网络系统及分发处理方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188006B (zh) * 2019-06-03 2022-04-29 深圳市网心科技有限公司 一种数据维护方法、装置及设备
CN110188006A (zh) * 2019-06-03 2019-08-30 深圳市网心科技有限公司 一种数据维护方法、装置及设备
CN111181801A (zh) * 2019-12-04 2020-05-19 腾讯云计算(北京)有限责任公司 节点集群测试方法、装置、电子设备及存储介质
CN111857979B (zh) * 2020-06-28 2023-08-15 厦门极致互动网络技术股份有限公司 一种分布式系统的信息管理方法、系统、存储介质及设备
CN111857979A (zh) * 2020-06-28 2020-10-30 厦门极致互动网络技术股份有限公司 一种分布式系统的信息管理方法、系统、存储介质及设备
CN112328583A (zh) * 2020-10-29 2021-02-05 北京东方耀阳信息技术有限公司 一种时空数据管理方法
CN113993122A (zh) * 2021-09-10 2022-01-28 广东南方通信建设有限公司 Nb-iot终端、通信方法以及通信系统
CN113993122B (zh) * 2021-09-10 2023-12-01 广东南方通信建设有限公司 Nb-iot终端、通信方法以及通信系统
CN114173167A (zh) * 2021-12-17 2022-03-11 青岛聚看云科技有限公司 显示设备、内容分发网络系统和服务器
CN115174955A (zh) * 2022-05-25 2022-10-11 楼培德 基于未来网络的数字电影全国高速发行系统
CN115174955B (zh) * 2022-05-25 2023-11-17 楼培德 基于未来网络的数字电影全国高速发行系统
CN116527756A (zh) * 2023-05-04 2023-08-01 武汉精阅数字传媒科技有限公司 一种基于无线移动通信网络的新闻内容分发系统
CN116527756B (zh) * 2023-05-04 2023-10-20 杭州元媒科技有限公司 一种基于无线移动通信网络的新闻内容分发系统

Also Published As

Publication number Publication date
JP5532361B2 (ja) 2014-06-25
JP2012524307A (ja) 2012-10-11
CN101645922A (zh) 2010-02-10
CN101645922B (zh) 2012-09-05

Similar Documents

Publication Publication Date Title
WO2010118638A1 (zh) 一种基于地理位置信息编码的cdn网络系统及数据分发方法
USRE49943E1 (en) System and method for a context layer switch
Zhao et al. Tapestry: A resilient global-scale overlay for service deployment
CN104717304B (zh) 一种cdn‑p2p内容优化选择系统
EP2530899A1 (en) Method and node for obtaining the content and content network
WO2009079948A1 (fr) Procédé de mise en tampon et d'interrogation de contenu, et système de transmission multimédia point à point
US20110099226A1 (en) Method of requesting for location information of resources on network, user node and server for the same
WO2013075578A1 (zh) 网络资源文件的离线下载系统和方法
CN103095727B (zh) P2p资源定位方法
WO2010127618A1 (zh) 一种实现流媒体内容服务的系统和方法
WO2010133140A1 (zh) 一种内容分片的多媒体网络及其业务方法
WO2011140842A1 (zh) 多媒体文件发布方法和装置
JP5160405B2 (ja) P2p配信システム及び配信方法
CN110866046B (zh) 一种可扩展的分布式查询方法及装置
CN111046065A (zh) 可扩展的高性能分布式查询处理方法及装置
Shen et al. Swarm intelligence based file replication and consistency maintenance in structured P2P file sharing systems
Xie et al. A fast hybrid data sharing framework for hierarchical mobile edge computing
CN110324406A (zh) 一种获取业务数据的方法和云服务系统
Shen et al. A proximity-aware interest-clustered P2P file sharing system
JP2012118709A (ja) 配信システム、ストレージ容量決定プログラム、及びストレージ容量決定方法
US20140222988A1 (en) Method for adaptive content discovery for distributed shared caching system
Shen et al. A geographically aware poll-based distributed file consistency maintenance method for P2P systems
Guo et al. HDS: A fast hybrid data location service for hierarchical mobile edge computing
Jin et al. Content routing and lookup schemes using global bloom filter for content-delivery-as-a-service
WO2014075426A1 (zh) 一种数据更新方法及web服务器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10764051

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012505033

Country of ref document: JP

122 Ep: pct application non-entry in european phase

Ref document number: 10764051

Country of ref document: EP

Kind code of ref document: A1