WO2013083085A1

WO2013083085A1 - 数据获取方法及装置

Info

Publication number: WO2013083085A1
Application number: PCT/CN2012/086188
Authority: WO
Inventors: 金伟毅; 郝振武; 王炜
Original assignee: 中兴通讯股份有限公司
Priority date: 2011-12-08
Filing date: 2012-12-07
Publication date: 2013-06-13
Also published as: CN103166978A

Abstract

本发明公开了一种数据获取方法及装置，该方法应用于多个CDN互联互通，包括：下游CDN从至少一个上游CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游CDN已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；下游CDN在内容标识列表中未查询到内容的内容标识时，从上游CDN获取内容。采用本发明能够解决相关技术中下游CDN可能会重复获取和缓存相同的内容的问题。

Description

数据获取方法及装置技术领域本发明涉及通信领域，具体而言，涉及一种数据获取方法及装置。背景技术随着视频和多媒体内容在网络中的传输量快速的增长，单独的 CDN ( Content

Distribution Network,内容分发网络）由于受到业务覆盖范围、传输能力等因素的限制，不能完全满足降低网络传输内容成本、提高用户体验效果以及内容传输的稳定性等需求。 CDNI ( Content Distribution Network Interconnection, 内容分发网络互联互通接口）为不同 CDN之间建立互联互通的关系提供了统一的接口协议。通过 CDNI, CDN运营商之间是内容业务代理关系，而内容运营商只需要和一个（上游） CDN运营商签订代理业务协议，其他与该 CDN建立互联互通关系的（下游） CDN运营商就可以为其代理传输业务，因此大大扩展其业务覆盖范围以及业务能力，例如，当漫游的用户请求下载内容时，运营商不需要考虑用户的当前接入位置，而是通过和用户连接的 CDN 为用户提供内容下载。图 1是 CDNI的第一种应用场景。在图 1中，上游 CDN运营商 102为内容运营商

101提供内容传输业务，上游 CDN运营商 102和下游 CDN运营商 103建立互联互通关系后，下游 CDN运营商 103负责代理传输内容，为用户终端 104提供内容业务。

CDNI也支持更为复杂的互联互通场景，例如，下游 CDN运营商可以同时和几个上游 CDN运营商建立互联互通关系，而这些上游 CDN运营商可能和同一个内容运营商签订了传输代理协议；又例如，下游 CDN运营商同时也可能是其他 CDN运营商的上游 CDN运营商，因此它有可能和它的上游 CDN运营商一样，和相同的内容运营商签订了传输代理协议。图 2是 CDNI的第二种应用场景。内容运营商 201和上下游 CDN运营商 202、 203 都签订了传输代理协议，下游 CDN运营商 203为用户终端 204提供内容业务。图 3是 CDNI的第三种应用场景。内容运营商 301和两个上游 CDN运营商 302 和 303签订传输代理协议，下游 CDN运营商 304和上游 CDN运营商 302和 303建立互联互通关系，负责为其用户提供内容业务。从 CDNI的第二种应用场景可以看出，上下游 CDN运营商和同一内容运营商签订传输代理协议，它们的 CDN都缓存了该内容运营商的内容，由于下游 CDN并不感知上游 CDN为哪些内容运营商传输内容，因此下游 CDN可能会从上游 CDN重复获取并缓存同一运营商的相同的内容。从 CDNI的第三种应用场景可以看出，两个上游 CDN运营商和相同内容运营商签订传输代理协议，它们的 CDN都缓存了该内容运营商的内容，由于下游 CDN并不感知上游 CDN为哪些内容运营商传输内容，因此下游 CDN可能会从这两个上游 CDN 重复获取和缓存同一运营商的相同的内容。图 4是 CDNI现有的互联互通流程。它包括了内容预分发和用户内容请求过程，上游 CDN通知下游 CDN进行内容预分发，然后将用户的内容请求重定向到下游 CDN，由下游 CDN为用户提供所请求的内容。具体过程包括步骤 S401至步骤 S409。步骤 S401、上游 CDN通知下游 CDN进行内容预分发。步骤 S402、下游 CDN返回确认响应。步骤 S403、下游 CDN向上游 CDN发送内容获取请求。步骤 S404、上游 CDN向下游 CDN发送内容数据。步骤 S405、用户终端向上游 CDN发送内容请求。步骤 S406、上游 CDN发现下游 CDN最适合为用户提供内容，向用户终端返回一个包含下游 CDN地址的重定向响应。步骤 S407、用户终端向下游 CDN发送内容请求。步骤 S408、下游 CDN向商业 CDN获取内容相关元数据信息。步骤 S409、下游 CDN发现所请求的内容已经缓存，然后向用户终端发送内容数据。从上述流程可以看出，上游 CDN 向下游 CDN预分发内容之后，当接收到上游 CDN的用户内容请求时，下游 CDN将会判断目标内容是否已从上游 CDN获取并缓存，但是对于第二种应用场景和第三种应用场景存在的问题，即如何判断相同的内容是否从其他上游 CDN或者同一运营商获取并缓存，上述流程还不能有效地解决，因此下游 CDN还是有可能会重复获取和缓存相同的内容。针对相关技术中下游 CDN可能会重复获取和缓存相同的内容的问题，目前尚未提出有效的解决方案。发明内容针对下游 CDN可能会重复获取和缓存相同的内容的问题，本发明提供了一种数据获取方法及装置，以至少解决上述问题。根据本发明的一个方面，提供了一种数据获取方法，应用于多个内容分发网络 CDN互联互通，包括：下游 CDN从至少一个上游 CDN获取内容时，根据所述内容的内容标识查询内容标识列表，其中，所述内容标识列表中存储有所述下游 CDN 已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；所述下游 CDN在所述内容标识列表中未查询到所述内容的内容标识时，从所述上游 CDN获取所述内容。优选的，所述下游 CDN从所述上游 CDN获取所述内容之后，还包括：所述下游 CDN将所述内容缓存至本地。优选的，当所述下游 CDN在所述内容标识列表中查询到所述内容的内容标识时，所述下游 CDN确定在本地中已经缓存所述内容。优选的，所述内容标识由指定网元产生并管理。优选的，所述指定网元包括下列至少之一：内容分发网络互联互通接口 CDNI内容注册管理服务器，网络管理服务器，移动性管理实体。优选的，所述内容列表中还包括：与所述内容标识对应的资源标识，其中，所述资源标识包括：所述内容标识对应的内容在所述上游 CDN中的存储地址。优选的，所述资源标识包括统一资源标识 URI。优选的，所述内容标识由哈希算法生成。优选的，所述下游 CDN从所述上游 CDN获取所述内容之后，还包括：所述下游 CDN将所述内容的内容标识添加至所述内容标识列表中。优选的，所述下游 CDN在本地删除指定内容，或者指定内容失效时，所述下游 CDN在所述内容标识列表中删除被删除内容或者失效内容的内容标识。根据本发明的另一方面，提供了一种数据获取装置，设置于内容分发网络下游 CDN, 包括：查询模块，设置为从上游 CDN获取内容时，根据所述内容的内容标识查询内容标识列表，其中，所述内容标识列表中存储有所述下游 CDN 已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；获取模块，设置为在所述内容标识列表中未查询到所述内容的内容标识时，从所述上游 CDN获取所述内容。在本发明实施例中，下游 CDN从至少一个上游 CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游 CDN 已获取的所有内容的内容标识，每个内容唯一对应一个内容标识，下游 CDN在内容标识列表中未查询到内容的内容标识时，从上游 CDN获取内容。即，在本发明实施例中，利用唯一的内容标识对内容进行标识，只有下游 CDN在内容标识列表中未查询到内容的内容标识时，下游 CDN才会从上游 CDN获取内容，避免重复获取和缓存相同的内容，节省资源。附图说明此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图 1是根据相关技术的 CDNI的第一种应用场景；图 2是根据相关技术的 CDNI的第二种应用场景；图 3是根据相关技术的 CDNI的第三种应用场景；图 4是根据相关技术的 CDNI现有的互联互通流程；图 5是根据本发明实施例的数据获取方法的流程示意图；图 6是根据本发明实施例的 CDNI内容预分发去重流程图；图 7是根据本发明实施例的第一种 CDNI前转优化去重流程；图 8是根据本发明实施例的第二种 CDNI前转优化去重流程；图 9是根据本发明实施例的 CDNI内容删除优化流程；图 10是根据本发明实施例的数据获取装置的结构示意图。具体实施方式下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。相关技术中提到，上游 CDN向下游 CDN预分发内容之后，当接收到上游 CDN 的用户内容请求时，下游 CDN将会判断目标内容是否已从上游 CDN获取并缓存，但是对于相关技术中提及的图 2所示的第二种应用场景以及图 3所示的第三种应用场景存在的问题，即如何判断相同的内容是否从其他上游 CDN或者同一运营商获取并缓存，相关技术还不能有效地解决，因此下游 CDN还是有可能会重复获取和缓存相同的内容，造成资源的浪费。为解决上述技术问题，本发明实施例提供了一种数据获取方法，应用于 CDN互联互通，其流程示意图如图 5所示，包括：步骤 S502、下游 CDN从至少一个上游 CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游 CDN 已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；步骤 S504、下游 CDN在内容标识列表中未查询到内容的内容标识时，从上游 CDN 获取内容。在本发明实施例中，下游 CDN从至少一个上游 CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游 CDN 已获取的所有内容的内容标识，每个内容唯一对应一个内容标识，下游 CDN在内容标识列表中未查询到内容的内容标识时，从上游 CDN获取内容。即，在本发明实施例中，利用唯一的内容标识对内容进行标识，只有下游 CDN在内容标识列表中未查询到内容的内容标识时，下游 CDN才会从上游 CDN获取内容，避免重复获取和缓存相同的内容，节省资源。本文中提及的内容标识列表和下文具体实施例提到的内容标识关联元数据的实质是相同的，均用于保存内容与内容标识的缓存绑定关系。按图 5所示流程，下游 CDN从上游 CDN获取内容之后，下游 CDN可以将内容缓存至本地，进而为请求该内容的用户终端提供相应内容。与步骤 S504相对应，下游 CDN也可能在内容标识列表中查询到内容的内容标识，此时，下游 CDN确定在本地中已经缓存内容，不需要再从上游 CDN中获取相应内容，可以直接为请求该内容的用户终端提供相应内容，达到节省资源的目的。上文提及，本发明实施例是利用唯一的内容标识对内容进行识别，而内容标识可以由指定网元产生并管理。本例中，指定网元可以包括下列至少之一： CDNI 内容注册管理服务器，网络管理服务器，移动性管理实体。当然，指定网元除上述具体实例夕卜，还可以是其他网元或实体，能够产生内容标识并对其进行管理即可。在一个优选的实施例中，存储了内容标识的内容列表中还可以包括与内容相关的其他信息，例如，与内容标识对应的资源标识（由于内容与内容标识是一一对应的，因此，资源标识与内容标识相对应，则其必然与该内容标识对应的内容也是对应的），其中，资源标识可以包括：内容标识对应的内容在上游 CDN 中的存储地址。例如，资源标识可以采用 URI (Uniform Resource Identifier, 统一资源标识）。实施时，内容标识和资源标识共同进行关联合并标识内容。对于内容标识而言，每个内容对应的内容标识是唯一的，但是资源标识可以并不唯一，换句话说，资源标识和内容标识为多对一的对应关系。实施过程中，内容标识可以由内容运营商标识和内容特征信息组合生成。本文提及的内容标识由算法生成，例如，由哈希算法生成。此处的算法仅仅是具体实例，具体的选法根据具体情况而定。在一个实施例中，为保护内容标识列表的可靠性，需要及时对内容标识列表进行更新，例如，下游 CDN从上游 CDN获取内容之后，下游 CDN可以将内容的内容标识添加至内容标识列表中；再例如，下游 CDN在本地删除指定内容，或者指定内容失效时，下游 CDN在内容标识列表中删除被删除内容或者失效内容的内容标识。实施时，下游 CDN缓存内容，可以创建 CDNI内容标识关联元数据， CDNI内容标识关联元数据包括资源标识和内容标识与内容在当前 CDN 中的存储地址信息的对应关系，若删除内容或内容失效，则解除关联元数据；当需要进行内容缓存判断时，下游 CDN通过查询内容元数据中的 CDNI内容标识关联元数据，判断下游 CDN是否已缓存内容。由上述分析可知，针对相关技术的问题，本发明实施例提出一种优化内容去重的实现方法。不同 CDN 的内容命名机制是不一定相同的，例如不同的内容标识体系，本发明实施例利用 CDNI元数据协议 /接口统一内容命名机制，由 CDNI内容命名机制确定的 CDNI 内容标识来唯一标识内容。下游 CDN在缓存内容后，对 CDNI内容标识进行关联，删除内容后或者内容失效时，解除对 CDNI内容标识的关联。进行内容预分发或者向用户提供内容业务前，下游 CDN通过查询 CDNI内容标识关联元数据判断内容是否已经缓存，避免相同内容重复缓存。本发明实施例对 CDNI 现有的内容去重进行优化，有效地解决 CDNI中下游 CDN对相同内容重复获取和缓存的问题。为将本发明实施例提供的数据获取阐述地更清楚更明白，下面结合附图和实施例对本发明作进一步详细说明。实施例一图 6是 CDNI内容预分发优化流程。上游 CDN A和上游 CDN B先后向共同的下游 CDN进行内容预分发，当上游 CDN B通知下游 CDN进行内容预分发时，由于下游 CDN已经缓存来自上游 CDN A的同一运营商的相同的内容，所以上游 CDN B将取消向下游 CDN的内容预分发。具体过程包括步骤 S601至步骤 S609。步骤 S601、上游 CDN A通知下游 CDN进行内容预分发，通知消息中带有预分发内容的内容标识信息。步骤 S602、下游 CDN接收请求后，根据内容标识查询 CDNI内容标识关联元数据信息，判断相同的内容是否已经缓存。步骤 S603、下游 CDN根据内容标识查询不存在 CDNI关联元数据，即内容没有缓存，然后向上游 CDN A返回确认分发响应。步骤 S604、下游 CDN向上游 CDN A发送内容获取请求，请求中带有 CDM内容标识信息。步骤 S605、上游 CDN A向下游 CDN发送内容数据。步骤 S606、下游 CDN缓存内容后，创建 CDNI内容标识关联元数据，关联已缓存的内容。步骤 S607、上游 CDN B通知下游 CDN进行相同内容的预分发，通知消息中带有预分发内容的内容标识信息。步骤 S608、下游 CDN接收请求后，根据内容标识查询 CDNI内容标识关联元数据信息，判断相同的内容是否已经缓存。步骤 S609、下游 CDN根据内容标识查询存在 CDNI内容标识关联元数据，即相同的内容已经缓存，然后向上游 CDN返回取消响应。从上述流程可以看出，在进行内容预分发之前，下游 CDN根据内容标识查询 CDNI 内容标识关联元数据，判断相同内容是否已缓存，避免了下游 CDN重复对相同内容进行缓存。实施例二图 7是第一种 CDNI前转优化去重流程。上游 CDN将用户内容请求重定向到下游 CDN, 当收到用户内容请求后，下游 CDN查询不存在 CDNI内容标识关联元数据判断还没有缓存用户所请求的内容，在向上游 CDN获取用户所请求内容后向用户提供内容。具体过程包括步骤 S701至步骤 S610。步骤 S701、用户终端向上游 CDN发送内容请求，请求中携带目标内容的资源标识信息。步骤 S702、上游 CDN根据用户的位置信息发现下游 CDN比较适合为用户提供内容，然后向用户终端返回内容重定向响应，响应中携带有和上游 CDN关联的资源标识以及下游 CDN地址信息。步骤 S703、用户终端收到重定向响应后，向下游 CDN发送内容请求，请求中带有和上游 CDN关联的资源标识信息。步骤 S704、下游 CDN收到用户终端请求后，根据资源标识查询不存在对应的内容标识，即没有从上游 CDN获取并缓存目标内容，然后向上游 CDN获取内容标识信息；步骤 S705、下游 CDN根据获取的内容标识查询 CDNI内容标识关联元数据信息，判断相同的内容是否已经缓存。步骤 S706、下游 CDN查询不存在 CDNI内容标识关联元数据信息，即所请求内容没有缓存，然后向上游 CDN发送内容获取请求，请求中携带 CDNI内容标识信息。步骤 S707、上游 CDN向下游 CDN发送内容数据。步骤 S708、获取内容之后，下游 CDN可能需要从上游 CDN获取其他相关的内容元数据信息，包括内容描述，安全访问策略以及内容有效期等信息。步骤 S709、下游 CDN缓存内容后，创建 CDNI内容标识关联元数据，关联已缓存的内容。步骤 S710、下游 CDN向用户发送内容数据。从上述流程可以看出，下游 CDN根据 CDNI内容标识关联元数据判断没有缓存用户所请求的内容，在给用户提供内容之前，从上游 CDN获取内容，并创建 CDNI内容标识关联元数据，当其他用户向下游 CDN请求相同内容时，下游 CDN就不需要再向重复获取内容而可以直接向用户提供内容。实施例三图 8是第二种 CDNI前转优化去重流程。上游 CDN将用户内容请求重定向到下游 CDN, 当收到用户内容请求后，下游 CDN判断已缓存用户所请求的内容，直接向用户提供内容。具体过程包括步骤 S801至步骤 S807。步骤 S801、用户终端向上游 CDN发送内容请求，请求中携带目标内容的资源标识信息。步骤 S802、上游 CDN根据用户的位置信息发现下游 CDN比较适合为用户提供内容，然后向用户终端返回内容重定向响应，响应中携带有和上游 CDN关联的资源标识以及下游 CDN地址信息。步骤 S803、用户终端收到重定向响应后，向下游 CDN发送内容请求，请求中带有和上游 CDN关联的资源标识。步骤 S804、下游 CDN收到用户终端请求后，根据资源标识查询不存在对应的内容标识，即没有从上游 CDN获取并缓存目标内容，然后向上游 CDN获取内容标识信息；步骤 S805、下游 CDN根据获取的内容标识查询存在 CDNI内容标识关联元数据信息，即相同的内容已经缓存，可以直接把缓存内容提供给用户。步骤 S806、下游 CDN可能需要从上游 CDN获取其他相关的内容元数据信息，包括内容描述，安全访问策略以及内容有效期等信息。步骤 S807、下游 CDN向用户发送缓存的内容数据。从上述流程可以看出，下游 CDN在给用户提供内容之前，根据内容标识查询 CDNI 内容标识关联元数据，判断用户所请求的内容已缓存，因此，下游 CDN可以直接将缓存的内容提供给用户终端，避免再去向上游 CDN获取内容。实施例四图 9是 CDNI内容删除优化流程。上游 CDN控制下游 CDN删除指定的缓存内容，下游 CDN删除内容同时解除对应的 CDNI内标识关联元数据。具体过程包括步骤 S901 至步骤 S904. 步骤 S901、上游 CDN通知下游 CDN删除指定内容，消息中包含内容标识信息。步骤 S902、下游 CDN收到请求后，删除缓存的内容。步骤 S903、删除内容的同时，下游 CDN删除与之对应的 CDNI内容标识关联元数据。步骤 S904、删除缓存内容后，下游 CDN向上游 CDN返回确认响应。从上述几个流程中可以看出，采取本发明实施例提供的方法，能够优化 CDNI内容去重，很好地解决下游 CDN内容重复缓存的问题。基于同一发明构思，本发明实施例还提供了一种数据获取装置，设置于 CDN，其结构示意图如图 10所示，包括：查询模块 1001，设置为从上游 CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游 CDN 已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；获取模块 1002，与查询模块 1001耦合，设置为在内容标识列表中未查询到内容的内容标识时，从上游 CDN获取内容。在本优选实施例中提供了一种处理器，该处理器被配置成执行存储在存储器中的程序单元，这些程序单元包括的模块可以为以上任意一个实施例中所提到的模块。从以上的描述中，可以看出，本发明实施例实现了如下技术效果：在本发明实施例中，下游 CDN从至少一个上游 CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游 CDN 已获取的所有内容的内容标识，每个内容唯一对应一个内容标识，下游 CDN在内容标识列表中未查询到内容的内容标识时，从上游 CDN获取内容。即，在本发明实施例中，利用唯一的内容标识对内容进行标识，只有下游 CDN在内容标识列表中未查询到内容的内容标识时，下游 CDN才会从上游 CDN获取内容，避免重复获取和缓存相同的内容，节省资源。显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

1. 一种数据获取方法，应用于多个内容分发网络 CDN互联互通，包括：

下游 CDN从至少一个上游 CDN获取内容时，根据所述内容的内容标识查询内容标识列表，其中，所述内容标识列表中存储有所述下游 CDN 已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；

所述下游 CDN在所述内容标识列表中未查询到所述内容的内容标识时，从所述上游 CDN获取所述内容。

2. 根据权利要求 1所述的方法，其中，所述下游 CDN从所述上游 CDN获取所述内容之后，还包括：所述下游 CDN将所述内容缓存至本地。

3. 根据权利要求 1所述的方法，其中，当所述下游 CDN在所述内容标识列表中查询到所述内容的内容标识时，所述下游 CDN确定在本地中已经缓存所述内容。

4. 根据权利要求 1所述的方法，其中，所述内容标识由指定网元产生并管理。

5. 根据权利要求 4所述的方法，其中，所述指定网元包括下列至少之一：内容分发网络互联互通接口 CDNI内容注册管理服务器，网络管理服务器，移动性管理实体。

6. 根据权利要求 1至 5任一项所述的方法，其中，所述内容列表中还包括：与所述内容标识对应的资源标识，其中，所述资源标识包括：所述内容标识对应的内容在所述上游 CDN中的存储地址。

7. 根据权利要求 6所述的方法，其中，所述资源标识包括统一资源标识 URI。

8. 根据权利要求 1至 5任一项所述的方法，其中，所述内容标识由哈希算法生成。

9. 根据权利要求 1至 5任一项所述的方法，其中，所述下游 CDN从所述上游 CDN 获取所述内容之后，还包括：所述下游 CDN将所述内容的内容标识添加至所述内容标识列表中。

10. 根据权利要求 1至 5任一项所述的方法，其中，所述下游 CDN在本地删除指定内容，或者指定内容失效时，所述下游 CDN在所述内容标识列表中删除被删除内容或者失效内容的内容标识。

11. 一种数据获取装置，设置于内容分发网络下游 CDN，包括：

查询模块，设置为从上游 CDN获取内容时，根据所述内容的内容标识查询内容标识列表，其中，所述内容标识列表中存储有所述下游 CDN 已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；

获取模块，设置为在所述内容标识列表中未查询到所述内容的内容标识时，从所述上游 CDN获取所述内容。