WO2020015578A1 - 一种调度缓存节点的方法、装置、系统、介质及设备 - Google Patents
一种调度缓存节点的方法、装置、系统、介质及设备 Download PDFInfo
- Publication number
- WO2020015578A1 WO2020015578A1 PCT/CN2019/095694 CN2019095694W WO2020015578A1 WO 2020015578 A1 WO2020015578 A1 WO 2020015578A1 CN 2019095694 W CN2019095694 W CN 2019095694W WO 2020015578 A1 WO2020015578 A1 WO 2020015578A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- transmission rate
- rate
- packet loss
- cache node
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims abstract description 314
- 238000004590 computer program Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
Definitions
- This article relates to the field of computer network technology, and in particular, to a method, an apparatus, a system, a medium, and a device for scheduling a cache node.
- the computer room will allocate the corresponding bandwidth according to the node requirements, and then the cloud service company will perform some timely tests before the new node goes online to roughly test whether the computer room can carry Corresponding bandwidth value. If the test result meets the originally set value, the cloud service company will purchase the corresponding node. After that, the cloud service company will schedule the bandwidth of the node according to a fixed value, but the test value can only represent the computer room at the corresponding time point. The bandwidth carrying capacity under the quality conditions is satisfied.
- the cloud service company After the computer room allocates the corresponding bandwidth carrying capacity according to the requirements of the cloud service company, the cloud service company performs a stress test on the node before the node goes online according to the data transmission rate value determined by itself, and at the same time meets the bandwidth greater than x% of the peak bandwidth and If the packet loss rate is less than y%, the quality of the node in the network room is considered normal. Then the node passes the test and then joins the formal node group to perform bandwidth according to the upper bandwidth limit (for example, z% of the peak bandwidth, which is less than x%). Scheduling, but the test results can only feed back the load of the computer room at that time. When actually serving customers online, it often happens that the quality of the computer room is abnormal according to the previously tested values.
- the service quality is reduced. If the bandwidth bearer fails to meet the requirements of the previous test, an abnormal situation occurs. In addition, the bandwidth value that some nodes can actually withstand is greater than the preset upper limit value, but they do not carry the corresponding bandwidth value that they can actually withstand, causing waste of bandwidth. In this process, because the upper limit value obtained from the test is different from the actual bandwidth value that can be sustained, and the time during which a certain bandwidth value can be continuously served is unknown, abnormal situations often occur. Therefore, after manual analysis, Then adjust the corresponding node bandwidth upper limit, the processing efficiency is low and inaccurate.
- the present application provides a method, an apparatus, a system, a medium, and a device for scheduling a cache node.
- a method for scheduling a cache node including:
- the types of the cache node include: can increase the transmission rate, needs to reduce the transmission rate, and cannot perform data transmission;
- the type is to increase the transmission rate And / or the data transmission rate and transmission time period of the cache node whose transmission rate needs to be reduced,
- the type of cache node that can increase the transmission rate is a cache node whose packet loss rate is less than the predetermined packet loss rate at any transmission rate that is less than the predetermined transmission rate of the cache node, and the type is that the transmission rate needs to be reduced.
- the cache nodes are cache nodes whose packet loss rate increases with the increase of the transmission rate and whose packet loss rate at the current data transmission rate is greater than or equal to a predetermined packet loss rate.
- a cache node whose packet loss rate at any of the predetermined transmission rates is greater than or equal to the predetermined packet loss rate.
- the step of obtaining historical statistical information of a cache node includes:
- the quality data includes a packet loss rate, the bandwidth data includes a data transmission rate, and the cost data includes the predetermined transmission rate.
- the historical statistical information is statistical information obtained based on filtered raw collected data.
- the steps of scheduling the transmission rate and / or the data transmission rate and transmission time period of the cache node whose transmission rate needs to be reduced include:
- the current packet loss rate of a cache node whose type is determined to increase the transmission rate is less than the predetermined packet loss rate, and / or the current packet loss rate of a cache node whose type is determined to reduce the transmission rate is greater than or equal to the predetermined packet loss rate.
- a cache node Based on the multi-day average packet loss rate-time curve and the multi-day average data transmission rate-time curve, find out a cache node whose type can improve the transmission rate is less than the predetermined transmission rate and greater than the current data transmission.
- the rate and / or type are each of the cache nodes that need to reduce the transmission rate when data is transmitted at a rate that is less than the predetermined transmission rate and less than the current data transmission rate, which can continuously make the packet loss rate less than the predetermined packet loss rate.
- An optional transmission rate and each optional transmission time period corresponding to each of the optional transmission rates;
- Selecting one or more transmission rates and transmission time periods from the respective optional transmission rates and the respective optional transmission time periods corresponding to the respective optional transmission rates one by one, as the type of the pair can increase the transmission rate And / or one or more transmission rates and transmission time periods used for scheduling the data transmission rate and transmission time period of the cache node whose transmission rate needs to be reduced.
- an apparatus for scheduling a cache node including:
- Historical statistics information acquisition module for obtaining historical statistics information of cache nodes
- the cache node type determination module is configured to determine the type of the cache node based on the packet loss rate-data transmission rate curve in the historical statistics; the types of the cache node include: can increase the transmission rate, needs to reduce the transmission rate, and cannot be performed. data transmission;
- a current information acquisition module configured to acquire a current data transmission rate and a current packet loss rate of the cache node
- a scheduling module configured to: based on the current data transmission rate and the current packet loss rate, and the multi-day average packet loss rate-time curve and the multi-day average data transmission rate-time curve in the historical statistical information; Scheduling in order to increase the transmission rate and / or the data transmission rate and transmission time period of the cache node that needs to reduce the transmission rate,
- the type of cache node that can increase the transmission rate is a cache node whose packet loss rate is less than the predetermined packet loss rate at any transmission rate that is less than the predetermined transmission rate of the cache node, and the type is that the transmission rate needs to be reduced.
- the cache nodes are cache nodes whose packet loss rate increases with the increase of the transmission rate and whose packet loss rate at the current data transmission rate is greater than or equal to a predetermined packet loss rate.
- a cache node whose packet loss rate at any of the predetermined transmission rates is greater than or equal to the predetermined packet loss rate.
- the historical statistical information acquisition module is further configured to:
- the quality data includes a packet loss rate, the bandwidth data includes a data transmission rate, and the cost data includes the predetermined transmission rate.
- the historical statistical information is statistical information obtained based on filtered raw collected data.
- the scheduling module is further configured to:
- the current packet loss rate of a cache node whose type is determined to increase the transmission rate is less than the predetermined packet loss rate, and / or the current packet loss rate of a cache node whose type is determined to reduce the transmission rate is greater than or equal to the predetermined packet loss rate.
- a cache node Based on the multi-day average packet loss rate-time curve and the multi-day average data transmission rate-time curve, find out a cache node whose type can improve the transmission rate is less than the predetermined transmission rate and greater than the current data transmission.
- the rate and / or type are each of the cache nodes that need to reduce the transmission rate when data is transmitted at a rate that is less than the predetermined transmission rate and less than the current data transmission rate, which can continuously make the packet loss rate less than the predetermined packet loss rate.
- An optional transmission rate and each optional transmission time period corresponding to each of the optional transmission rates;
- Selecting one or more transmission rates and transmission time periods from the respective optional transmission rates and the respective optional transmission time periods corresponding to the respective optional transmission rates one by one, as the type of the pair can increase the transmission rate And / or one or more transmission rates and transmission time periods used for scheduling the data transmission rate and transmission time period of the cache node whose transmission rate needs to be reduced.
- a computer network system which includes a source station, a cache node, a database, a load balancer or scheduler, and a user client.
- the load balancer or scheduler includes claims 1 to 4
- the apparatus for scheduling a cache node according to any one of the above, the database is configured to store historical statistical information of the cache node.
- a computer-readable storage medium on which a computer program is stored, characterized in that, when the computer program is executed, the steps of the method as described above are implemented.
- a computer device including a processor, a memory, and a computer program stored on the memory, wherein when the processor executes the computer program, the method is implemented as claimed in claims 1 to 4. Steps of any one of the methods.
- the upper limit of the data transmission rate carried by different types of different cache nodes can be obtained.
- the premise of meeting the data transmission quality requirements of cache nodes find out that different types of nodes can continue to accept specified data Time period of the transmission rate for automatic data transmission scheduling.
- FIG. 1 exemplarily shows a schematic flowchart of a method for scheduling a cache node according to the present document.
- FIG. 2 exemplarily shows a packet loss rate-data transmission rate curve corresponding to a cache node that can increase the transmission rate.
- FIG. 3 exemplarily shows a packet loss rate-data transmission rate curve corresponding to a cache node whose transmission rate needs to be reduced.
- FIG. 4 exemplarily shows a multi-day average packet loss rate-time curve and a multi-day average data transmission rate-time curve that can provide a basis for scheduling operations.
- FIG. 5 exemplarily illustrates a schematic block diagram of an apparatus for scheduling a cache node according to the present document.
- FIG. 6 exemplarily shows a schematic structural diagram of a computer network system including a device for scheduling a cache node according to the present disclosure.
- FIG. 7 exemplarily shows a schematic block diagram of an apparatus for scheduling a cache node according to the present document.
- FIG. 1 exemplarily shows a schematic flowchart of a method for scheduling a cache node according to the present document.
- the method for scheduling cache nodes according to this article includes:
- Step S102 Obtain historical statistical information of the cache node
- Step S104 determine the type of the cache node based on the packet loss rate-data transmission rate curve in the historical statistics; the types of the cache node include: can increase the transmission rate, needs to reduce the transmission rate, and cannot perform data transmission;
- Step S106 Obtain the current data transmission rate and the current packet loss rate of the cache node
- Step S108 Based on the current data transmission rate and the current packet loss rate, and the multi-day average packet loss rate-time curve and the multi-day average data transmission rate-time curve in the historical statistics, the type is to increase the transmission rate and / or The data transmission rate and transmission time period of the cache node whose transmission rate needs to be reduced are scheduled,
- the type of cache node that can increase the transmission rate is a cache node whose packet loss rate is less than the predetermined packet loss rate at any transmission rate that is less than the predetermined transmission rate of the cache node.
- the type is a cache that needs to reduce the transmission rate.
- a node is a cache node whose packet loss rate increases with the increase of the transmission rate and the packet loss rate at the current data transmission rate is greater than or equal to a predetermined packet loss rate.
- a type of cache node that cannot perform data transmission is less than the predetermined transmission rate.
- a cache node whose packet loss rate at any transmission rate is greater than or equal to a predetermined packet loss rate.
- step S104 can be implemented by the following specific steps:
- the packet loss rate of the computer room (cache node) according to the service category (for example, web pages, streaming media, etc.). For example, if the packet loss rate is greater than a% (0 ⁇ a ⁇ 10) It is considered that the service capacity of the computer room is reduced at this time. Therefore, in a computer room that has always been a problem (ie, a cache node), even if the bandwidth value is not high, the data quality of the computer room is dense and the packet loss rate in the dense area is greater than or equal to a%.
- the above type is a cache node that cannot perform data transmission-the problem of the computer room needs to be handled by the computer room and is not suitable for service).
- step S102 includes:
- the quality data includes a packet loss rate, the bandwidth data includes a data transmission rate, and the cost data includes a predetermined transmission rate.
- time-machine room quality data-node names are divided into one type, and time-node bandwidth-node names are divided into another type.
- Time and node are the only keys. If the different types of keys are consistent, the time + node + node bandwidth data and the room quality data of the corresponding key are automatically formed. The only corresponding relationship is stored in the database with the original collected data.
- the historical statistical information is statistical information obtained based on the filtered original collected data.
- the correlation data obtained through the automatic correlation above is all the data of the node since it has a bandwidth value.
- the proportion of packet loss caused by the computer room itself is only a small part, and the corresponding points are sparse compared to the points caused by other reasons, so it is easy to filter. For example, you can filter out abnormal outliers through the 3 ⁇ calculation rule of the normal distribution.
- step S108 includes:
- each optional transmission rate that is available on the day can continuously make the packet loss rate less than the predetermined packet loss rate, and each optional transmission rate is one by one.
- Select one or more transmission rates and transmission time periods from each optional transmission rate and each optional transmission time period corresponding to each optional transmission rate, as the pair type can increase the transmission rate and / or reduce the transmission Rate
- the cache node's data transmission rate and transmission time period are used when scheduling one or more transmission rates and transmission time periods.
- step S108 may include the following specific steps:
- the bandwidth is used as a dividing line. For example, a minimum of 1 can be taken out in a plurality of time periods (for example, with a 5% bandwidth interval as the step size) for which the packet loss rate is less than a% (for example, in steps of 5% bandwidth interval). This time period is used as the security controllable security duration of the bandwidth value.
- the calculated bandwidth upper limit and the bandwidth upper limit security duration corresponding to the node are sent to the decision scheduling system.
- the specific scheduling process of a class B node can be implemented through the following specific steps:
- the scheduling is based on the bandwidth difference of the bandwidth percentage.
- the duration of the bandwidth is the security corresponding to the bandwidth of the node. duration.
- the scheduling module After receiving the scheduling task, the scheduling module will perform scheduling according to the corresponding parameter values, and generate a DNS delivery task list to ensure that the bandwidth of the node reaches the upper limit of the bandwidth as far as possible but the quality data of the equipment room is within the safe range.
- FIG. 5 exemplarily illustrates a schematic block diagram of an apparatus 200 for scheduling a cache node according to the present document.
- the apparatus 200 for scheduling a cache node includes:
- the historical statistical information acquisition module 201 is configured to acquire historical statistical information of a cache node
- the cache node type determination module 203 is configured to determine the type of the cache node based on the packet loss rate-data transmission rate curve in the historical statistical information; the types of the cache node include: can increase the transmission rate, needs to reduce the transmission rate, and cannot perform data transmission;
- a current information acquisition module 205 configured to acquire a current data transmission rate and a current packet loss rate of the cache node
- a scheduling module 207 is configured to improve the transmission rate based on the current data transmission rate and the current packet loss rate, and the multi-day average packet loss rate-time curve and the multi-day average data transmission rate-time curve in historical statistical information. And / or the data transmission rate and transmission time period of the cache node whose transmission rate needs to be reduced,
- the type of cache node that can increase the transmission rate is a cache node whose packet loss rate is less than the predetermined packet loss rate at any transmission rate that is less than the predetermined transmission rate of the cache node.
- the type is a cache that needs to reduce the transmission rate.
- a node is a cache node whose packet loss rate increases with the increase of the transmission rate and the packet loss rate at the current data transmission rate is greater than or equal to a predetermined packet loss rate.
- a type of cache node that cannot perform data transmission is less than the predetermined transmission rate.
- a cache node whose packet loss rate at any transmission rate is greater than or equal to a predetermined packet loss rate.
- the historical statistical information acquisition module 201 is further configured to:
- the quality data includes a packet loss rate, the bandwidth data includes a data transmission rate, and the cost data includes a predetermined transmission rate.
- the historical statistical information is statistical information obtained based on the filtered original collected data.
- the scheduling module 207 is further configured to:
- each optional transmission rate that is available on the day can continuously make the packet loss rate less than the predetermined packet loss rate, and each optional transmission rate is one by one.
- Select one or more transmission rates and transmission time periods from each optional transmission rate and each optional transmission time period corresponding to each optional transmission rate, as the pair type can increase the transmission rate and / or reduce the transmission Rate
- the cache node's data transmission rate and transmission time period are used when scheduling one or more transmission rates and transmission time periods.
- FIG. 6 exemplarily shows a schematic structural diagram of a computer network system 300 including an apparatus 200 for scheduling a cache node according to the present disclosure.
- the example computer network system 300 includes a source station 301, a cache node 302, a database 303, a load balancer or scheduler 304 (which includes the device 200 for scheduling cache nodes according to the above-mentioned article), a user client 305.
- Multiple cache nodes 302 are used to cache resources of the source station 301 that the user 306 wishes to access through the client 305.
- the database 303 is configured to store the above-mentioned historical statistical information about each cache node 302 (that is, historical statistical information required to be acquired by the historical statistical information acquiring module 201 shown in FIG. 5).
- the load balancer or scheduler 304 can use the historical statistical information of each cache node 302 obtained from the database 303, in conjunction with FIG. 1
- the described method for scheduling cache nodes dispatches user requests to one selected cache node among the three cache nodes 302, so as to perform reasonable scheduling according to the actual situation of each cache node.
- the overall framework of the example computer network system 300 is mainly applicable to online (cache) nodes on the entire network. It can find the best (data) corresponding to each node through the relationship between network data and node carrying according to the actual online service situation. Transmission rate) upper limit value, and scheduling (time period) corresponding to the optimal data transmission rate upper limit value, so that nodes within the bandwidth (i.e., data transmission rate) of safe scheduling have the highest utilization rate, and can It guarantees the quality of nodes (that is, node computer rooms), ensures that services, data collection, and analysis and scheduling are fully automated, which greatly saves labor costs and improves accuracy.
- the bottom layer of database 303 can use mysql support.
- the data classification, raw data, and associated data are in different tables.
- the primary key field "node" is set in the table.
- the table can also contain the following fields: time, data type, decision data, association Data, and necessary process data. Supports data operations, and can synchronously modify the content of data when new use cases change. It can be maintained for a long time, and can be used for querying the cause or resuming the failure when needed later.
- Fig. 7 is a block diagram of a device 700 for scheduling a cache node according to an exemplary embodiment.
- the apparatus 700 may be provided as a server.
- the apparatus 700 includes a processor 701, and the number of processors may be set to one or more as required.
- the apparatus 700 also includes a memory 702 for storing instructions executable by the processor 701, such as an application program.
- the number of memories can be set as required or one or more. It can store one or more applications.
- the processor 701 is configured to execute instructions to execute the method for scheduling a cache node described above.
- this document may be provided as a method, an apparatus (device), or a computer program product. Therefore, this document may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware aspects. Moreover, this document may take the form of a computer program product implemented on one or more computer-usable storage media containing computer-usable program code therein.
- Computer storage media includes volatile and nonvolatile, removable and non-removable media implemented in any method or technology used to store information such as computer-readable instructions, data structures, program modules or other data Including, but not limited to, RAM, ROM, EEPROM, flash memory or other memory technologies, CD-ROM, digital versatile disk (DVD) or other optical disk storage, magnetic cartridges, magnetic tape, disk storage or other magnetic storage devices, or may be used for Any other medium or the like that stores the desired information and can be accessed by the computer.
- a communication medium typically contains computer-readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave or other transmission mechanism, and may include any information delivery medium .
- These computer program instructions may also be stored in a computer-readable memory capable of directing a computer or other programmable data processing device to work in a particular manner such that the instructions stored in the computer-readable memory produce a manufactured article including an instruction device, the instructions
- the device implements the functions specified in one or more flowcharts and / or one or more blocks of the block diagram.
- These computer program instructions can also be loaded on a computer or other programmable data processing device, so that a series of steps can be performed on the computer or other programmable device to produce a computer-implemented process, which can be executed on the computer or other programmable device.
- the instructions provide steps for implementing the functions specified in one or more flowcharts and / or one or more blocks of the block diagrams.
- the terms "including”, “comprising”, or any other variation thereof are intended to encompass non-exclusive inclusion, such that an article or device that includes a series of elements includes not only those elements, but also other Elements, or elements that are inherent to such articles or equipment. Without more restrictions, the elements defined by the sentence “including " do not exclude the existence of other identical elements in the articles or equipment including the elements.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本文公开了一种调度缓存节点的方法、装置及计算机网络系统。所公开的方法包括：获取缓存节点的历史统计信息；基于历史统计信息中的丢包率-数据传输速率曲线确定缓存节点的类型；获取缓存节点的当前数据传输速率和当前丢包率；基于当前数据传输速率和当前丢包率、历史统计信息中的多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度。所公开的方案能够基于历史统计信息，得到不同类型不同缓存节点承载的数据传输速率的上限，找出不同类型的节点能持续承接指定数据传输速率的时间段，进行自动的数据传输调度。
Description
本申请要求在2018年7月18日提交中国专利局、申请号为201810791839.X,发明名称为“一种调度缓存节点的方法、装置及计算机网络系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本文涉及计算机网络技术领域，尤其涉及一种调度缓存节点的方法、装置、系统、介质及设备。
随着云服务业务的快速发展，对机房(其中设置了缓存节点)质量的要求也越来越高，云服务公司在新建节点时往往会根据由第三方提供的或自测的机房测评数据来预估节点能承载的带宽量(最大数据传输速率)，然后根据计费设定，云服务公司会设定一个大概的峰值作为节点的极限值，但是随着节点设备使用时间变长，不同时间段能承载的带宽量级会相应变化，只参考固定的带宽峰值不利于资源的合理调度，经常会出现可以继续加量的节点不能完全利用造成带宽浪费、以及不能加量的节点因为带宽量过高导致机房网络异常等问题。
更具体地，在云服务公司需要新建机房节点或者扩容节点的时候，机房会根据节点要求分配相应的带宽，然后云服务公司会在新节点上线前做一些及时测试，大致测试该机房是否能承载对应带宽值。如果测试结果满足原先设定的值，则云服务公司会购买对应的节点，此后云服务公司会根据一个固定的值来对节点进行带宽调度，但是测试的值只能表示测试对应时间点的机房满足质量条件下的带宽承载量。
在机房按照云服务公司的要求分配对应的带宽承载量之后，云服务公司根据自己确定的数据传输速率值，在该节点上线前对该节点进行压力测试，同时满足带宽大于峰值带宽的x％且丢包率小于y％则认为该网络机房的节点质量正常，则该节点测试通过，然后加入到正式的节点组按带宽上限值(例如，峰值带宽的z％，其小于x％)进行带宽的调度，但是该测试结果只能反馈当时的机房承载量，实际在线上服务客户的时候，经常会出现按照之前测试的值进行调度 没服务多久就出现机房质量异常的情况，从而导致服务质量下降，带宽承载达不到之前测试的要求就出现异常的情况。另外，有些节点实际能承受的带宽值大于预设的上限值但是却没承载实际能承受的相应带宽值，造成了带宽浪费。在此过程中，由于测试得到的上限值与实际能承受的带宽值存在区别，且对某个带宽值能持续服务的时间未知，因此经常会出现异常情况，从而需要在进行人为分析之后，再调整对应的节点带宽上限值，处理效率低且不准确。
为了解决上述问题，需要提出新的技术方案。
发明内容
为克服相关技术中存在的问题，本申请提供一种一种调度缓存节点的方法、装置、系统、介质及设备。
根据本文的一方面，提供了一种调度缓存节点的方法，包括：
获取缓存节点的历史统计信息；
基于所述历史统计信息中的丢包率-数据传输速率曲线确定缓存节点的类型；所述缓存节点的类型包括：可提高传输速率、需降低传输速率、不能进行数据传输；
获取所述缓存节点的当前数据传输速率和当前丢包率；
基于所述当前数据传输速率和所述当前丢包率、以及所述历史统计信息中的多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度，
其中，类型为可提高传输速率的缓存节点是在传输速率为小于所述缓存节点的预定传输速率的任一传输速率时丢包率均小于预定丢包率的缓存节点，类型为需降低传输速率的缓存节点是丢包率随着传输速率的增加而增加且当前数据传输速率下的丢包率大于或等于预定丢包率的缓存节点，类型为不能进行数据传输的缓存节点是在小于所述预定传输速率的任一传输速率下的丢包率均大于或等于预定丢包率的缓存节点。
上述调度缓存节点的方法还具有以下特点：
所述获取缓存节点的历史统计信息的步骤包括：
自动采集所述缓存节点的质量数据、带宽数据和成本数据；
自动基于所述质量数据、带宽数据和成本数据进行统计，获取所述历史统计信息，
其中，所述质量数据包括丢包率，所述带宽数据包括数据传输速率，所述成本数据包括所述预定传输速率。
上述调度缓存节点的方法还具有以下特点：
所述历史统计信息是基于经过过滤的原始采集数据得到的统计信息。
上述调度缓存节点的方法还具有以下特点：
所述基于所述当前数据传输速率和所述当前丢包率、以及所述历史统计信息中的多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度的步骤包括：
确定类型为可提高传输速率的缓存节点的所述当前丢包率小于所述预定丢包率和/或确定类型为需降低传输速率的缓存节点的所述当前丢包率大于等于所述预定丢包率；
基于所述多日平均丢包率-时间曲线和所述多日平均数据传输速率-时间曲线，查找出类型为可提高传输速率的缓存节点以小于所述预定传输速率且大于所述当前数据传输速率和/或类型为需降低传输速率的缓存节点以小于所述预定传输速率且小于所述当前数据传输速率进行数据传输时能够使丢包率持续小于所述预定丢包率的当日可用的各个可选传输速率、和与所述各个可选传输速率一一对应的各个可选传输时间段；
从所述各个可选传输速率和与所述各个可选传输速率一一对应的所述各个可选传输时间段选定一个或多个传输速率和传输时间段，作为对类型为可提高传输速率和/或需降低传输速率的缓存节点数据传输速率和传输时间段进行调度时所使用的一个或多个传输速率和传输时间段。
根据本文的另一方面，提供了一种调度缓存节点的装置，包括：
历史统计信息获取模块，用于获取缓存节点的历史统计信息；
缓存节点类型确定模块，用于基于所述历史统计信息中的丢包率-数据传输速率曲线确定缓存节点的类型；所述缓存节点的类型包括：可提高传输速率、需降低传输速率、不能进行数据传输；
当前信息获取模块，用于获取所述缓存节点的当前数据传输速率和当前丢包率；
调度模块，用于基于所述当前数据传输速率和所述当前丢包率、以及所述历史统计信息中的多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度，
其中，类型为可提高传输速率的缓存节点是在传输速率为小于所述缓存节点的预定传输速率的任一传输速率时丢包率均小于预定丢包率的缓存节点，类型为需降低传输速率的缓存节点是丢包率随着传输速率的增加而增加且当前数据传输速率下的丢包率大于或等于预定丢包率的缓存节点，类型为不能进行数据传输的缓存节点是在小于所述预定传输速率的任一传输速率下的丢包率均大于或等于预定丢包率的缓存节点。
上述调度缓存节点的装置还具有以下特点：
所述历史统计信息获取模块还用于：
自动采集所述缓存节点的质量数据、带宽数据和成本数据；
自动基于所述质量数据、带宽数据和成本数据进行统计，获取所述历史统计信息，
其中，所述质量数据包括丢包率，所述带宽数据包括数据传输速率，所述成本数据包括所述预定传输速率。
上述调度缓存节点的装置还具有以下特点：
所述历史统计信息是基于经过过滤的原始采集数据得到的统计信息。
上述调度缓存节点的装置还具有以下特点：
所述调度模块还用于：
确定类型为可提高传输速率的缓存节点的所述当前丢包率小于所述预定丢 包率和/或确定类型为需降低传输速率的缓存节点的所述当前丢包率大于等于所述预定丢包率；
基于所述多日平均丢包率-时间曲线和所述多日平均数据传输速率-时间曲线，查找出类型为可提高传输速率的缓存节点以小于所述预定传输速率且大于所述当前数据传输速率和/或类型为需降低传输速率的缓存节点以小于所述预定传输速率且小于所述当前数据传输速率进行数据传输时能够使丢包率持续小于所述预定丢包率的当日可用的各个可选传输速率、和与所述各个可选传输速率一一对应的各个可选传输时间段；
从所述各个可选传输速率和与所述各个可选传输速率一一对应的所述各个可选传输时间段选定一个或多个传输速率和传输时间段，作为对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度时所使用的一个或多个传输速率和传输时间段。
根据本文的另一方面，提供了一种计算机网络系统，包括源站、缓存节点、数据库、负载均衡器或调度器和用户客户端，所述负载均衡器或调度器包括如权利要求1至4中任一项所述的调度缓存节点的装置，所述数据库用于存储所述缓存节点的历史统计信息。
根据本文的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如上述方法的步骤。
根据本文的另一方面，提供了一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述方法的步骤。
根据本文的上述技术方案，能够基于历史统计信息，得到不同类型不同缓存节点承载的数据传输速率的上限，在满足缓存节点数据传输质量要求的前提下，找出不同类型的节点能持续承接指定数据传输速率的时间段，进行自动的数据传输调度。
并入到说明书中并且构成说明书的一部分的附图示出了本文的实施例，并 且与相关的文字描述一起用于解释本文的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本文的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。
图1示例性地示出了根据本文的调度缓存节点的方法的示意流程图。
图2示例性地示出了对应于可提高传输速率的缓存节点的丢包率-数据传输速率曲线。
图3示例性地示出了对应于需降低传输速率的缓存节点的丢包率-数据传输速率曲线。
图4示例性地示出了可为调度操作提供依据的多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线。
图5示例性地示出了根据本文的调度缓存节点的装置的示意框图。
图6示例性地示出了包含根据本文的调度缓存节点的装置的一种计算机网络系统的结构示意图。
图7示例性地示出了根据本文的调度缓存节点的装置的示意框图。
为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文的一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1示例性地示出了根据本文的调度缓存节点的方法的示意流程图。
如图1所示，根据本文的调度缓存节点的方法，包括：
步骤S102：获取缓存节点的历史统计信息；
步骤S104：基于历史统计信息中的丢包率-数据传输速率曲线确定缓存节点 的类型；所述缓存节点的类型包括：可提高传输速率、需降低传输速率、不能进行数据传输；
步骤S106：获取缓存节点的当前数据传输速率和当前丢包率；
步骤S108：基于当前数据传输速率和当前丢包率、以及历史统计信息中的多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度，
其中，类型为可提高传输速率的缓存节点是在传输速率为小于缓存节点的预定传输速率的任一传输速率时丢包率均小于预定丢包率的缓存节点，类型为需降低传输速率的缓存节点是丢包率随着传输速率的增加而增加且当前数据传输速率下的丢包率大于或等于预定丢包率的缓存节点，类型为不能进行数据传输的缓存节点是在小于预定传输速率的任一传输速率下的丢包率均大于或等于预定丢包率的缓存节点。
例如，可以通过以下具体步骤实现步骤S104：
1、获取到过滤后的数据，通过每个x轴的带宽数据对应的最高丢包率和其他带宽值对应的丢包率是否有明显的上升。
2、若没有上升趋势(如图2所示)则表示该节点当前的带宽承载量不会对机房的质量造成影响，并自动把该节点在该时间段置为A类节点(即，上述类型为可提高传输速率的缓存节点——当前上限低，需要增量调度节点)。
3、若有明显上升趋势(如图3所示)则表示该节点当前的带宽承载量会随着带宽承载量的升高而有升高的可能性，然后通过疏密程度给出置信区间，如图3所示，数据传输速率x＝10000时，丢包率在3％-4％之间的概率为15％，丢包率在2％-3％之间的概率为25％，丢包率在2％以下的概率为60％。自动把该节点在该时间段置为B类(即，上述类型为需降低传输速率的缓存节点——上限值有可能过高，需要减量调度节点)。
4、通常情况下，可以根据服务类别(例如，网页、流媒体等)对机房(缓存节点)的丢包率定一个最低的限制，比如丢包率大于a％(0<a<10)则认为此时该机房服务能力下降。因此，一直有问题的机房(即，缓存节点)，即使带 宽值不高机房质量数据也密集并且密集区丢包率大于等于a％，则把该节点在该时间段置为C类(即，上述类型为不能进行数据传输的缓存节点——机房问题，需要交由机房处理，不适合用来服务)。
5、把相应数据写入数据库中。
可选地，步骤S102包括：
自动采集缓存节点的质量数据、带宽数据和成本数据；
自动基于质量数据、带宽数据和成本数据进行统计，获取历史统计信息，
其中，质量数据包括丢包率，带宽数据包括数据传输速率，成本数据包括预定传输速率。
例如，可以通过以下具体步骤来采集机房质量数据、带宽数据和成本数据，并自动进行关联：
1、(通过数据采集模块，在附图中未示出)采集机房质量数据、节点带宽数据(例如，数据传输速率)，每个节点通过CDN的其他同省内节点和邻省的其他节点发起ping、mtr探测，得出每分钟该节点的机房质量数据，同时采集每分钟节点的带宽数据。
2、(通过数据分类模块，在附图中未示出)以时间-机房质量数据-节点名称分为一类、时间-节点带宽-节点名称分为另外一类。
3、(通过数据关联模块，在附图中未示出)以时间和节点作为唯一的键，如果不同类型的键一致，则自动把时间+节点+节点带宽数据与对应键的机房质量数据形成唯一对应的关系，和原始的采集数据分别存入到数据库中。
可选地，历史统计信息是基于经过过滤的原始采集数据得到的统计信息。
为了使上述历史统计信息更加准确，需要过滤掉明显存在异常的数据。例如，可以通过以下步骤实现异常数据过滤：
上文通过自动关联获取到的关联数据，是该节点从有带宽值以来的所有数据，每分钟都有一个数据，里面包括机房由于各种原因导致的质量数据(主要指丢包率)下降的数据。从整体上看，由于机房自身原因导致的丢包占比仅占很少的一部分，而且对应的点相对于其他原因导致丢包的点较稀疏，因此容易滤除。例如，可以通过正态分布的3σ计算法则过滤掉异常离群点。
可选地，步骤S108包括：
确定类型为可提高传输速率的缓存节点的当前丢包率小于预定丢包率和/或确定类型为需降低传输速率的缓存节点的当前丢包率大于等于预定丢包率；
基于多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，查找出类型为可提高传输速率的缓存节点以小于预定传输速率且大于当前数据传输速率和/或类型为需降低传输速率的缓存节点以小于预定传输速率且小于当前数据传输速率进行数据传输时能够使丢包率持续小于预定丢包率的当日可用的各个可选传输速率、和与各个可选传输速率一一对应的各个可选传输时间段；
从各个可选传输速率和与各个可选传输速率一一对应的各个可选传输时间段选定一个或多个传输速率和传输时间段，作为对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度时所使用的一个或多个传输速率和传输时间段。
例如，步骤S108可以包括以下具体步骤：
1、取出节点数据，根据原始数据取出每个节点的时间带宽、丢包数据和节点的成本线(例如，峰值数据传输速率的90％——在购买节点机房带宽的时候就对每个节点定好的，带宽高于成本线的时候对内容分发网络服务商盈利不利，所有的带宽上限设置都低于成本线)。
2、把A类节点的带宽上限(即，可用于调度的最大数据传输速率)置为成本线，把B类节点的带宽上限置为出现丢包a％的概率值小于b％(概率值根据多日调整节点带宽上限的平均丢包率做动态变化，或根据需求自定义概率值)的最大节点带宽。
3、找出节点接近上限值的带宽值能持续丢包小于a％的时间范围(即，上述时间段)。
例如，可以通过原始数据和设置的带宽上限值分别按上限值降低5％(自定义的间隔，可以根据需要调整)来确定持续时间，由于带宽模型大致呈现正态分布，以5％的带宽作为分割线，例如，可以取出丢包率的值小于a％的(例如，以5％的带宽间隔为步长的)多个时间段中满足调度所需要的连续传输时间长度的最小的1个时间段，作为该带宽值的安全可控安全持续时间。
例如，基于图4所示的可用于调度操作的多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，其中，T是指安全持续时间，X是指带宽上限的90％。可以得出如下的结论：
4、节点对应的计算后的带宽上限、带宽上限安全持续时间发给决策调度系统。
通过上述步骤，达到了自动发现各个线上节点机房当前的状况并进行带宽冗余和符合质量的安全调度的目的。
例如，可以通过以下具体步骤实现B类节点的具体调度过程：
1、(例如，通过决策模块——对应于下文中的历史统计信息获取模块201)获取自动化分析系统的节点带宽上限数据，节点带宽相关的安全持续时间数据，节点实时的带宽和机房数据。
2、自动判断当前机房丢包大于设定的阈值并且带宽符合B类节点的带宽丢包模型，则根据带宽百分比的带宽差值进行调度，默认该带宽可持续的时间为该节点带宽对应的安全持续时间。
3、找出该节点同区域的A类节点，进行带宽值的判断，并进行可接收带宽值判断，并生成调度任务，把调度需要的参数发往调度模块。
4、调度模块收到调度任务后，将按照对应的参数值进行调度，生成DNS下发任务列表，保证节点带宽尽量跑到带宽上限但是机房质量数据在安全范围内。
图5示例性地示出了根据本文的调度缓存节点的装置200的示意框图。
如图5所示，根据本文的调度缓存节点的装置200包括：
历史统计信息获取模块201，用于获取缓存节点的历史统计信息；
缓存节点类型确定模块203，用于基于历史统计信息中的丢包率-数据传输速率曲线确定缓存节点的类型；所述缓存节点的类型包括：可提高传输速率、需降低传输速率、不能进行数据传输；
当前信息获取模块205，用于获取缓存节点的当前数据传输速率和当前丢包率；
调度模块207，用于基于当前数据传输速率和当前丢包率、以及历史统计信息中的多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度，
其中，类型为可提高传输速率的缓存节点是在传输速率为小于缓存节点的预定传输速率的任一传输速率时丢包率均小于预定丢包率的缓存节点，类型为需降低传输速率的缓存节点是丢包率随着传输速率的增加而增加且当前数据传输速率下的丢包率大于或等于预定丢包率的缓存节点，类型为不能进行数据传输的缓存节点是在小于预定传输速率的任一传输速率下的丢包率均大于或等于预定丢包率的缓存节点。
可选地，历史统计信息获取模块201还用于：
自动采集缓存节点的质量数据、带宽数据和成本数据；
自动基于质量数据、带宽数据和成本数据进行统计，获取历史统计信息，
其中，质量数据包括丢包率，带宽数据包括数据传输速率，成本数据包括预定传输速率。
可选地，历史统计信息是基于经过过滤的原始采集数据得到的统计信息。
可选地，调度模块207还用于：
确定类型为可提高传输速率的缓存节点的当前丢包率小于预定丢包率和/或确定类型为需降低传输速率的缓存节点的当前丢包率大于等于预定丢包率；
基于多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，查找出类型为可提高传输速率的缓存节点以小于预定传输速率且大于当前数据传输速率和/或类型为需降低传输速率的缓存节点以小于预定传输速率且小于当前数据 传输速率进行数据传输时能够使丢包率持续小于预定丢包率的当日可用的各个可选传输速率、和与各个可选传输速率一一对应的各个可选传输时间段；
从各个可选传输速率和与各个可选传输速率一一对应的各个可选传输时间段选定一个或多个传输速率和传输时间段，作为对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度时所使用的一个或多个传输速率和传输时间段。
基于根据本文的上述方法和装置，还提出了一种计算机网络系统。
图6示例性地示出了包含根据本文的调度缓存节点的装置200的一种计算机网络系统300的结构示意图。
如图6所示，该示例计算机网络系统300包括源站301、缓存节点302、数据库303、负载均衡器或调度器304(其中包含了根据本文的上述调度缓存节点的装置200)、用户客户端305。
多个缓存节点302(图6中为3个)用于缓存用户306希望通过客户端305访问的源站301的资源。数据库303用于存储关于各个缓存节点302的上述历史统计信息(即，图5所示的历史统计信息获取模块201所需要获取的历史统计信息)。
在接收到用户306通过客户端305发出的访问源站301的资源的访问请求后，负载均衡器或调度器304能够基于从数据库303获取到的各个缓存节点302的历史统计信息，采用结合图1所描述的上述调度缓存节点的方法，将用户请求调度到3个缓存节点302中的1个选定的缓存节点上，从而根据各个缓存节点的实际情况进行合理调度。
即，该示例计算机网络系统300的整体框架主要适用于全网线上(缓存)节点，能够根据实际的线上服务情况，通过网络数据和节点承载的关系找出每个节点对应的最佳(数据传输速率)上限值、以及对应于该最佳数据传输速率上限值的调度(时间段)，使得在安全调度的带宽(即，数据传输速率)范围内的节点的利用率最高，并且可对节点(即，节点机房)质量提供保障，确保服务、数据采集和分析调度全自动化，极大地节约了人工成本，并且提高了准确性。
例如，数据库303底层可以使用mysql支持，数据分类、原始数据和关联数据在不同的表里面，表内设置主键字段“节点”，表内还可以包含以下字段：时间、数据类型、决策数据、关联数据、以及必要的过程数据等。支持数据操作，当新的用例有变化时能同步修改数据中的内容。可长时间保持，作为后期需要时可以原因查询，或故障复盘。
根据本文的上述技术方案，基于线上实时的机房承载量、以及对应的机房质量数据(即，上述历史统计信息)，通过合理的观察和合适的算法找出不同(缓存)节点(例如，对应上述3种不同的类型)承载的带宽上限(即，上述数据传输速率)，以及在满足机房质量数据的前提下，找出不同类型的节点的带宽能持续承接该带宽的时间，进行自动的带宽调度。
根据本文的上述技术方案，具有以下优点：
1、随着时间的变化，根据节点实际承载量和机房数据，动态变更节点上限，在最佳保障节点机房质量的情况提供下最大的承载量。
2、即使是承载量过大的情况下，找出最大的安全带宽的承载量，最大化利用节点带宽资源(即，最大化传输速率)。
3、计算出带宽百分比的安全持续时间(即，上述传输时间段)，在过载的情况下计算出对应带宽的安全持续时间，避免误判导致带宽降低过多，或者弃用节点导致带宽浪费。
4、采用自动化采集和分析最大化减少人员投入，提高调度效率。
5、避免了可以继续加量的节点不能完全利用造成带宽浪费、以及不能加量的节点因为带宽量过高导致机房网络异常的问题。
图7是根据一示例性实施例示出的一种用于调度缓存节点的装置700的框图。例如，装置700可以被提供为一服务器。参照图7，装置700包括处理器701，处理器的个数可以根据需要设置为一个或者多个。装置700还包括存储器702，用于存储可由处理器701的执行的指令，例如应用程序。存储器的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器701被配置为执行指令，以执行上述调度缓存节点的方法。
本领域技术人员应明白，本文的实施例可提供为方法、装置(设备)、或 计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除 在包括所述要素的物品或者设备中还存在另外的相同要素。
尽管已描述了本文的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。
显然，本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样，倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内，则本文的意图也包含这些改动和变型在内。
本文中能够基于历史统计信息，得到不同类型不同缓存节点承载的数据传输速率的上限，找出不同类型的节点能持续承接指定数据传输速率的时间段，进行自动的数据传输调度。
Claims (11)
- 一种调度缓存节点的方法，包括：获取缓存节点的历史统计信息；基于所述历史统计信息中的丢包率-数据传输速率曲线确定缓存节点的类型；所述缓存节点的类型包括：可提高传输速率、需降低传输速率、不能进行数据传输；获取所述缓存节点的当前数据传输速率和当前丢包率；基于所述当前数据传输速率和所述当前丢包率、以及所述历史统计信息中的多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度，其中，类型为可提高传输速率的缓存节点是在传输速率为小于所述缓存节点的预定传输速率的任一传输速率时丢包率均小于预定丢包率的缓存节点，类型为需降低传输速率的缓存节点是丢包率随着传输速率的增加而增加且当前数据传输速率下的丢包率大于或等于预定丢包率的缓存节点，类型为不能进行数据传输的缓存节点是在小于所述预定传输速率的任一传输速率下的丢包率均大于或等于预定丢包率的缓存节点。
- 如权利要求1所述的调度缓存节点的方法，其中，所述获取缓存节点的历史统计信息的步骤包括：自动采集所述缓存节点的质量数据、带宽数据和成本数据；自动基于所述质量数据、带宽数据和成本数据进行统计，获取所述历史统计信息，其中，所述质量数据包括丢包率，所述带宽数据包括数据传输速率，所述成本数据包括所述预定传输速率。
- 如权利要求1所述的调度缓存节点的方法，其中，所述历史统计信息是基于经过过滤的原始采集数据得到的统计信息。
- 如权利要求1所述的调度缓存节点的方法，其中，所述基于所述当前数据传输速率和所述当前丢包率、以及所述历史统计信息中的多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度的步骤包括：确定类型为可提高传输速率的缓存节点的所述当前丢包率小于所述预定丢包率和/或确定类型为需降低传输速率的缓存节点的所述当前丢包率大于等于所述预定丢包率；基于所述多日平均丢包率-时间曲线和所述多日平均数据传输速率-时间曲线，查找出类型为可提高传输速率的缓存节点以小于所述预定传输速率且大于所述当前数据传输速率和/或类型为需降低传输速率的缓存节点以小于所述预定传输速率且小于所述当前数据传输速率进行数据传输时能够使丢包率持续小于所述预定丢包率的当日可用的各个可选传输速率、和与所述各个可选传输速率一一对应的各个可选传输时间段；从所述各个可选传输速率和与所述各个可选传输速率一一对应的所述各个可选传输时间段选定一个或多个传输速率和传输时间段，作为对类型为可提高传输速率和/或需降低传输速率的缓存节点数据传输速率和传输时间段进行调度时所使用的一个或多个传输速率和传输时间段。
- 一种调度缓存节点的装置，包括：历史统计信息获取模块，用于获取缓存节点的历史统计信息；缓存节点类型确定模块，用于基于所述历史统计信息中的丢包率-数据传输速率曲线确定缓存节点的类型；所述缓存节点的类型包括：可提高传输速率、需降低传输速率、不能进行数据传输；当前信息获取模块，用于获取所述缓存节点的当前数据传输速率和当前丢包率；调度模块，用于基于所述当前数据传输速率和所述当前丢包率、以及所述历史统计信息中的多日平均丢包率-时间曲线和多日平均数据传输速率-时间曲线，对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调度，其中，类型为可提高传输速率的缓存节点是在传输速率为小于所述缓存节点的预定传输速率的任一传输速率时丢包率均小于预定丢包率的缓存节点，类型为需降低传输速率的缓存节点是丢包率随着传输速率的增加而增加且当前数据传输速率下的丢包率大于或等于预定丢包率的缓存节点，类型为不能进行数据传输的缓存节点是在小于所述预定传输速率的任一传输速率下的丢包率均大于或等于预定丢包率的缓存节点。
- 如权利要求5所述的调度缓存节点的装置，其中，所述历史统计信息获取模块还用于：自动采集所述缓存节点的质量数据、带宽数据和成本数据；自动基于所述质量数据、带宽数据和成本数据进行统计，获取所述历史统计信息，其中，所述质量数据包括丢包率，所述带宽数据包括数据传输速率，所述成本数据包括所述预定传输速率。
- 如权利要求5所述的调度缓存节点的装置，其中，所述历史统计信息是基于经过过滤的原始采集数据得到的统计信息。
- 如权利要求5所述的调度缓存节点的装置，其中，所述调度模块还用于：确定类型为可提高传输速率的缓存节点的所述当前丢包率小于所述预定丢包率和/或确定类型为需降低传输速率的缓存节点的所述当前丢包率大于等于所述预定丢包率；基于所述多日平均丢包率-时间曲线和所述多日平均数据传输速率-时间曲线，查找出类型为可提高传输速率的缓存节点以小于所述预定传输速率且大于所述当前数据传输速率和/或类型为需降低传输速率的缓存节点以小于所述预定传输速率且小于所述当前数据传输速率进行数据传输时能够使丢包率持续小于所述预定丢包率的当日可用的各个可选传输速率、和与所述各个可选传输速率一一对应的各个可选传输时间段；从所述各个可选传输速率和与所述各个可选传输速率一一对应的所述各个可选传输时间段选定一个或多个传输速率和传输时间段，作为对类型为可提高传输速率和/或需降低传输速率的缓存节点的数据传输速率和传输时间段进行调 度时所使用的一个或多个传输速率和传输时间段。
- 一种计算机网络系统，包括源站、缓存节点、数据库、负载均衡器或调度器和用户客户端，其中，所述负载均衡器或调度器包括如权利要求1至4中任一项所述的调度缓存节点的装置，所述数据库用于存储所述缓存节点的历史统计信息。
- 一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被执行时实现如权利要求1至4中任意一项所述方法的步骤。
- 一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810791839.X | 2018-07-18 | ||
| CN201810791839.XA CN110740146B (zh) | 2018-07-18 | 2018-07-18 | 一种调度缓存节点的方法、装置及计算机网络系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020015578A1 true WO2020015578A1 (zh) | 2020-01-23 |
Family
ID=69163990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2019/095694 WO2020015578A1 (zh) | 2018-07-18 | 2019-07-12 | 一种调度缓存节点的方法、装置、系统、介质及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110740146B (zh) |
| WO (1) | WO2020015578A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113691390A (zh) * | 2021-07-13 | 2021-11-23 | 中国电力科学研究院有限公司 | 一种云端协同的边缘节点报警系统及方法 |
| CN114430374A (zh) * | 2021-12-22 | 2022-05-03 | 天翼云科技有限公司 | 一种网络资源分配方法、装置及计算机设备 |
| CN115208766A (zh) * | 2022-07-29 | 2022-10-18 | 天翼云科技有限公司 | 一种cdn带宽调度方法及相关装置 |
| CN117834956A (zh) * | 2023-12-18 | 2024-04-05 | 北京联广通网络科技有限公司 | 一种资源分发回源的直播视频加速系统及方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112751650B (zh) * | 2020-12-28 | 2023-02-14 | 普联技术有限公司 | 一种非单播数据帧的发送速率确定方法 |
| CN114124838B (zh) * | 2021-11-26 | 2023-02-24 | 广州华旻信息科技有限公司 | 大数据平台的数据传输方法、装置及大数据平台管理系统 |
| CN116471273B (zh) * | 2023-04-18 | 2023-10-20 | 广州智臣信息科技有限公司 | 一种跨网数据交换系统的负载均衡实现方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102130794A (zh) * | 2011-02-28 | 2011-07-20 | 上海聚欣网络科技有限公司 | 一种用于测量用户上传带宽的方法、装置和设备 |
| CN104636204A (zh) * | 2014-12-04 | 2015-05-20 | 中国联合网络通信集团有限公司 | 一种任务调度方法与装置 |
| CN105897845A (zh) * | 2015-12-15 | 2016-08-24 | 乐视云计算有限公司 | Cdn服务节点的调度方法及服务器 |
| CN105897582A (zh) * | 2015-12-07 | 2016-08-24 | 乐视云计算有限公司 | 节点间距离的度量方法及系统 |
| CN106412628A (zh) * | 2015-07-30 | 2017-02-15 | 华为技术有限公司 | 一种带宽调整方法及相关设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102917028B (zh) * | 2012-09-26 | 2016-02-03 | 深圳好视网络科技有限公司 | 网络视频直播的缓存方法及装置 |
| CN104301951B (zh) * | 2014-09-28 | 2018-05-08 | 北京盈进科技有限公司 | 一种数据包转发方法和装置 |
| CN107547442B (zh) * | 2016-06-27 | 2022-05-31 | 中兴通讯股份有限公司 | 数据传输缓存队列分配方法及装置 |
| CN106455101B (zh) * | 2016-10-31 | 2019-11-08 | 中国联合网络通信集团有限公司 | 一种无线资源调度的方法及装置 |
-
2018
- 2018-07-18 CN CN201810791839.XA patent/CN110740146B/zh active Active
-
2019
- 2019-07-12 WO PCT/CN2019/095694 patent/WO2020015578A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102130794A (zh) * | 2011-02-28 | 2011-07-20 | 上海聚欣网络科技有限公司 | 一种用于测量用户上传带宽的方法、装置和设备 |
| CN104636204A (zh) * | 2014-12-04 | 2015-05-20 | 中国联合网络通信集团有限公司 | 一种任务调度方法与装置 |
| CN106412628A (zh) * | 2015-07-30 | 2017-02-15 | 华为技术有限公司 | 一种带宽调整方法及相关设备 |
| CN105897582A (zh) * | 2015-12-07 | 2016-08-24 | 乐视云计算有限公司 | 节点间距离的度量方法及系统 |
| CN105897845A (zh) * | 2015-12-15 | 2016-08-24 | 乐视云计算有限公司 | Cdn服务节点的调度方法及服务器 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113691390A (zh) * | 2021-07-13 | 2021-11-23 | 中国电力科学研究院有限公司 | 一种云端协同的边缘节点报警系统及方法 |
| CN114430374A (zh) * | 2021-12-22 | 2022-05-03 | 天翼云科技有限公司 | 一种网络资源分配方法、装置及计算机设备 |
| CN115208766A (zh) * | 2022-07-29 | 2022-10-18 | 天翼云科技有限公司 | 一种cdn带宽调度方法及相关装置 |
| CN115208766B (zh) * | 2022-07-29 | 2023-11-03 | 天翼云科技有限公司 | 一种cdn带宽调度方法及相关装置 |
| CN117834956A (zh) * | 2023-12-18 | 2024-04-05 | 北京联广通网络科技有限公司 | 一种资源分发回源的直播视频加速系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110740146A (zh) | 2020-01-31 |
| CN110740146B (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020015578A1 (zh) | 一种调度缓存节点的方法、装置、系统、介质及设备 | |
| JP6563936B2 (ja) | クラウドに基づく仮想オーケストレーターのための方法、システム、およびコンピュータ読取可能な媒体 | |
| US9838483B2 (en) | Methods, systems, and computer readable media for a network function virtualization information concentrator | |
| EP3116186B1 (en) | System and method for providing an on-site service | |
| JP5982683B2 (ja) | 計算機システム | |
| CN102594675B (zh) | 流量控制系统及方法 | |
| WO2016119412A1 (zh) | 一种云平台上的资源伸缩方法和一种云平台 | |
| US20180198855A1 (en) | Method and apparatus for scheduling calculation tasks among clusters | |
| CN103699445A (zh) | 一种任务调度方法、装置及系统 | |
| GB2539994A (en) | Modifying quality of service treatment for data flows | |
| CN102142990B (zh) | 业务用量监控方法及设备 | |
| CN110177054B (zh) | 一种端口队列调度方法、装置、网络控制器及存储介质 | |
| WO2016086406A1 (zh) | 一种网络资源部署方法和设备 | |
| CN109327403B (zh) | 一种流控方法、装置、网络设备及存储介质 | |
| CN108512672B (zh) | 业务编排方法、业务管理方法及装置 | |
| WO2023143276A1 (zh) | 流量控制方法、设备及存储介质 | |
| CN106303112B (zh) | 一种话务均衡方法及装置 | |
| US9825879B2 (en) | Method and arrangement for admission control based on priority level based differentiation | |
| CN111132179B (zh) | 一种小区调度方法、系统、装置和存储介质 | |
| CN117203944A (zh) | 算力网络的资源调度方法 | |
| WO2020024443A1 (zh) | 资源调度方法、装置、计算机设备及计算机可读存储介质 | |
| WO2024088078A1 (zh) | 一种带宽调节方法、系统、设备及存储介质 | |
| EP3318011B1 (en) | Modifying quality of service treatment for data flows | |
| WO2020082518A1 (zh) | 一种识别带宽需求突发的方法和装置 | |
| CN106341474B (zh) | 一种基于icn与sdn网络的资料管控中心及其内容管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19836993 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19836993 Country of ref document: EP Kind code of ref document: A1 |