TW201424305A - 於雲端中之cdn負載平衡 - Google Patents

於雲端中之cdn負載平衡 Download PDF

Info

Publication number
TW201424305A
TW201424305A TW102139818A TW102139818A TW201424305A TW 201424305 A TW201424305 A TW 201424305A TW 102139818 A TW102139818 A TW 102139818A TW 102139818 A TW102139818 A TW 102139818A TW 201424305 A TW201424305 A TW 201424305A
Authority
TW
Taiwan
Prior art keywords
server
property
edge data
data center
partition
Prior art date
Application number
TW102139818A
Other languages
English (en)
Inventor
Marwan Batrouni
Jason Drew Zions
Octavian Hornoiu
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201424305A publication Critical patent/TW201424305A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/289Intermediate processing functionally located close to the data consumer application, e.g. in same machine, in same home or in same sub-network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/101Server selection for load balancing based on network conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0893Assignment of logical groups to network elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0894Policy-based network configuration management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5019Ensuring fulfilment of SLA
    • H04L41/5025Ensuring fulfilment of SLA by proactively reacting to service quality change, e.g. by reconfiguration after service quality degradation or upgrade
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/5096Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to distributed or central networked applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本發明提供雲端中之CND負載平衡。在內容傳遞網路的邊緣資料中心處,分配伺服器資源至正藉由邊緣資料中心服務的性質。基於近實時資料,藉由邊緣資料中心處的趨勢訊務分類性質。分配針對邊緣資料中心處的分類的性質中的至少一個性質的伺服器資源。基於從長期趨勢發展的規則分配伺服器資源。資源分配包括以下步驟:計算針對邊緣資料中心處的分區中的性質的伺服器需要,以及分配針對性質的伺服器需要至分區中的可用的伺服器。

Description

於雲端中之CDN負載平衡
本發明係關於雲端中之CDN負載平衡。
許多基於網際網路的服務提供者傳遞數位內容至全球的客戶端。數位內容可包括網頁物件(例如,文本、圖形、URL、腳本)、可下載物件(例如,媒體檔案、軟體、文件)、網頁應用程式、串流媒體(例如,音訊及視訊內容)等等。提供數位內容至位於各種各樣地理位置的許多客戶端可呈現給服務提供者挑戰。舉例而言,服務提供者可能無法提供足夠的伺服器資源及/或網路帶寬以服務在給定時間請求數位內容的所有客戶端。此外,地理上遠離服務提供者的伺服器之客戶端可能經歷高位準延遲及/或低傳送速率,因為服務提供者及客戶端之間的訊務經由大量網際網路伺服器及在大的地理距離上路由。
內容傳遞網路(Content Delivery Network;CDN)旨在使服務提供者傳遞數位內容至大的及/或地理上多樣的客戶端組的能力簡易化。CDN定位各種地理位置中的伺服器(或伺服器集群)及CDN使用該等伺服器從服務提供者的起始伺服 器快取及傳遞內容。同樣地,CDN可藉由增加總的可用伺服器資源及用於傳遞每一服務提供者的內容的帶寬及亦藉由從伺服器(該等伺服器地理上靠近服務的客戶端)傳遞每一服務提供者的內容兩者來改良服務提供者傳遞內容至客戶端的能力。
CDN經常為大量服務提供者提供內容傳遞服務。同樣地,CDN在各種服務提供者中分配CDN資源。舉例而言,若CDN正在經歷針對特定地理區域中的特定服務提供者的訊務浪湧,則CDN可反應性地在特定地理區域中分配額外伺服器資源用於傳遞特定服務提供者的內容,同時從一或更多個其他服務提供者移除特定地理區域中的額外伺服器資源。
本文中描述的至少一些實施例利用實時資料及歷史資料兩者以主動地(與反應性地相反)重新配置CDN以處理當前及預期客戶端負載。同樣地,在針對服務提供者的客戶端負載增量之前,基於實時資料及歷史資料,本文中描述的實施例可主動地具有針對服務提供者的適當伺服器分配及快取的服務提供者的內容。
在一些實施例中,CDN的邊緣資料中心處的伺服器資源經分配給藉由邊緣資料中心服務的性質。基於近實時資料,電腦系統藉由邊緣資料中心處的趨勢訊務分類性質。電腦系統基於從長期趨勢發展的規則針對邊緣資料中心處的分類性質的性質分配伺服器資源。分配包括電腦系統計算針對邊緣資料中心處的分區中的性質的伺服器需要。分配亦包括 電腦系統分配針對性質的伺服器需要至分區中的一或更多個可用的伺服器。
提供此「發明內容」以簡化形式介紹概念的選擇,在以下「實施方式」中將進一步描述該等概念。此「發明內容」並非意欲識別所主張標的之關鍵特徵或基本特徵,亦不意欲用於幫助決定所主張標的之範圍。
100‧‧‧電腦架構
102‧‧‧邊緣資料中心
102a‧‧‧邊緣資料中心
102b‧‧‧邊緣資料中心
104a‧‧‧負載平衡器代理
104b‧‧‧負載平衡器代理
106a‧‧‧伺服器
106b‧‧‧伺服器
108‧‧‧部件
110‧‧‧NRT聚合器
112‧‧‧NRT資料儲存器
114‧‧‧部件
116‧‧‧長期趨勢資料儲存器
118‧‧‧趨勢聚合器
120‧‧‧記錄資料儲存器
122‧‧‧負載平衡器服務
124‧‧‧規則資料儲存器
300‧‧‧方法
302‧‧‧動作
304‧‧‧動作
306‧‧‧動作
308‧‧‧動作
310‧‧‧動作
312‧‧‧動作
314‧‧‧動作
316‧‧‧動作
400‧‧‧方法
402‧‧‧動作
404‧‧‧動作
406‧‧‧動作
408‧‧‧動作
500‧‧‧方法
502‧‧‧動作
504‧‧‧動作
506‧‧‧動作
508‧‧‧動作
為了描述其中可獲得本發明之上述及其他優點及特徵的方式,將藉由參閱本發明的具體實施例(該等具體實施例在隨附圖式中圖示)提供以上簡要描述的本發明的更特定的描述。應理解,該等圖式僅描繪本發明的典型實施例及該等圖式不因此視為限制本發明的範圍,將經由使用隨附圖式以額外的特殊性及細節描述及解釋本發明,在該等隨附圖式中:第1圖圖示示例性電腦架構,該示例性電腦架構促進主動地及反應性地配置CDN以處理針對藉由CDN代管的性質的當前及預期客戶端負載。
第2圖圖示用於劃分、分區及/或分配示例性CDN的資源的示例性方案。
第3圖圖示用於分配CDN的邊緣資料中心處的伺服器資源至藉由邊緣資料中心服務的性質的示例性方法的流程圖。
第4圖圖示用於邊緣資料中心處的負載平衡器代理卸載訊務至另一邊緣資料中心的示例性方法的流程圖。
第5圖圖示用於使用孵化池決定性質的一或更多個屬性的示例性方法的流程圖。
本文中描述的至少一些實施例利用實時資料及歷史資料兩者以主動地(與反應性地相反)重新配置CDN從而處理當前及預期客戶端負載。同樣地,在針對服務提供者的客戶端負載增量之前,基於實時資料及歷史資料,本文中描述的實施例可主動地具有針對服務提供者的適當伺服器分配及快取的服務提供者的內容。
更特定而言,實施例針對CDN,該CDN服務複數個性質及包括複數個邊緣資料中心,該等複數個邊緣資料中心實體上位於不同地理位置中(及潛在地位於全球地理位置處)。每一邊緣資料中心包括複數個伺服器,該等複數個伺服器用於快取及服務性質的內容。實施例亦針對CDN,該CDN包括負載平衡器服務,該負載平衡器服務追蹤針對複數個邊緣資料中心的長期訊務趨勢及管理用於分配伺服器資源(基於長期訊務趨勢)至性質的規則。實施例亦針對CDN,該CDN包括每一邊緣資料中心處的負載平衡器代理。每一負載平衡器代理經配置為基於長期訊務趨勢的規則以及關於邊緣資料中心處的當前活動的實時(或近實時)資料作出伺服器分配決策。同樣地,負載平衡器代理主動地基於長期訊務趨勢及規則及反應性地基於實時(或近實時)資料作出伺服器分配決策。
如本文中所使用的,「性質」為客戶網頁應用程式, 該客戶網頁應用程式在起始伺服器上代管。舉例而言,「性質」可為線上視訊串流網站、線上音訊串流服務、修補/更新網站等等。如本文中所使用的,「客戶」為具有一或更多個性質的人、實體、服務提供者等等。如本文中所使用的,「起始伺服器」為藉由客戶擁有及/或操作的網路伺服器。
第1圖圖示示例性電腦架構100,該示例性電腦架構100促進主動地及反應性地配置CDN以處理針對藉由CDN代管的性質的當前及預期客戶端負載。參閱第1圖,電腦架構100包括邊緣資料中心102、關於近實時(near real-time;NRT)資料的一或更多個部件108及關於長期趨勢及規則的一或更多個部件114。描繪的部件及電腦系統的每一者在諸如例如區域網路(「(Local Area Network;LAN)」)、廣域網路(「(Wide Area Network;WLAN)」)、網際網路等等的網路上彼此連接(或屬於網路的部分)。因此,描繪的部件及電腦系統的每一者可在網路上創建訊息相關資料及交換訊息相關資料(例如,網際網路協定(Internet Protocol)(「IP」)資料塊及其他使用IP資料塊的較高層協定,諸如傳輸控制協定(「(Transmission Control Protocol;TCP)」)、超文件傳輸協定(「(Hypertext Transfer Protocol;HTTP)」)、簡單郵件傳輸協定(「(Simple Mail Transfer Protocol;SMTP)」)等等)。
邊緣資料中心102包含複數個資料中心,該等複數個資料中心每一者位於不同地理位置處。舉例而言,第1圖描繪邊緣資料中心102a及邊緣資料中心102b,儘管電腦架構100可包括任意數量的邊緣資料中心,如垂直省略號所指示 的。如本文中所使用的,「出現點」(point of presence;POP)亦代表邊緣資料中心,代表邊緣資料中心是否專門作為CDN的一部分或與其他服務合作。
如所描繪的,每一邊緣資料中心102包括複數個伺服器(例如,伺服器106a及106b),該等複數個伺服器配置為快取相關於邊緣資料中心的性質的內容及傳遞彼內容至客戶端(例如,快取的性質的客戶端,該等客戶端地理上接近邊緣資料中心)。每一邊緣資料中心102亦包括負載平衡器代理(例如,負載平衡器代理104a及104b)。負載平衡器代理(104a、104b)配置為關於在相對應的邊緣資料中心處的伺服器資源(106a、106b)如何分配給不同性質做出主動的及反應性的決策兩者。如此做,負載平衡器代理(104a、104b)使用基於長期趨勢資料的規則(來自規則資料儲存器124)及NRT資料(來自NRT資料儲存器112)。
如本文中所使用的,「NRT資料」意謂在近實時中(諸如,在幾分鐘以內甚至幾秒鐘以內)收集及聚合之資料。在描繪的實施例中,關於NRT資料的一或更多個部件108包括NRT聚合器110及NRT資料儲存器112。NRT聚合器110解析邊緣資料中心102處產生的日誌,以產生關於在每一邊緣資料中心處的當前活動的NRT資料。NRT聚合器110在NRT資料儲存器112中儲存產生的NRT資料。NRT資料儲存器112使得NRT資料為在每一邊緣資料中心處之負載平衡器代理(104a、104b)可用(如NRT資料儲存器112及負載平衡器代理之間的箭頭所指示的)。相應地,負載平衡器代理 經賦能以從NRT資料儲存器112擷取NRT資料及使用NRT資料作為負載平衡器代理的資源分配決策的部分。使用NRT資料,負載平衡器代理能夠對邊緣資料中心102處的當前訊務作出反應,諸如以處理一或更多個性質處的訊務中的意外浪湧。儘管關於NRT資料的一或更多個部件108經描繪為與邊緣資料中心102分離,然而在一些實施例中,該等部件的全部或部分係在邊緣資料中心102處實施。
在描繪的實施例中,關於長期趨勢及規則的一或更多個部件114包括日誌資料儲存器120、趨勢聚合器118及長期趨勢資料儲存器116。日誌資料儲存器120配置為儲存藉由邊緣資料中心102產生的日誌。趨勢聚合器118配置為解析該等日誌以確定藉由邊緣資料中心服務的性質的長期訊務樣式。趨勢聚合器118在長期趨勢資料儲存器116中儲存長期訊務樣式。
長期趨勢可識別針對幾日、幾周、幾月或甚至幾年的性質的客戶端需求的變化。舉例而言,針對視訊串流性質,長期趨勢可指示某周中的特定日(例如,對應於新內容的公佈)中、在晚上及在週末的客戶端需求的增加。在另一實例中,針對修補/更新性質,長期趨勢可指示某月中的特定日(例如,當公佈新修補/更新內容時)及在某日的特定時間(當許多客戶端配置為安裝修補/更新時)的客戶端需求的增加。
在描繪的實施例中,關於長期趨勢及規則的一或更多個部件114亦包括負載平衡器服務122及規則資料儲存器124。負載平衡器服務122配置為分析長期趨勢資料儲存器 116中的訊務樣式資料,以創建/修改關於邊緣資料中心102處的伺服器分配給各種性質的規則,及在規則資料儲存器124中儲存規則。規則資料儲存器124使得規則為在每一邊緣資料中心處之負載平衡器代理(104a、104b)可用(如規則資料儲存器124及負載平衡器代理之間的箭頭所描繪的)。相應地,負載平衡器代理經賦能以從規則資料儲存器124擷取規則及使用規則作為負載平衡器代理的資源分配決策的部分。
如長期趨勢資料儲存器116及負載平衡器服務122之間的雙箭頭所指示的,負載平衡器服務122可從長期趨勢資料儲存器116接收長期趨勢資料及負載平衡器服務122亦提供反饋至長期趨勢資料儲存器116。舉例而言,負載平衡器服務122可精化/最佳化長期趨勢資料的收集。此外,如規則資料儲存器124及負載平衡器服務122之間的雙箭頭所指示的,負載平衡器服務122可從規則資料儲存器124讀取規則及亦可提供規則輸入及調整至規則資料儲存器124。
在一些實施例中,CDN分配性質至跨過邊緣資料中心(pop)的池。屬於特定池的特定pop處的伺服器集合為彼池的分區。該等伺服器服務針對pop處的池的性質。舉例而言,第2圖圖示用於劃分、分區及/或分配示例性CDN的資源的示例性方案。示例性CDN包括三個pop(或邊緣資料中心)。該等pop包括具有50個伺服器的「pop A」、具有80個伺服器的「pop B」及具有100個伺服器的「pop C」。如水平省略號所指示的,示例性CDN可包括任意數量的pop。
如所描繪的,示例性CDN將示例性CDN資源劃分為複數個池,包括「池1」、「池2」及「池3」。如垂直的省略號所指示的,示例性CDN可包括任意數量的池。每一池包含在一或更多個pop處的一或更多個伺服器的分區。舉例而言,池1包括pop A處的分區1A(10個伺服器)、pop B處的分區1B(25個伺服器)及pop C處的分區1C(20個伺服器)。如所描繪的,池2包括pop A、pop B及pop C處的分區(2A、2B及2C)及池3包括pop A及pop B處的分區(3A及3B)。
性質可經分配給池。舉例而言,五個性質可分配給池1,10個性質可分配給池2及四個性質可分配給池3。相應地,保留每一池的分區中的伺服器以服務分配給池的性質。舉例而言,在pop A處保留分區1A的10個伺服器以服務分配給池1的五個性質,在pop B處保留分區1B的25個伺服器以服務分配給池1的五個性質及在pop B處保留分區1C的20個伺服器以服務分配給池1的五個性質。在一些實施例中,性質可分配給多個池及彼等池可分配給相同pop。因此,性質可分配給單個pop處的多個分區(對應於不同的池)。
在第1圖及第2圖的上下文中,存在複數個方法,可採用該等複數個方法作為管理用於服務CDN內部的性質的伺服器分配的部分。
1. 負載平衡演算法
實施例包括負載平衡演算法,該負載平衡演算法藉由邊緣資料中心102處的每一負載平衡器代理執行。使用負 載平衡演算法,每一負載平衡器代理利用來自NRT資料儲存器112的NRT資料及來自規則資料儲存器124的規則兩者以做出本端伺服器分配決策。
第3圖圖示用於分配CDN的邊緣資料中心處的伺服器資源至藉由邊緣資料中心服務的性質的示例性方法300的流程圖。將關於電腦架構100的部件及資料描述方法300。
方法300包含根據趨勢訊務分類性質的動作(動作302)。動作302可包括基於近實時資料藉由邊緣資料中心處的趨勢訊務來分類複數個性質的動作。舉例而言,負載平衡器代理104a可比較來自NRT資料儲存器112的NRT資料與來自規則資料儲存器124的規則,以決定邊緣資料中心102處一或更多個性質正經歷的訊務樣式的類型。負載平衡器代理104a可隨後分類正經歷訊務浪湧的性質(例如,以優先性遞減順序)及將該等性質放入分類的性質列表。方法300的剩餘部分可隨後根據分類的性質列表進行資源分配任務,使得在非浪湧性質之前分配伺服器資源106a至浪湧性質。
方法300亦包含選擇分類性質列表中的下一個性質的動作(動作304)及針對選擇的性質選擇下一個分區的動作(動作306)。舉例而言,負載平衡器代理104a可選擇分類性質列表中具有最大趨勢訊務的性質,及隨後選擇第一分區,彼性質經分配給該第一分區。
方法300亦包含計算針對選擇的分區中選擇的性質的伺服器需要的動作(動作308)。動作308可包括基於從長期趨勢發展的一或更多個規則針對邊緣資料中心處分類的複 數個性質中的至少一個性質分配伺服器資源的動作,包括計算針對邊緣資料中心處的分區中的至少一個性質的伺服器需要。舉例而言,動作308可包括以下步驟:負載平衡器代理104a基於趨勢訊務改變性質的負載類型及基於新負載類型決定針對性質的伺服器需要。
在一些實施例中,可基於因素(諸如,(例如,如隨後與孵化一起描述的)針對性質的過去訊務樣式、手動分配或來自客戶的說明)分配規則內部的一般負載類型至性質。舉例而言,可基於每一pop處的性質的典型客戶端負載,根據「T恤尺寸」(例如,S、M、L、XL),在彼pop中分類每一性質。因此,在一個實施例中,動作308可包括以下步驟:負載平衡器代理使用NRT資料決定當前趨勢訊務將引起性質到達一點,該點將引起pop處的負載類型增加(例如,從L至XL)或減少。基於性質需要負載類型增加/減少的決定,負載平衡器代理可分配新負載類型至pop處的性質。隨後,負載平衡器代理可基於新負載類型計算針對性質的新伺服器需要。
計算新伺服器需要可包括以下步驟:從規則擷取針對新負載類型的性質的一般伺服器需要。舉例而言,規則可指定負載類型XL的性質的一般伺服器需要如表1中所展示:
表1指定最少伺服器需要及乘數。最少伺服器需要為能夠滿足在pop處的此類型性質的100%需要的完全專用伺服器的計數。乘數定義將針對此類型性質應允許多少彈性邊際。
計算新伺服器需要亦可包括以下步驟:計算針對性質的pop負載。舉例而言,基於性質的池分配,可跨過pop分配性質,如表2中所展示: 此外,每一負載類型可對應於係數權重。舉例而言,係數權重可如表3中所指定的: 基於表1至表3,負載平衡器代理可計算針對性質的每一負載類型的伺服器需要計數,如表4中所展示: 負載平衡器代理可隨後使用以下等式計算針對選擇的分區中的選擇的性質的分配百分比:分配百分比=((pop處的負載類型的數量)*(來自表3的負載類型的權重))/(來自表4的總數)舉例而言,針對pop A,分配百分比將計算如下:(1*5)/22=0.227或~22%。表5展示針對每一pop中的性質1的分配百分比: 最後,每一pop中的性質1需要的伺服器數量可以以下等式計算:需要的伺服器數量=(來自表1的最少伺服器需要)*(來自表1的乘數)*(分配百分比)舉例而言,pop A中的性質1將需要20*10*22%=44個伺服器。因此,針對pop A處的分區中的性質1的新伺服器需要將為44個伺服器。
在一些情況下,性質可分配給二個或更多個重疊的 池。在此類情況下,負載平衡器代理可計算pop中的負載的池分區份額。舉例而言,性質1可分配給「北美池」及「國際池」兩者,其中每一池經分配給至少一個共用pop。舉例而言,表6描繪示例性池分配方案,在該分配方案中,池分配給至少一個共用pop: 在此池分配方案中,針對pop A處的總共180個伺服器,將性質1分配給作為北美池的一部分的pop A中的一個分區(80個伺服器)及分配給作為國際池的一部分的pop A中的另一分區(100個伺服器)。計算pop A中的分區份額可使用至少二個策略(自然分區分配或成比例分區分配)中的一個來完成。
使用自然分區分配,負載平衡器代理可均勻地將pop 中的性質需要的伺服器分配給每一分區。舉例而言,因為pop A中的性質1需要44個伺服器,故負載平衡器代理可分配一半的伺服器需要(22個伺服器)至對應於北美池的分區,及分配一半的伺服器需要(22個伺服器)至對應於國際池的分區。
使用成比例的分區分配,相反地,負載平衡器代理可成比例地將pop中的性質需要的伺服器分配給每一分區。舉例而言,對應於北美池的pop A處的分區具有pop A處的性質1的潛在可用的~44%(80個伺服器/180個伺服器)的伺服器,及對應於國際池的pop A處的分區具有pop A處的性質1的潛在可用的~55%(100個伺服器/180個伺服器)的伺服器。因此,因為pop A中的性質1需要44個伺服器,故針對總共44個伺服器,負載平衡器代理可成比例地分配伺服器需要中的20個(44個伺服器* 44%)至對應於北美池的分區,及分配伺服器需要中的24個(44個伺服器* 55%)至對應於國際池的分區。
回到第3圖,方法300亦包含分配性質需要至選擇的分區中的可用的伺服器的動作(動作310)。動作308可包括基於從長期趨勢發展的一或更多個規則分配針對邊緣資料中心處分類的複數個性質中的至少一個性質的伺服器資源的動作,包括分配針對至少一個性質的伺服器需要至分區中的一或更多個可用的伺服器。舉例而言,動作310可包括以下步驟:負載平衡器代理104a使用一或更多個不同標準分配負載份額至分區中的伺服器。舉例而言,在分配期間,負載平 衡器代理104a可執行以下一或更多者:(1)聚合伺服器資源,(ii)解釋資料的黏性,或(iii)解釋性質的相容性。
舉例而言,動作308可包括以下步驟:根據資源聚合索引、快取資料黏性索引及相容性索引的加權平均,分類分區中的伺服器,該等伺服器為待分配至性質的候選者。舉例而言,負載平衡器代理可計算分區(性質可分配給該分區)中針對每一候選伺服器的加權平均,隨後根據加權平均分類彼等伺服器。伺服器的分類列表依序提供用於分配至性質的最適當的伺服器。
資源聚合索引提供在伺服器處剩餘的可用資源的估計的指示,及可以用於估計伺服器處的剩餘資源的任何適當的方式計算資源聚合索引。舉例而言,負載平衡器代理可追蹤何等性質分配給了分區中的何等伺服器,及估計給定該等性質的平均負載時每一伺服器剩餘的可用資源。
快取資料黏性索引可指示在伺服器處已快取資料多長時間。舉例而言,負載平衡器代理可追蹤伺服器處快取的資料已經活躍了多長時間。資料快取的時間越長,黏性就更重要,因為此資料將顯得更為重要。
相容性索引可提供伺服器處的不同性質的相容性(或不相容性)分數。舉例而言,負載平衡器代理可基於分配給伺服器之性質的相容性給伺服器打分,同時將針對不相容的性質的存在作為懲罰因素。負載平衡器代理可使用相容性索引以最小化不相容的性質分配。舉例而言,因為主要地使用網路輸入輸出資源的性質可與主要地使用磁碟輸入輸出 資源的性質相容,故負載平衡器代理可分配該等性質至相同伺服器,同時避免分配亦大量使用網路輸入輸出及磁碟輸入輸出的其他性質至彼伺服器。
計算相容性索引可包括以下步驟:(i)從規則獲得針對不相容性質類型及尺寸的預先定義的懲罰係數;(ii)使用來自規則的相容性矩陣以獲得一列所有不相容的性質,該等不相容性質在伺服器處代管,(iii)識別伺服器上的性質的負載類型(例如,S、M、L、XL)及在伺服器上該等性質出現的頻率;以及(iv)針對每一不相容性質類型,提升該等不相容性質類型的懲罰係數至頻率的功率。相容性索引之計算可以以下等式概述:其中:n=某一負載類型的不相容的性質計數,c=相容性懲罰係數,及f=某些負載類型的不相容性質的出現頻率。
舉例而言,表7代表示例性相容性矩陣,該相容性矩陣將在規則中定義,該等規則指定何等性質類型彼此相容: 表7舉例而言,性質類型T1可為主要地使用磁碟輸入輸出的性質,而性質類型T2可為主要地使用網路輸入輸出的性質。此外,表8代表規則中定義的示例性懲罰係數,該示例性懲罰係數指定針對某些尺寸的不相容性質的懲罰: 若給定上述相容性索引,將分配給伺服器三個不相容的XL尺寸性質,二個不相容的M尺寸性質及一個不相容的S尺寸性質,則將使用以下公式計算針對伺服器的相容性係數索引:(0.6)3*(0.7)2*(0.9)*100=9.52%。藉由以最大化相容性索引分數的方式進行伺服器分配,負載平衡器代理可最大化對伺服器的相容性質的分配及使得更有效使用伺服器的資源。
如之前所論述的,負載平衡器代理可計算分區(性質可分配給該分區)中針對每一候選伺服器的加權平均,及隨後根據加權平均分類彼等伺服器。舉例而言,若性質需要分配給五個伺服器的分區,則可如表9中所指定的執行針對一個伺服器的加權平均的計算: 亦可針對分區中的另外四個伺服器計算類似的加權平均。五個伺服器可隨後根據該等伺服器的加權平均值分類。表10展示示例性分類: 性質可隨後根據分類順序分配給伺服器,其中具有較高分數的伺服器更適合於具有分配給該等伺服器的性質。
性質可藉由更新性質至伺服器的映射分配給伺服器。進行性質分配之後,負載平衡器代理可調整針對分配的一或更多個伺服器的聚合資源索引,以解釋將藉由新分配的性質使用的資源。
方法300亦可包含處理伺服器欠缺的動作(動作312)。在一些情況下,pop在分區中可能不具有足夠的伺服器資源以完全地分配性質至可用的伺服器。當此發生時,動作312可包括以下步驟:pop處的負載平衡器代理請求一些負載藉由其他pop處的伺服器分享。此步驟與代理間負載平衡一起進一步描述。若沒有其他pop可處理請求的負載,則性質可不止一次分配給在pop處的相同伺服器。動作312亦可包括以下步驟:發出一或更多個警報(諸如)至CDN管理員。
方法300亦包含決定是否針對選擇的性質存在更多分區的動作(動作314)及決定是否在分類的性質列表中存在更多性質的動作(動作316)。當存在更多分區及/或性質時,方法300可返回動作304及/或306,從而保證考慮所有的性質及分區及進行任何適當的伺服器分配。
2. 具有優先性的代理間負載平衡
在一些實施例中,邊緣資料中心處的負載平衡器代 理可決定(基於規則)邊緣資料中心處的負載條件已經達到指示過載的某些參數。當此情況發生時,負載平衡器代理可聯繫一或更多個其他邊緣資料中心處的一或更多個其他負載平衡器代理,以試圖偏移邊緣資料中心處的一些訊務至一或更多個其他邊緣資料中心。舉例而言,第1圖包括邊緣資料中心102a及邊緣資料中心102b之間的雙箭頭,指示負載平衡器代理104a及負載平衡器代理104b可彼此通訊(及與在其他邊緣資料中心處的其他負載平衡器代理通訊)。
第4圖圖示用於邊緣資料中心處的負載平衡器代理卸載訊務至另一邊緣資料中心的示例性方法400的流程圖。方法400將關於電腦架構100的部件及資料描述。
方法400包含決定訊務將卸載的動作(動作402)。動作402可包括決定邊緣資料中心處的訊務將卸載至一或更多個其他邊緣資料中心的動作。舉例而言,負載平衡器代理104a可參考來自規則資料儲存器124的商務規則以決定是否訊務將卸載。在一些實施例中,商務規則可採取以下形式:若〈條件〉,則〈動作〉,使用任何適當的結構語言(例如,XML、C#_、Java)。在一些實施例中,示例性規則可包括:‧若代理發現pop中的資源消耗高達70%,則設法卸載25%的訊務至其他pop。
‧若代理偵測到代理的pop中的健康狀態下降在30%及40%之間,則設法卸載50%的訊務至其他pop。健康狀態可根據NRT資料中的健康索引量測,該健康索引根據因素(如多少伺服器處於/離開運轉,多少伺服器負載等等)為pop健康狀 態打分。
方法400亦包含發送一或更多個卸載請求至一或更多個其他邊緣資料中心的動作(動作404)。動作404可包括決定用於請求卸載訊務至其他邊緣資料中心的優先性位準的動作。舉例而言,負載平衡器代理104a可決定卸載訊務至其他邊緣資料中心的緊急性,及因此決定優先性位準。當決定是否提供資源至負載平衡器代理104a時,其他負載平衡器代理可使用優先性。在一些實施例中,優先性位準可包括表11中指定的實例:
動作404亦可包括發送卸載請求至其他邊緣資料中心中的每一者的動作,每一卸載請求指示決定的優先性位準。舉例而言,負載平衡器代理104a可發送卸載請求至邊緣 資料中心102b處的負載平衡器代理104b。負載平衡器代理104a亦可發送卸載請求至在未描繪的其他邊緣資料中心處的一或更多個其他負載平衡器代理。當負載平衡器代理發送卸載請求至複數個其他負載平衡器代理時,負載平衡器代理可以時控、異步方式如此進行。
方法400亦包含發送一或更多個卸載請求至一或更多個其他邊緣資料中心的動作(動作404)。動作404可包括從其他邊緣資料中心的一或更多者接收一或更多個答覆的動作,包括一或更多個答覆指示資源為可供負載平衡器代理使用的。舉例而言,負載平衡器代理104a可從邊緣資料中心的一或更多者接收答覆,負載平衡器代理104a發送一或更多個卸載請求至該等邊緣資料中心。答覆可指示其他邊緣資料中心具有可供負載平衡器代理使用以卸載訊務的資源。在一些實施例中,答覆包括在可供使用的其他邊緣資料中心處的一列伺服器。在一些實施例中,答覆指示保證資源為有效的及保留資源供負載平衡器代理104a使用達預先決定或協商的時間量。動作404亦可包括以下步驟:接收一或更多個答覆,該一或更多個答覆指示資源不供負載平衡器代理使用(亦即,幫助係不可能的)。
方法400亦包含卸載訊務至至少一個邊緣資料的動作(動作408)。動作408可包括分類一或更多個答覆以識別用於卸載訊務的至少一個邊緣資料中心的動作。舉例而言,若負載平衡器代理104a從一個以上的邊緣資料中心接收肯定的答覆,則負載平衡器代理104a可分類該等答覆以決定何等 邊緣資料中心訊務將卸載。在一些實施例中,分類答覆的步驟包括以下步驟:針對每一資料中心計算因素的加權平均。因素可包括,例如,邊緣資料中心的距離(實體或網路)、用於卸載訊務至邊緣資料中心的成本(例如,用於帶寬的貨幣成本)及/或邊緣資料中心處已經使得可用的資源。舉例而言,即使一個邊緣資料中心可具有比其他可用的邊緣資料中心更高的貨幣成本來使用,然而使用彼邊緣資料中心可為所欲的,因為彼邊緣資料中心可提供更大數量的資源及其他可用的邊緣資料中心,及/或因為彼邊緣資料中心比其他可用的邊緣資料中心更近。
動作408可包括卸載訊務至至少一個識別的邊緣資料中心的動作。舉例而言,一旦選擇所欲的邊緣資料中心,則負載平衡器代理104a可發送欲使用的一列伺服器連同資源清單至識別的邊緣資料中心。負載平衡器代理104a可卸載一些訊務至一個邊緣資料中心,及卸載剩餘的訊務至一或更多個其他邊緣資料中心。
若邊緣資料中心已經使得資源可供負載平衡器代理104a使用,及負載平衡器代理104a將不會對彼等資源進行使用(例如,因為負載平衡器代理104a選擇使用另一邊緣資料中心處的資源),則負載平衡器代理104a可通知邊緣資料中心彼等資源可為未使用的。舉例而言,負載平衡器代理104a可通知邊緣資料中心,邊緣資料中心使得可用/保留的一些或所有伺服器可為未使用的。
因此,當方法400決定邊緣資料中心處於或接近於 過載情況時,方法400賦能邊緣資料中心利用其他邊緣資料中心處的資源。
3. 中心服務及規則資料庫之間的反饋迴路
如之前所論述的,在一些實施例中,負載平衡器服務122與長期趨勢資料儲存器116及規則資料儲存器124為雙向通訊。同樣地,負載平衡器服務122可配置為加入反饋迴路以基於長期趨勢自我評估及自我改良規則。使用來自長期趨勢資料儲存器116的長期資料作為主要輸入,負載平衡器服務122可決定針對配置參數及位於規則資料儲存器124中的商務規則的最佳化設定。
在一些實施例中,反饋迴路明確地出現。舉例而言,當對配置值(例如,相容性懲罰、分類標準權重)進行改變時,負載平衡器服務122可針對CDN、針對pop、針對性質等等進行效能資料快照。隨後,負載平衡器服務122可接著分析快照以確定配置值的變化對相關部件效能的影響。若由於變化CDN中存在效能降低,則可產生警報及/或配置值可自動地調整(例如,恢復)。
在額外的或替代的實施例中,反饋迴路隱含地出現。因為日誌資料可連續地聚合(例如,藉由趨勢聚合器118)及分析(例如,藉由負載平衡器服務122),及因為負載平衡器服務122配置為辨識及適應日誌資料(例如,每日)中的變化,故將最終解釋性質的負載及/或性質的資源消耗類型的變化。
反饋迴路可在實時日誌及模擬日誌上工作,及反饋 迴路可在實時及模擬配置參數\規則上操作。表12指定反饋迴路的隱含及明確元素可如何在每一類型上工作。
4. 孵化
一些實施例包括使用一或更多個孵化池。一般而言,當性質第一次被增加至CDN時,CDN可分配性質至孵化池。當在孵化池中時,分析性質以確定性質的一或更多個屬性(諸如,T恤尺寸(例如,S、M、L、XL))及訊務樣式(例如,尖峰訊務週期、低訊務週期等等)。一旦已經在孵化池的上下文內部分析了性質,則性質可經分配給更一般的池。
第5圖圖示用於使用孵化池決定性質的一或更多個屬性的示例性方法500的流程圖。方法500將關於電腦架構100的部件及資料描述。
方法500包含決定孵化期的動作(動作502)。動 作502可包括基於針對性質的負載尺寸及訊務類型的估計及基於定義被增加至孵化池的性質的最小及最大孵化時間的一或更多個規則決定孵化期的動作。舉例而言,CDN內部的負載平衡器服務122或另一管理系統可決定針對被增加至CDN的性質的孵化期。決定孵化期可基於關於性質提供的資訊(例如,來自客戶),及基於規則資料儲存器124中的一般商務規則。
在一些實施例中,決定孵化期的步驟基於客戶的真實索引(customer truth index;CTI),該CTI可影響性質花費於孵化的時間量。若客戶具有高CTI,意味著CDN在客戶如何表徵性質方面具有信任的高位準,則CDN可在孵化中保留客戶新增加的性質達一段較短的時間。相反地,若客戶具有低CTI,意味著CDN在客戶如何表徵性質方面具有信任的低位準,則CDN可在孵化中保留客戶新增加的性質達一段較長的時間。
舉例而言,當客戶首次機上發送性質至CDN時,CDN可詢問客戶關於性質的一或更多個問題。該等問題可經設計為幫助CDN計算性質的屬性的一般近似性(例如,負載尺寸及訊務類型)。若此性質為客戶機上發送的第一個性質,則CDN可應用相對低位準的信任至客戶提供的答覆,及將性質保留在孵化中達一段較長的時間。
在性質進入孵化中之後,CDN可基於性質的真實使用的觀察計算之前估計的屬性。若計算的屬性類似於基於客戶輸入的近似的彼等屬性,則可分配給客戶高CTI。若計算的 屬性不類似於基於客戶輸入近似的彼等屬性,則可分配給客戶低CTI。CDN可隨時間精化客戶的CTI,諸如,藉由已經釋放性質至生產池之後再計算屬性及因此更新CTI。
在一些實施例中,CTI為複合索引,該複合索引以百分比表示。CTI可基於告訴關於性質特徵的「真實性」的客戶的追蹤記錄。CTI亦可基於性質的實際效能。可不同地加權性質的客戶的追蹤記錄及實際效能(例如,針對客戶的真實性的1的權重及針對實際性質效能的2的權重)。舉例而言,若客戶具有80%的歷史CTI及在新性質的孵化期間,實際效能為90%的客戶估計,則新的CTI可計算為(80+(90*2))/3=~86%。
如所指示的,決定孵化期的步驟基於規則資料儲存器124中的商務規則。舉例而言,規則可指定最小孵化期及最大孵化期。基於CTI,最終孵化期可介於最小及最大之間。舉例而言,若客戶具有90%或更大的CTI,則針對客戶的新的性質可保留在孵化中長達僅最小時期。若客戶具有小於90%的CTI,則針對客戶的新的性質可保留在孵化中長達大於最小時期的時期及隨著CTI分數變低靠近最大時期。
方法500亦包含增加性質至孵化池的動作(動作504)。動作504可包括增加性質至孵化池的動作,包括分配孵化池的一或更多個伺服器資源至性質。舉例而言,CDN內部的負載平衡器服務122或另一管理系統可分配性質至留出作為孵化池的特殊池。同樣地,性質可分配給邊緣資料中心/pop處的相對應的分區。
動作504亦可包括在決定的孵化期期間分析針對性質的負載及訊務樣式的動作。舉例而言,在性質處於孵化池中期間,負載平衡器服務122可分析客戶端負載樣式、性質服務的內容類型、在服務客戶端時邊緣資料中心的伺服器處使用的資源類型等等。動作504亦可包括基於增加性質至孵化池決定針對性質的負載尺寸或訊務類型中的一或更多者的動作。舉例而言,使用在孵化期間收集的資料(例如,客戶端負載樣式、性質服務的內容類型、邊緣資料中心的伺服器處使用的資源類型),CDN可計算性質的尺寸及訊務類型,及CDN可在規則資料儲存器124中儲存此資訊。
方法500亦可包含處理孵化溢出的動作(動作506)。舉例而言,規則資料儲存器124中的規則可指定條件,在該等條件下新孵化的性質可溢出該孵化性質的分配的資源及使用額外的資源。在一個實例中,規則可指定可自動地允許針對VIP客戶的性質溢出及預設針對非VIP性質去能溢出。在另一實例中,規則可指定若性質顯示超過某些閾值的恆定增長則可針對性質賦能溢出。規則亦可指定用於停止溢出的條件。
動作506可包括決定性質超過一或更多個分配的伺服器資源及分配一或更多個額外資源至性質的動作。舉例而言,CDN內部的負載平衡器服務122或另一管理系統可決定性質發展得比性質的分配資源更大及允許性質溢出。作為回應,CDN可分配性質孵化池內部的更多資源,溢出至另一孵化池內部的資源,及/或溢出至非孵化池內部的資源(例如, 針對VIP客戶)。
方法500亦可包含執行孵化後步驟的動作(動作508)。舉例而言,在孵化期結束之後,可決定已經收集關於性質的不充分的資訊。同樣地,可延伸針對性質的孵化期。在另一實例中,可更新針對性質的客戶的CTI索引,如上所述。在又一實例中,對於性質在孵化階段中花費的時間,可向客戶記帳及/或可基於孵化期間收集的資訊更新記帳規則。
方法500亦可包含加壓性質。舉例而言,當性質處於孵化中時,CDN可在性質上執行壓力測試負載。此舉可幫助決定在極端負載情境期間性質的行為樣式及性質對CDN的影響。在一些實施例中,若客戶選擇經歷壓力測試,則可賦予客戶有利的記帳處理。舉例而言,在上機期間,可提供客戶執行針對性質的壓力測試的選擇。客戶可能能夠指定壓力測試參數,諸如壓力測試持續時間、用作壓力測試的部分的合成測試資料的一或更多個類型等等。壓力測試參數的類型及界限可在規則中定義。CDN可使用CDN內部未使用的或使用不充分的資源、CDN內部特殊目的資源及/或與CDN分離的資源以產生壓力負載。
因此,在一般CDN資源上釋放性質之前,孵化可幫助獲得關於性質的資料及圍繞性質定義規則。此舉可幫助精化CDN與客戶的關係及保護CDN資源的完整性。
儘管已使用特定於結構特徵及/或方法動作的語言描述了標的,但是應理解,在隨附申請專利範圍中界定的標的並不必限於上文描述的特徵或動作或上述動作的順序。確 切而言,描述的特徵及動作經揭示為實施申請專利範圍的示例性形式。
本發明的實施例可包含或使用特殊目的或一般目的電腦系統,該等電腦系統包括電腦硬體,諸如例如,一或更多個處理器及系統記憶體,如以下更詳細論述的。本發明範圍內的實施例亦包括用於運載或儲存電腦可執行指令及/或資料結構的實體及其他電腦可讀取媒體。此類電腦可讀取媒體可為任何可用的媒體,該等媒體可藉由一般目的或特殊目的電腦系統存取。儲存電腦可執行指令及/或資料結構的電腦可讀取媒體為電腦儲存媒體。運載電腦可執行指令及/或資料結構的電腦可讀取媒體為傳輸媒體。因此,舉例而言而非限制,本發明的實施例可包含至少兩個明顯不同類的電腦可讀取媒體:電腦儲存媒體及傳輸媒體。
電腦儲存媒體為實體儲存媒體,該實體儲存媒體儲存電腦可執行指令及/或資料結構。實體儲存媒體包括可記錄類型儲存裝置(諸如RAM、ROM、EEPROM、固體狀態驅動機(solid state drive)(「SSD」)、快閃記憶體、相位變化記憶體(phase-change memory)(「PCM」)、光碟儲存器、磁碟儲存器或其他磁性儲存裝置)或任何其他實體儲存媒體,該任何其他實體儲存媒體可用於儲存電腦可執行指令或資料結構形式的程式代碼及可藉由一般目的或特殊目的電腦系統存取。
傳輸媒體可包括可用於運載電腦可執行指令或資料結構形式的程式代碼及可藉由一般目的或特殊目的電腦系統 存取的網路及/或資料鏈路。「網路」定義為一或更多資料鏈路,該一或更多個資料鏈路賦能在電腦系統及/或模組及/或其他電子裝置之間傳輸電子資料。當在網路或另一通訊連接(固線、無線,或固線與無線組合中之任一者)上傳輸或提供資訊至電腦系統時,電腦系統可將連接視為傳輸媒體。上述組合亦將包括在電腦可讀取媒體範圍內。
進一步而言,在到達各種電腦系統部件後,採用電腦可執行指令或資料結構形式的程式代碼可自動從傳輸媒體傳輸至電腦儲存媒體(或反之亦然)。舉例而言,在網路或資料鏈路上接收的電腦可執行指令或資料結構可在網路介面模組(例如,「NIC」)內部的RAM中受到緩衝,及隨後最終傳輸至電腦系統RAM及/或至電腦系統處較少揮發的電腦儲存媒體。因此,應理解電腦儲存媒體可包括在電腦系統部件內,該等電腦系統部件亦(或甚至主要地)使用傳輸媒體。
電腦可執行指令包含,例如,指令及資料,該等指令及資料在一或更多個處理器處執行時,引起一般目的電腦系統、特殊目的電腦系統或特殊目的處理裝置執行某一功能或某一組功能。電腦可執行指令可為,例如,二進制、中間格式指令(諸如組合語言)或甚至原始代碼。
熟習此項技術者將理解,本發明可在具有多種類型電腦系統配置的網路計算環境中實作,該多種類型電腦系統配置包括個人電腦、桌上型電腦、膝上型電腦、訊息處理器、手持裝置、多處理器系統、基於微處理器或可程式的消費者電子設備、網路PC、小型電腦、大型電腦、行動電話、PDA、 平板電腦、呼叫器、路由器、開關及類似者。本發明亦可在分散式系統環境中實作,在該分散式系統環境中經由網路鏈接(藉由固線資料鏈路、無線資料鏈路,或者藉由固線及無線資料鏈路的組合)的本端及遠端電腦系統兩者執行任務。同樣地,在分散式系統環境中,電腦系統可包括複數個組成電腦系統。在分散式系統環境中,程式模組可位於本端及遠端記憶體儲存裝置兩者中。
熟習此項技術者亦將理解,本發明可在雲端計算環境中實作。可分配雲端計算環境,儘管此舉非所要求的。當分配時,雲端計算環境可在組織內部國際性地分配及/或雲端計算環境可具有跨過多個組織擁有的部件。在此描述及以下申請專利範圍中,「雲端計算」定義為用於按需求賦能網路存取可配置的計算資源(例如,網路、伺服器、儲存器、應用程式及服務)的共享池的模型。「雲端計算」的定義不受限於其他許多優點中的任一者,當適當地部署時,該等其他優點可從此模型中獲得。
雲端計算模型可由各種特徵組成,諸如,按需自助服務、寬網路存取、資源輪詢、快速彈性、量測服務等等。雲端計算模型亦可採取各種服務模型形式,諸如,軟體即服務(「(Software as a Service;SaaS)」)、平臺即服務(「(Platform as a Service;PaaS)」)及基礎結構即服務(「(Infrastructure as a Service;IaaS)」)。雲端計算模型亦可使用不同部署模型部署,諸如私有雲端、社區雲端、公有雲端、混合雲端等等。
一些實施例(諸如雲端計算環境)可包含包括一或 更多個主機的系統,該一或更多個主機的每一者能執行一或更多個虛擬機器。在操作期間,虛擬機器模仿作業計算系統,支援作業系統及或許亦支援一或更多個其他應用程式。在一些實施例中,每一主機包括超管理器,該超管理器使用實體資源模仿用於虛擬機器的虛擬資源,該等實體資源從虛擬機器的視圖抽象化。超管理器亦提供虛擬機器之間的適當隔離。因此,從任何給定虛擬機器的觀點,超管理器提供錯覺:虛擬機器與實體資源介面連接,即使虛擬機器僅與實體資源的外觀(例如,虛擬資源)介面連接。實體資源的實例包括處理容量、記憶體、磁碟空間、網路帶寬、媒體驅動器等等。
在不背離本發明的精神或基本特徵的情況下,本發明可以其他特定形式體現。描述的實施例在所有方面將僅被視為說明性的而非限制性的。本發明的範圍因此藉由隨附申請專利範圍,而非藉由前述描述來指示。落入申請專利範圍的等效物的含義及範圍內的所有變化將包括在申請專利範圍內。
300‧‧‧方法
302‧‧‧動作
304‧‧‧動作
306‧‧‧動作
308‧‧‧動作
310‧‧‧動作
312‧‧‧動作
314‧‧‧動作
316‧‧‧動作

Claims (20)

  1. 一種在包括一或更多個處理器及系統記憶體的一電腦系統處用於分配一內容傳遞網路(CDN)的一邊緣資料中心處的伺服器資源至藉由該邊緣資料中心服務的性質的方法,該方法包含以下步驟:該電腦系統基於近實時資料藉由該邊緣資料中心處的趨勢訊務來分類複數個性質的一動作;以及該電腦系統基於從長期趨勢發展的一或更多個規則針對該邊緣資料中心處的該分類的複數個性質中的至少一個性質分配伺服器資源的一動作,該動作包括以下動作:該電腦系統計算針對該邊緣資料中心處的一分區中的該至少一個性質的伺服器需要的一動作;以及該電腦系統分配針對該至少一個性質的該等伺服器需要至該分區中的一或更多個可用的伺服器的一動作。
  2. 如請求項1所述之方法,其中針對該邊緣資料中心處的該分類的複數個性質中的至少一個性質分配伺服器資源的步驟包含以下步驟:在針對具有一較小趨勢訊務的一性質分配伺服器資源之前,針對具有一較大趨勢訊務的一性質分配伺服器資源。
  3. 如請求項1所述之方法,其中計算針對該邊緣資料中心處的該分區中的該至少一個性質的伺服器需要的步驟包含以 下步驟:決定趨勢訊務將引起該至少一個性質經歷一負載類型增加。
  4. 如請求項3所述之方法,該方法進一步包含以下步驟:該電腦系統分配一新負載類型至該至少一個性質的一動作;以及該電腦系統基於該新負載類型計算針對該至少一個性質的伺服器需要的一動作。
  5. 如請求項1所述之方法,其中分配針對該至少一個性質的該等伺服器需要的步驟包含以下步驟:分配針對該至少一個性質的該等伺服器需要至該相同邊緣資料中心處的複數個分區。
  6. 如請求項1所述之方法,其中分配針對該至少一個性質的該等伺服器需要至該分區中的一或更多個可用的伺服器的步驟包含以下步驟:根據一資源聚合索引、一快取資料黏性索引或一相容性索引中的一或更多者的一加權平均,分類該分區中的複數個可用的伺服器。
  7. 如請求項6所述之方法,其中基於施加一懲罰係數至一伺服器處的不相容性質類型計算該相容性索引。
  8. 如請求項1所述之方法,其中基於資料已經在一伺服器處快取了多長時間計算該快取資料黏性索引。
  9. 如請求項1所述之方法,該方法進一步包含以下步驟:該電腦系統處理伺服器欠缺的一動作。
  10. 如請求項9所述之方法,其中處理伺服器欠缺的步驟包含以下步驟:從一或更多個其他邊緣資料中心請求資源。
  11. 一種電腦程式產品,該電腦程式產品包含儲存電腦可執行指令的一或更多個實體儲存裝置,當藉由一電腦系統的一或更多個處理器執行該等電腦可執行指令時引起該電腦系統實施方法,該方法用於分配一內容傳遞網路(CDN)的一邊緣資料中心處的伺服器資源至藉由該邊緣資料中心服務的性質,該方法包含以下步驟:該電腦系統基於近實時資料藉由該邊緣資料中心處的趨勢訊務來分類複數個性質的一動作;以及該電腦系統基於從長期趨勢發展的一或更多個規則針對該邊緣資料中心處的該分類的複數個性質中的至少一個性質分配伺服器資源的一動作,該動作包括以下步驟:該電腦系統計算針對該邊緣資料中心處的一分區中的該至少一個性質的伺服器需要的一動作;以及該電腦系統分配針對該至少一個性質的該等伺服器需要至該分區中的一或更多個可用的伺服器的一動作。
  12. 如請求項11所述之電腦程式產品,其中針對該邊緣資料中心處的該分類的複數個性質中的至少一個性質分配伺服器資源的步驟包含以下步驟:在針對具有一較小趨勢訊務的一性質分配伺服器資源之前,針對具有一較大趨勢訊務的一性質分配伺服器資源。
  13. 如請求項11所述之電腦程式產品,其中計算針對該邊緣資料中心處的該分區中的該至少一個性質的伺服器需要的步驟包含以下步驟:決定趨勢訊務將引起該至少一個性質經歷一負載類型增加。
  14. 如請求項13所述之電腦程式產品,該電腦程式產品進一步包含:該電腦系統分配一新負載類型至該至少一個性質的一動作;以及該電腦系統基於該新負載類型計算針對該至少一個性質的伺服器需要的一動作。
  15. 如請求項11所述之電腦程式產品,其中分配針對該至少一個性質的該等伺服器需要的步驟包含以下步驟:分配針對該至少一個性質的該等伺服器需要至該相同邊緣資料中心處的複數個分區。
  16. 如請求項11所述之電腦程式產品,其中分配針對該至少一個性質的該等伺服器需要至該分區中的一或更多個可用的伺服器的步驟包含以下步驟:根據一資源聚合索引、一快取資料黏性索引或一相容性索引中的一或更多者的一加權平均,分類該分區中的複數個可用的伺服器。
  17. 如請求項16所述之電腦程式產品,其中基於施加一懲罰係數至一伺服器處的不相容性質類型而計算該相容性索引。
  18. 如請求項11所述之電腦程式產品,該電腦程式產品進一步包含:該電腦系統處理伺服器欠缺的一動作。
  19. 如請求項18所述之電腦程式產品,其中處理伺服器欠缺的步驟包含以下步驟:從一或更多個其他邊緣資料中心請求資源。
  20. 一種電腦系統,該電腦系統包含:一或更多個處理器;系統記憶體;以及具有電腦可執行指令儲存於其上的一或更多個電腦可讀取儲存媒體,當藉由該一或更多個處理器執行該等電腦可執行指令時引起該電腦系統執行一方法,該方法用於分配一內 容傳遞網路(CDN)的一邊緣資料中心處的伺服器資源至藉由該邊緣資料中心服務的性質,該方法包括以下步驟:基於近實時資料藉由該邊緣資料中心處的趨勢訊務來分類複數個性質;以及基於從長期趨勢發展的一或更多個規則針對該邊緣資料中心處的該分類的複數個性質中的至少一個性質分配伺服器資源,基於作為一配置值變化的該效能影響的一結果的對該等長期趨勢進行的一明顯調整,及作為聚合趨勢資料的一結果的對該等長期趨勢進行的一隱含調整兩者發展該等長期趨勢,該步驟包括以下步驟:計算針對該邊緣資料中心處的一分區中的該至少一個性質的伺服器需要;以及分配針對該至少一個性質的該等伺服器需要至該分區中的一或更多個可用的伺服器。
TW102139818A 2012-11-01 2013-11-01 於雲端中之cdn負載平衡 TW201424305A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/666,691 US9537973B2 (en) 2012-11-01 2012-11-01 CDN load balancing in the cloud

Publications (1)

Publication Number Publication Date
TW201424305A true TW201424305A (zh) 2014-06-16

Family

ID=49627058

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102139818A TW201424305A (zh) 2012-11-01 2013-11-01 於雲端中之cdn負載平衡

Country Status (6)

Country Link
US (1) US9537973B2 (zh)
EP (1) EP2915283B1 (zh)
CN (1) CN104756444B (zh)
BR (1) BR112015009604B1 (zh)
TW (1) TW201424305A (zh)
WO (1) WO2014071093A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI580217B (zh) * 2015-02-05 2017-04-21 物聯智慧科技(深圳)有限公司 管理伺服器及其操作方法與伺服器系統
TWI579710B (zh) * 2015-12-03 2017-04-21 Chunghwa Telecom Co Ltd Dynamic Load Balancing Service System Based on Dynamic Behavior of Customers
US10534634B2 (en) 2015-04-02 2020-01-14 Alibaba Group Holding Limited Efficient, time-based leader node election in a distributed computing system
TWI701597B (zh) * 2018-04-04 2020-08-11 香港商阿里巴巴集團服務有限公司 任務的分配方法、裝置及設備
TWI740895B (zh) * 2016-03-02 2021-10-01 香港商阿里巴巴集團服務有限公司 應用歸屬服務集群的分配方法和裝置

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8028090B2 (en) 2008-11-17 2011-09-27 Amazon Technologies, Inc. Request routing utilizing client location information
US7991910B2 (en) 2008-11-17 2011-08-02 Amazon Technologies, Inc. Updating routing information based on client location
US8601090B1 (en) 2008-03-31 2013-12-03 Amazon Technologies, Inc. Network resource identification
US8321568B2 (en) 2008-03-31 2012-11-27 Amazon Technologies, Inc. Content management
US7970820B1 (en) 2008-03-31 2011-06-28 Amazon Technologies, Inc. Locality based content distribution
US7962597B2 (en) 2008-03-31 2011-06-14 Amazon Technologies, Inc. Request routing based on class
US8606996B2 (en) 2008-03-31 2013-12-10 Amazon Technologies, Inc. Cache optimization
US8447831B1 (en) 2008-03-31 2013-05-21 Amazon Technologies, Inc. Incentive driven content delivery
US9407681B1 (en) 2010-09-28 2016-08-02 Amazon Technologies, Inc. Latency measurement in resource requests
US8073940B1 (en) 2008-11-17 2011-12-06 Amazon Technologies, Inc. Managing content delivery network service providers
US8122098B1 (en) 2008-11-17 2012-02-21 Amazon Technologies, Inc. Managing content delivery network service providers by a content broker
US8756341B1 (en) 2009-03-27 2014-06-17 Amazon Technologies, Inc. Request routing utilizing popularity information
US8412823B1 (en) 2009-03-27 2013-04-02 Amazon Technologies, Inc. Managing tracking information entries in resource cache components
US8688837B1 (en) 2009-03-27 2014-04-01 Amazon Technologies, Inc. Dynamically translating resource identifiers for request routing using popularity information
US8782236B1 (en) 2009-06-16 2014-07-15 Amazon Technologies, Inc. Managing resources using resource expiration data
US8397073B1 (en) 2009-09-04 2013-03-12 Amazon Technologies, Inc. Managing secure content in a content delivery network
US8433771B1 (en) 2009-10-02 2013-04-30 Amazon Technologies, Inc. Distribution network with forward resource propagation
US9495338B1 (en) 2010-01-28 2016-11-15 Amazon Technologies, Inc. Content distribution network
US10097398B1 (en) 2010-09-28 2018-10-09 Amazon Technologies, Inc. Point of presence management in request routing
US9003035B1 (en) 2010-09-28 2015-04-07 Amazon Technologies, Inc. Point of presence management in request routing
US10958501B1 (en) 2010-09-28 2021-03-23 Amazon Technologies, Inc. Request routing information based on client IP groupings
US9712484B1 (en) 2010-09-28 2017-07-18 Amazon Technologies, Inc. Managing request routing information utilizing client identifiers
US8468247B1 (en) 2010-09-28 2013-06-18 Amazon Technologies, Inc. Point of presence management in request routing
US8452874B2 (en) 2010-11-22 2013-05-28 Amazon Technologies, Inc. Request routing processing
US10467042B1 (en) 2011-04-27 2019-11-05 Amazon Technologies, Inc. Optimized deployment based upon customer locality
CA2859163C (en) 2011-12-14 2020-03-31 Level 3 Communications, Llc Content delivery network
US10623408B1 (en) 2012-04-02 2020-04-14 Amazon Technologies, Inc. Context sensitive object management
US9154551B1 (en) 2012-06-11 2015-10-06 Amazon Technologies, Inc. Processing DNS queries to identify pre-processing information
US9323577B2 (en) 2012-09-20 2016-04-26 Amazon Technologies, Inc. Automated profiling of resource usage
US9374276B2 (en) 2012-11-01 2016-06-21 Microsoft Technology Licensing, Llc CDN traffic management in the cloud
US9307059B2 (en) * 2012-11-09 2016-04-05 Sap Se Retry mechanism for data loading from on-premise datasource to cloud
US10791050B2 (en) 2012-12-13 2020-09-29 Level 3 Communications, Llc Geographic location determination in a content delivery framework
US10701149B2 (en) 2012-12-13 2020-06-30 Level 3 Communications, Llc Content delivery framework having origin services
US10701148B2 (en) 2012-12-13 2020-06-30 Level 3 Communications, Llc Content delivery framework having storage services
US20140337472A1 (en) 2012-12-13 2014-11-13 Level 3 Communications, Llc Beacon Services in a Content Delivery Framework
US9634918B2 (en) 2012-12-13 2017-04-25 Level 3 Communications, Llc Invalidation sequencing in a content delivery framework
US9722882B2 (en) 2012-12-13 2017-08-01 Level 3 Communications, Llc Devices and methods supporting content delivery with adaptation services with provisioning
US10652087B2 (en) 2012-12-13 2020-05-12 Level 3 Communications, Llc Content delivery framework having fill services
US10205698B1 (en) 2012-12-19 2019-02-12 Amazon Technologies, Inc. Source-dependent address resolution
US9294391B1 (en) 2013-06-04 2016-03-22 Amazon Technologies, Inc. Managing network computing components utilizing request routing
US20150043905A1 (en) * 2013-08-07 2015-02-12 Futurewei Technologies, Inc. System and Method for Photonic Switching and Controlling Photonic Switching in a Data Center
KR101547498B1 (ko) * 2013-08-08 2015-08-26 삼성전자주식회사 하이브리드 클라우드 환경에서 데이터를 분산하는 방법 및 장치
CN104427005B (zh) 2013-08-20 2018-01-02 阿里巴巴集团控股有限公司 在cdn上实现请求精确调度的方法及系统
US10296973B2 (en) * 2014-07-23 2019-05-21 Fortinet, Inc. Financial information exchange (FIX) protocol based load balancing
US10097448B1 (en) 2014-12-18 2018-10-09 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10091096B1 (en) 2014-12-18 2018-10-02 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10033627B1 (en) 2014-12-18 2018-07-24 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US11140095B2 (en) * 2015-01-07 2021-10-05 Verizon Media Inc. Content distribution resource allocation
US10833940B2 (en) 2015-03-09 2020-11-10 Vapor IO Inc. Autonomous distributed workload and infrastructure scheduling
US11336519B1 (en) * 2015-03-10 2022-05-17 Amazon Technologies, Inc. Evaluating placement configurations for distributed resource placement
US10225326B1 (en) 2015-03-23 2019-03-05 Amazon Technologies, Inc. Point of presence based data uploading
US9887931B1 (en) * 2015-03-30 2018-02-06 Amazon Technologies, Inc. Traffic surge management for points of presence
US9819567B1 (en) 2015-03-30 2017-11-14 Amazon Technologies, Inc. Traffic surge management for points of presence
US9887932B1 (en) * 2015-03-30 2018-02-06 Amazon Technologies, Inc. Traffic surge management for points of presence
US9832141B1 (en) 2015-05-13 2017-11-28 Amazon Technologies, Inc. Routing based request correlation
US9826030B1 (en) 2015-06-04 2017-11-21 Amazon Technologies, Inc. Placement of volume partition replica pairs
US9826041B1 (en) * 2015-06-04 2017-11-21 Amazon Technologies, Inc. Relative placement of volume partitions
US10097566B1 (en) 2015-07-31 2018-10-09 Amazon Technologies, Inc. Identifying targets of network attacks
US9774619B1 (en) 2015-09-24 2017-09-26 Amazon Technologies, Inc. Mitigating network attacks
US10681113B2 (en) * 2015-10-14 2020-06-09 International Business Machines Corporation Geographically distributed highly available mailbox
US10038758B1 (en) * 2015-10-30 2018-07-31 Amazon Technologies, Inc. Content delivery network balancer
CN105426177B (zh) * 2015-11-03 2019-05-10 浪潮(北京)电子信息产业有限公司 一种建立SaaS应用程序模型的方法及系统
US10270878B1 (en) 2015-11-10 2019-04-23 Amazon Technologies, Inc. Routing for origin-facing points of presence
US10257307B1 (en) 2015-12-11 2019-04-09 Amazon Technologies, Inc. Reserved cache space in content delivery networks
US10049051B1 (en) 2015-12-11 2018-08-14 Amazon Technologies, Inc. Reserved cache space in content delivery networks
US10348639B2 (en) 2015-12-18 2019-07-09 Amazon Technologies, Inc. Use of virtual endpoints to improve data transmission rates
US9591047B1 (en) 2016-04-11 2017-03-07 Level 3 Communications, Llc Invalidation in a content delivery network (CDN)
US10075551B1 (en) 2016-06-06 2018-09-11 Amazon Technologies, Inc. Request management for hierarchical cache
US10110694B1 (en) 2016-06-29 2018-10-23 Amazon Technologies, Inc. Adaptive transfer rate for retrieving content from a server
US9992086B1 (en) 2016-08-23 2018-06-05 Amazon Technologies, Inc. External health checking of virtual private cloud network environments
US10033691B1 (en) 2016-08-24 2018-07-24 Amazon Technologies, Inc. Adaptive resolution of domain name requests in virtual private cloud network environments
US10469513B2 (en) 2016-10-05 2019-11-05 Amazon Technologies, Inc. Encrypted network addresses
US10831549B1 (en) * 2016-12-27 2020-11-10 Amazon Technologies, Inc. Multi-region request-driven code execution system
US10372499B1 (en) 2016-12-27 2019-08-06 Amazon Technologies, Inc. Efficient region selection system for executing request-driven code
CN108270828A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 一种内容分发网络系统推荐方法及装置
US10938884B1 (en) 2017-01-30 2021-03-02 Amazon Technologies, Inc. Origin server cloaking using virtual private cloud network environments
US10503613B1 (en) 2017-04-21 2019-12-10 Amazon Technologies, Inc. Efficient serving of resources during server unavailability
US10904323B2 (en) * 2017-06-08 2021-01-26 F5 Networks, Inc. Methods for server load balancing in a cloud environment using dynamic cloud pricing and devices thereof
US11075987B1 (en) 2017-06-12 2021-07-27 Amazon Technologies, Inc. Load estimating content delivery network
US10447648B2 (en) 2017-06-19 2019-10-15 Amazon Technologies, Inc. Assignment of a POP to a DNS resolver based on volume of communications over a link between client devices and the POP
US10742593B1 (en) 2017-09-25 2020-08-11 Amazon Technologies, Inc. Hybrid content request routing system
US10938736B2 (en) 2017-10-18 2021-03-02 Futurewei Technologies, Inc. Dynamic allocation of edge computing resources in edge computing centers
US10855753B2 (en) 2018-02-23 2020-12-01 Standard Cognition, Corp. Distributed computing of vehicle data by selecting a computation resource of a remote server that satisfies a selection policy for meeting resource requirements according to capability information
US10616340B2 (en) * 2018-02-23 2020-04-07 Standard Cognition, Corp. Distributed computing of large data by selecting a computational resource of a remote server based on selection policies and data information wherein the selections policies are associated with location constraints, time constraints, and data type constraints
US10592578B1 (en) 2018-03-07 2020-03-17 Amazon Technologies, Inc. Predictive content push-enabled content delivery network
US10791168B1 (en) 2018-05-21 2020-09-29 Rafay Systems, Inc. Traffic aware network workload management system
WO2019223861A1 (en) 2018-05-23 2019-11-28 Nokia Technologies Oy Increasing number of connected user equipments on radio access network apparatus
US10942791B2 (en) 2018-09-17 2021-03-09 Oracle International Corporation Managing load in request processing environments
EP3857381B1 (en) 2018-10-26 2023-07-12 VMware, Inc. Collecting samples hierarchically in a datacenter
US10862852B1 (en) 2018-11-16 2020-12-08 Amazon Technologies, Inc. Resolution of domain name requests in heterogeneous network environments
US11025747B1 (en) 2018-12-12 2021-06-01 Amazon Technologies, Inc. Content request pattern-based routing system
US11243817B2 (en) * 2019-03-29 2022-02-08 Intel Corporation Technologies for data migration between edge accelerators hosted on different edge locations
US11290358B2 (en) 2019-05-30 2022-03-29 Vmware, Inc. Partitioning health monitoring in a global server load balancing system
CN110399226B (zh) * 2019-07-31 2023-03-24 新乡学院 云系统用负载平衡器
US11368524B1 (en) * 2019-08-21 2022-06-21 Meta Platforms, Inc. Systems and methods for rate-based load balancing
CN110753041A (zh) * 2019-09-30 2020-02-04 华为技术有限公司 基于cdn系统的源站状态检测方法以及设备
US11800166B2 (en) 2019-10-14 2023-10-24 Qatar Foundation For Education, Science And Community Development Forecasting and reservation of transcoding resources for live streaming
CN111107144B (zh) * 2019-12-17 2022-06-07 南京曦光信息科技有限公司 一种基于边缘计算的综合传感网测试平台
US11233768B1 (en) * 2020-09-30 2022-01-25 Akamai Technologies, Inc. CDN configuration tuning based on domain scan analysis
CN112363829B (zh) * 2020-11-03 2024-03-29 武汉理工大学 一种基于弹性尺度聚合的用户资源动态分配方法
US11693697B2 (en) 2020-12-06 2023-07-04 International Business Machines Corporation Optimizing placements of workloads on multiple platforms as a service based on costs and service levels
US11704156B2 (en) 2020-12-06 2023-07-18 International Business Machines Corporation Determining optimal placements of workloads on multiple platforms as a service in response to a triggering event
US11366694B1 (en) 2020-12-06 2022-06-21 International Business Machines Corporation Estimating attributes of running workloads on platforms in a system of multiple platforms as a service
CN113127153A (zh) * 2021-04-20 2021-07-16 上海卓易科技股份有限公司 一种用于确定目标任务描述信息的方法与设备
US11811861B2 (en) * 2021-05-17 2023-11-07 Vmware, Inc. Dynamically updating load balancing criteria
US11799824B2 (en) 2021-06-14 2023-10-24 Vmware, Inc. Method and apparatus for enhanced client persistence in multi-site GSLB deployments
US11936757B1 (en) 2022-04-29 2024-03-19 Rafay Systems, Inc. Pull-based on-demand application deployment to edge node
CN115225507B (zh) * 2022-07-21 2024-03-08 天翼云科技有限公司 一种服务器组资源分配方法、装置、设备及介质

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625795B1 (en) * 1998-06-29 2003-09-23 Xilinx, Inc. Method and apparatus for placement of input-output design objects into a programmable gate array
US7114008B2 (en) * 2000-06-23 2006-09-26 Cloudshield Technologies, Inc. Edge adapter architecture apparatus and method
US8204082B2 (en) * 2000-06-23 2012-06-19 Cloudshield Technologies, Inc. Transparent provisioning of services over a network
US7032031B2 (en) * 2000-06-23 2006-04-18 Cloudshield Technologies, Inc. Edge adapter apparatus and method
US7274658B2 (en) * 2001-03-01 2007-09-25 Akamai Technologies, Inc. Optimal route selection in a content delivery network
US20020143798A1 (en) * 2001-04-02 2002-10-03 Akamai Technologies, Inc. Highly available distributed storage system for internet content with storage site redirection
US20020194324A1 (en) 2001-04-26 2002-12-19 Aloke Guha System for global and local data resource management for service guarantees
US6944678B2 (en) * 2001-06-18 2005-09-13 Transtech Networks Usa, Inc. Content-aware application switch and methods thereof
US7047315B1 (en) * 2002-03-19 2006-05-16 Cisco Technology, Inc. Method providing server affinity and client stickiness in a server load balancing device without TCP termination and without keeping flow states
US7133905B2 (en) * 2002-04-09 2006-11-07 Akamai Technologies, Inc. Method and system for tiered distribution in a content delivery network
US7395355B2 (en) * 2002-07-11 2008-07-01 Akamai Technologies, Inc. Method for caching and delivery of compressed content in a content delivery network
US7136922B2 (en) * 2002-10-15 2006-11-14 Akamai Technologies, Inc. Method and system for providing on-demand content delivery for an origin server
US7334032B2 (en) 2002-12-04 2008-02-19 International Business Machines Corporation System for allocating storage performance resource
US7660896B1 (en) * 2003-04-15 2010-02-09 Akamai Technologies, Inc. Method of load balancing edge-enabled applications in a content delivery network (CDN)
US20070061441A1 (en) * 2003-10-08 2007-03-15 Landis John A Para-virtualized computer system with I/0 server partitions that map physical host hardware for access by guest partitions
US20050149940A1 (en) 2003-12-31 2005-07-07 Sychron Inc. System Providing Methodology for Policy-Based Resource Allocation
US20060195578A1 (en) 2005-02-28 2006-08-31 Fujitsu Limited Resource allocation method for network area and allocation program therefor, and network system
JP2007183883A (ja) * 2006-01-10 2007-07-19 Fujitsu Ltd 資源計画作成プログラム、該プログラムを記録した記録媒体、資源計画作成装置、および資源計画作成方法
JP5092374B2 (ja) * 2006-12-01 2012-12-05 富士通株式会社 データセンタ及びデータ転送方法
US8244827B2 (en) * 2007-12-19 2012-08-14 International Business Machines Corporation Transferring a logical partition (‘LPAR’) between two server computing devices based on LPAR customer requirements
JP5256744B2 (ja) * 2008-01-16 2013-08-07 日本電気株式会社 資源割当てシステム、資源割当て方法及びプログラム
US8347307B2 (en) * 2008-03-12 2013-01-01 International Business Machines Corporation Method and system for cost avoidance in virtualized computing environments
US9762692B2 (en) * 2008-04-04 2017-09-12 Level 3 Communications, Llc Handling long-tail content in a content delivery network (CDN)
CA2720353C (en) * 2008-04-04 2016-01-19 Level 3 Communications, Llc Handling long-tail content in a content delivery network (cdn)
US9996572B2 (en) * 2008-10-24 2018-06-12 Microsoft Technology Licensing, Llc Partition management in a partitioned, scalable, and available structured storage
US20100157841A1 (en) 2008-12-18 2010-06-24 Sarat Puthenpura Method and apparatus for determining bandwidth requirement for a network
US20100223364A1 (en) 2009-02-27 2010-09-02 Yottaa Inc System and method for network traffic management and load balancing
WO2010099513A2 (en) 2009-02-27 2010-09-02 Coach Wei Adaptive network with automatic scaling
US8194680B1 (en) * 2009-03-11 2012-06-05 Amazon Technologies, Inc. Managing communications for modified computer networks
US8612622B2 (en) * 2009-10-02 2013-12-17 Limelight Networks, Inc. Real-time message queuing for a processing ring
US8849975B2 (en) 2010-02-02 2014-09-30 Webtrends Inc. Method and system for test-duration estimation
US8650299B1 (en) * 2010-02-03 2014-02-11 Citrix Systems, Inc. Scalable cloud computing
WO2011096865A1 (en) * 2010-02-05 2011-08-11 Telefonaktiebolaget Lm Ericsson (Publ) Method and node entity for enhancing content delivery network
US8473959B2 (en) 2010-02-22 2013-06-25 Virtustream, Inc. Methods and apparatus related to migration of customer resources to virtual resources within a data center environment
US9282097B2 (en) 2010-05-07 2016-03-08 Citrix Systems, Inc. Systems and methods for providing single sign on access to enterprise SAAS and cloud hosted applications
US8719415B1 (en) * 2010-06-28 2014-05-06 Amazon Technologies, Inc. Use of temporarily available computing nodes for dynamic scaling of a cluster
US20120102154A1 (en) 2010-10-26 2012-04-26 Futurewei Technologies, Inc. Cloud-Based Transcoding Platform Systems and Methods
US20130179931A1 (en) * 2010-11-02 2013-07-11 Daniel Osorio Processing, storing, and delivering digital content
US8499066B1 (en) * 2010-11-19 2013-07-30 Amazon Technologies, Inc. Predicting long-term computing resource usage
US8863204B2 (en) * 2010-12-20 2014-10-14 Comcast Cable Communications, Llc Cache management in a video content distribution network
US8863138B2 (en) * 2010-12-22 2014-10-14 Intel Corporation Application service performance in cloud computing
US8849758B1 (en) * 2010-12-28 2014-09-30 Amazon Technologies, Inc. Dynamic data set replica management
US10009315B2 (en) * 2011-03-09 2018-06-26 Amazon Technologies, Inc. Outside live migration
US8978030B2 (en) * 2011-04-07 2015-03-10 Infosys Limited Elastic provisioning of resources via distributed virtualization
US8806015B2 (en) * 2011-05-04 2014-08-12 International Business Machines Corporation Workload-aware placement in private heterogeneous clouds
US8959526B2 (en) * 2011-06-09 2015-02-17 Microsoft Corporation Scheduling execution of complementary jobs based on resource usage
CN104025553B (zh) * 2011-07-14 2018-04-10 瑞典爱立信有限公司 移动云加速器中的优化引擎及相关方法
WO2013019913A1 (en) * 2011-08-02 2013-02-07 Jadhav Ajay Cloud-based distributed persistence and cache data model
US8510807B1 (en) * 2011-08-16 2013-08-13 Edgecast Networks, Inc. Real-time granular statistical reporting for distributed platforms
US9747592B2 (en) * 2011-08-16 2017-08-29 Verizon Digital Media Services Inc. End-to-end content delivery network incorporating independently operated transparent caches and proxy caches
US9461881B2 (en) * 2011-09-30 2016-10-04 Commvault Systems, Inc. Migration of existing computing systems to cloud computing sites or virtual machines
ES2402037B1 (es) * 2011-10-13 2014-04-30 Telefónica, S.A. Método y sistema para realizar un proceso de adquisición de contenido distribuido para una red de distribución de contenido
US9769238B2 (en) * 2011-11-02 2017-09-19 Akamai Technologies, Inc. Multi-domain configuration handling in an edge network server
US9274838B2 (en) * 2011-12-22 2016-03-01 Netapp, Inc. Dynamic instantiation and management of virtual caching appliances
US9172591B2 (en) * 2012-02-06 2015-10-27 Deepfield Networks System and method for management of cloud-based systems
US20140130055A1 (en) * 2012-02-14 2014-05-08 Aloke Guha Systems and methods for provisioning of storage for virtualized applications
US9350671B2 (en) * 2012-03-22 2016-05-24 Futurewei Technologies, Inc. Supporting software defined networking with application layer traffic optimization
US10365953B2 (en) * 2012-05-01 2019-07-30 Red Hat, Inc. Tracking and utilizing facts about a node of a multi-tenant cloud hosting environment
US8626910B1 (en) * 2012-06-19 2014-01-07 Edgecast Networks, Inc. Systems and methods for performing localized server-side monitoring in a content delivery network
US8745267B2 (en) * 2012-08-19 2014-06-03 Box, Inc. Enhancement of upload and/or download performance based on client and/or server feedback information
US20140068703A1 (en) * 2012-08-28 2014-03-06 Florin S. Balus System and method providing policy based data center network automation
US20140067758A1 (en) * 2012-08-28 2014-03-06 Nokia Corporation Method and apparatus for providing edge-based interoperability for data and computations
US9634922B2 (en) * 2012-09-11 2017-04-25 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno Apparatus, system, and method for cloud-assisted routing
US9374276B2 (en) * 2012-11-01 2016-06-21 Microsoft Technology Licensing, Llc CDN traffic management in the cloud
US9262323B1 (en) * 2012-11-26 2016-02-16 Amazon Technologies, Inc. Replication in distributed caching cluster
US9317223B2 (en) * 2012-12-17 2016-04-19 International Business Machines Corporation Method and apparatus for automated migration of data among storage centers
US9369541B2 (en) * 2013-03-14 2016-06-14 Massachusetts Institute Of Technology Method and apparatus for implementing distributed content caching in a content delivery network
WO2015030756A1 (en) * 2013-08-29 2015-03-05 Empire Technology Development Llc Cache partitioning in a multicore processor

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI580217B (zh) * 2015-02-05 2017-04-21 物聯智慧科技(深圳)有限公司 管理伺服器及其操作方法與伺服器系統
US10534634B2 (en) 2015-04-02 2020-01-14 Alibaba Group Holding Limited Efficient, time-based leader node election in a distributed computing system
US10802869B2 (en) 2015-04-02 2020-10-13 Alibaba Group Holding Limited Efficient, time-based leader node election in a distributed computing system
US11106489B2 (en) 2015-04-02 2021-08-31 Ant Financial (Hang Zhou) Network Technology Co., Ltd. Efficient, time-based leader node election in a distributed computing system
TWI579710B (zh) * 2015-12-03 2017-04-21 Chunghwa Telecom Co Ltd Dynamic Load Balancing Service System Based on Dynamic Behavior of Customers
TWI740895B (zh) * 2016-03-02 2021-10-01 香港商阿里巴巴集團服務有限公司 應用歸屬服務集群的分配方法和裝置
TWI701597B (zh) * 2018-04-04 2020-08-11 香港商阿里巴巴集團服務有限公司 任務的分配方法、裝置及設備

Also Published As

Publication number Publication date
US9537973B2 (en) 2017-01-03
WO2014071093A1 (en) 2014-05-08
EP2915283A1 (en) 2015-09-09
CN104756444A (zh) 2015-07-01
US20140122725A1 (en) 2014-05-01
CN104756444B (zh) 2018-07-03
BR112015009604A2 (zh) 2017-08-15
BR112015009604B1 (pt) 2023-01-17
EP2915283B1 (en) 2019-06-05

Similar Documents

Publication Publication Date Title
TW201424305A (zh) 於雲端中之cdn負載平衡
US9979657B2 (en) Offloading traffic to edge data centers in a content delivery network
US10791168B1 (en) Traffic aware network workload management system
US10834140B1 (en) Public service network job processing
Papagianni et al. A cloud-oriented content delivery network paradigm: Modeling and assessment
US10616370B2 (en) Adjusting cloud-based execution environment by neural network
US10594562B1 (en) Intelligent autoscale of services
US9317223B2 (en) Method and apparatus for automated migration of data among storage centers
US8380557B2 (en) Multi-tenant database management for service level agreement (SLA) profit maximization
US10250488B2 (en) Link aggregation management with respect to a shared pool of configurable computing resources
US8612615B2 (en) Systems and methods for identifying usage histories for producing optimized cloud utilization
WO2017080172A1 (zh) 网络调度方法和系统
Balasangameshwara et al. Performance-driven load balancing with a primary-backup approach for computational grids with low communication cost and replication cost
CN106230971B (zh) 基于cdn的大文件分发方法
US20140173591A1 (en) Differentiated service levels in virtualized computing
CN104092756A (zh) 一种基于dht机制的云存储系统的资源动态分配方法
CN102932271A (zh) 负载均衡的实现方法和装置
Chunlin et al. Efficient load-balancing aware cloud resource scheduling for mobile user
Aldwyan et al. Elastic deployment of container clusters across geographically distributed cloud data centers for web applications
Ajil et al. A Comprehensive Study of LB Technique in Cloud Infrastructure
Li et al. Load-balancing based cross-layer elastic resource allocation in mobile cloud
EP4354302A1 (en) Systems and methods of calculating thresholds for key performance metrics
Chandar et al. A Powerful Load Balancing Algorithm for Cloud Performance Evaluation
Juan Ferrer Service Placement and Management
JP2023541470A (ja) 分散型コンピューティング環境における過剰なリソース使用の検出及びハンドリング