TWI243313B - Apparatus and methods for co-location and offloading of web site traffic based on traffic pattern recognition - Google Patents

Apparatus and methods for co-location and offloading of web site traffic based on traffic pattern recognition Download PDF

Info

Publication number
TWI243313B
TWI243313B TW092132890A TW92132890A TWI243313B TW I243313 B TWI243313 B TW I243313B TW 092132890 A TW092132890 A TW 092132890A TW 92132890 A TW92132890 A TW 92132890A TW I243313 B TWI243313 B TW I243313B
Authority
TW
Taiwan
Prior art keywords
websites
traffic
website
critical point
template
Prior art date
Application number
TW092132890A
Other languages
English (en)
Other versions
TW200422860A (en
Inventor
Daniel Manuel Dias
Richard Pervin King
Zhen Liu
Mark Steven Squillante
Honghui Xia
Original Assignee
Ibm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibm filed Critical Ibm
Publication of TW200422860A publication Critical patent/TW200422860A/zh
Application granted granted Critical
Publication of TWI243313B publication Critical patent/TWI243313B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/122Avoiding congestion; Recovering from congestion by diverting traffic away from congested entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/101Server selection for load balancing based on network conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1012Server selection for load balancing based on compliance of requirements or conditions with available server resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1021Server selection for load balancing based on client or server locations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1023Server selection for load balancing based on a hash applied to IP addresses or costs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/10015Access to distributed or replicated servers, e.g. using brokers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

1243313 玖 '發明說明: 【發明所屬之技術領域】 此申請案係與共同讓渡以及共同申請中之美國申請案號 (律師 登錄案號· YOR920020222US1),標題為”網站分類之裝置與方法,,,於2002 年12月10日提出申請相關,並於此用以參考。 【先前技術】 1·技術領域: 本發明係根據流量型樣識別(traffic pattern recognition)針對 網站流量之共置(co—location)與卸載(0ff—loading)之裝置與方法。更具 體地,本發明係針對概要化(profi〗ing)網站、決定何網站應被共置以及何 時應運行網站流量卸載至其他伺服器之裝置與方法。 2·先前技術之描述: 由於網際網路與其應用程式之盛行,資源之分配以提供服務品質 (Quality of Service)(QoS)日益困難。資源分配問題之複雜性被網際網路 基礎建設與應用程式之異質性以及使用者行為所惡化。 一資源分配問題之解決方法係分配資源,例如祠服器,於多數實體 中’如網站,以致任何時段之尖峰負載(peak 1〇ad)情況可藉由與其他實體 1243313 借資源處理。此卿通常視騎置。此範狀_重制題係考慮網站叢隹 以貧源分配。即,_何網站齡配資源通常係_且不鮮之手動程序卞。 另一方法’與共置互補,係包含以動態方法卸載實體之轉量至外 來資源。依城’預定至處於超負贿狀某特定網關廳之網站流量 改寄至另-舰H轉理流量之程序。卸狀—主要_決定何地與何 時卸載工作量。此習知決定何地與何時卸#作量之機制-誠於負載平 衡Goad balancing)之制,其巾齡錢資湖錢定是聽藉由傳送 部分工作量至其他伺服器以平衡工作量。此工作量平衡機制係反動的,並 不利用已知流量型樣於伺服器成超載狀態前開始卸載。 因此,改進過的裝置與方法用以決定何網站應被共置以及何時應該 卸載網站之流量至其他網路伺服器係有利的α 【發明内容】 本發明依據流量到達網站之特徵之範本,提供識別流量型樣至網站之 裳置與方法。根據此範本,可決定何網站應共置以最佳化資源分配。具體 而言,網站之範本係互補的,例如,第一網站在時間tl於到達流量具有一 1243313 炎峰以及第二_在時間tl於到達流量具有—低谷,則指派為共置候選人 再者,本發明使用辨別為網站之流量型樣之範本以決定卸载流量至其 他伺服器之臨界點。此臨界點包含卸載應運行之第一臨界點,考量所需之 前置時間以開购載之第二臨界點,以及考量所f之滞後時間以停止所有 流量卸載至其他伺服器之第三臨界點。 本發明之其他特色與優點,於以下實施例中有詳細敘述,對熟知此技 藝者此發明特色與優點亦可於以下實施例中詳細之敘述顯得更明白。 【實施方式】 本發明之較佳實施例係實施於分散式資料處理環境(distributeddata processing environment)中,於其中編譯流量數據並概要化(pr〇file)、 叢集(cluster)以及分類(categorize)網站。由於本發明係實施於分散式資 料處理環境中,此環境之簡單描述將先行提供以提供本發明運行之背景。 參照圖不,圖1描述本發明可實施其中之資料處理系統之網路之圖像 表示。網路資料處理系統10〇包含網路1〇2,係提供許多設備與連結於網路 資料系統100之電腦之間之通訊連結所使用之媒體。網路可包含連結, 例如有線、無線通訊連結,或光纖電纜。 10 1243313 如圖所不’伺服器104與網路102以及儲存單元106連結。再者,客 戶端108、11〇以及119 & 4 及112與網路102連結。這些客戶端108、110以及112 ° 個人電驷或網路電腦。如圖所示,伺服器104提供資料,例 如啟動播案,作業系統影像以及至客戶端108-112之應用程式。客戶端. 乂及112係、屬伺服器1〇4之客戶端。網路資料處理系統⑽可包含其他 祠服器、客戶端以及其他無顯示之設備。 % 如圖所示’網路資料處理系統100係網際網路與網路102代表的是使 用傳輸控娜定/網際網路協定(TransmissiQn c〇ntr〇1
Pr〇t〇CQl/interaet p咖eQl) (TGp/Ip)套之龄啸·者溝通的網路 fKmajor nodes)^it 腦之間之高速資料通訊線路之骨幹,包含上千個用以路由資料以及訊息之 商業、政府、教育以及其他電腦系統。當然,網路資料處理系統1〇〇亦可 以沣夕不同形態之網路實施,例如,内部網路(intranet)、區域網路
Area NetworkXLAN)或廣域網路(Wide Area Netw〇rk)aAN)。圖 1 之用意 於舉例,而非本發明之架構限制。 參照圖2 ’可作伺服器,如圖1之伺服器1〇4,實施之資料處理系統之 方塊圖,依照本發明之最佳實施例描述。資料處理系統2〇〇可為對稱多處 理器(symmetric multiprocessor)(SMP),包含複數個處理器 202 以及 204 11 1243313 連結至系統匯流排(system bus)206。或使用單一處理系統。亦與系統匯流 排206連結的是記憶體控制器(memory controller)/快取(cache)208,提 供本地記憶體(local memory) —介面。I/O匯流排橋接器(bus bridge)210 與糸統匯流排206連結並提供I/O匯流排212 —介面。如圖所示,記憶體 控制器/快取208可與I/O匯流排橋接器210整合。 連結至I/O匯流排212之週邊元件戶連(Peripheral component interconnect )(PCI)匯流排橋接器214提供週邊元件戶連本地匯流排(PCI local bus)216 —介面。許多數據機可連結至週邊元件戶連本地匯流排 216。典型週邊元件戶連本地匯流排之實施支援四個週邊元件戶連擴充槽 (expansion slot)或外加式連接器(add-in connector)。圖1之至客戶端 108-112之通訊連結,可經由數據機218以及網路配接器經由外加板(add- in boards)連結至週邊元件戶連本地匯流排216提供。 額外的週邊元件戶連匯流排橋接器222以及224提供介面給額外的週 邊元件戶連匯流排本地匯流排226以及228,以支援其他數據機或網路配接 器。依此法,資料處理系統2〇〇允許連結至多數網路電腦。記憶體對映圖 开>配接器(memory-mapped graphic adapter)230以及硬碟232亦可直接或 間接連結至I/O匯流排212如示。 熟知技藝者察知圖2所示之硬體可變化。例如,其他週邊設備,如光 12- 1243313 子磁碟機等產品,亦可—起制或代f®示之補。舉侧意非暗示本發 明之結構限制。 又 圖2所示之資料處理系統,例如,丽。知·系統,位於 紐約州阿爾芒克之國際前機魏份有限公司之產品,執行高級交談執行 程序(AIX)作業系統或[麵作業系統。 參照圖3,描述本發明可實施其中之資料處理系統之方塊圖。資料處理 系統獅係客戶端電腦之舉例。資料處理系統咖使用週邊元件戶連本地 匯流排結構。雖麵卵式使用週邊元件戶連本地匯流排,其他匯流排結 構例如加速圖形埠(Acceieratecj Graphics port)(AGp)以及工業標準 結構(Industry Standard ArchitectureXlSA)亦可使用。 處理器302以及主記憶體3〇4經由週邊元件戶連橋接器3〇8與週邊元 件戶連本地匯流排3G6連結。週邊元件戶連橋接器3G8亦可包含整合記憶 體控制器以及快取記憶體給處理器302。其他連結至週邊元件戶連本地匯流 排306可經由直接元件戶連或外加卡而建立。如圖所示,本地網路配接器 310,SCSI主匯流排配接器312以及擴充匯流排介面gw,藉由直接元件連 結,連結至週邊元件戶連本地匯流排3〇6。相反地,聲頻配接器316,圖形 配接器318以及聲頻/圖形配接器319藉由外加板插入擴充槽連結至週邊元 件戶連本地匯流排306。擴充匯流排介面314提供鍵盤以及滑鼠配接器 13 1243313 320、數據機322以及其他記憶體324連結。小電腦系統介面(Smal 1 computer system interface XSCSI)主匯流排配接器312提供硬碟機326、磁帶機 328以及光碟機330連結。典型週邊元件戶連本地匯流排之實施支援三或四 個週邊元件戶連擴充槽或外加連接器。 作業系統執行於處理器302並使用於調節與提供許多位於圖3之資料 處理系統300中之元件之控制。作業系統可為商業用作業系統,例如,
Windows XP,係為Microsoft Corporation所有。物件導向程式設計系統 魯 (object oriented programming system),例如 Java,可與此作業系統一 同執行’以自Java程式或於資料處理系統3〇〇中執行之應用軟體提供呼叫 (call)至作業系統。Java”係Sun Microsystems, Inc之商標。作業系 統之指令’物件導向作業系統以及應用軟體或程式係位於儲存設備,例如 硬碟326 ’可載入主記憶體3〇4以經由處理器3〇2執行。 …、矣技食者察知圖3之硬體可依其實施而異。其他内建硬體或週邊設· 備’例如,快閃唯讀記憶體(fIash read_only m贿y)(_,即非揮發性 記憶體,或光學磁碟機等產品,可一起使用或代替圖3之硬碟。再者,本 發明之處理可應祕多處獅f料處理纽。 ^ 另一舉例,資料處理系統300 通机介面即可啟動。更進一舉例,資 可以單獨系統安裝為不需依靠某種網路 料處理系統3〇〇可為個人數位助理(ρρΑ) 14 1243313 設備,係與ROM且/或快閃r0m安裝, 案且/或使用者生成之資料。 以提供唯軌_财轉«系統檔 圖3與上述舉例意非暗示結構限制。例如,資料處理系統獅除為個 人數位助理雜外,亦可為筆記型電贼手提賴。㈣處_統亦 可為提供電腦相關資訊之資訊亭(kiQsk)或網站應用設備。
如前述,本發明提供分類網站之機制。此分類係使用於工作量特徵 (workload characterization)、性能模型(performance 舶制他)、工作 篁與性月b預測(workload and performance forecasting)、容量規割 (capability planning)等之支援功能。基本上,此每一功能係針對資源利 用最佳化以及確定有充分之資源去處理網站面臨之流量,以給客戶端設備 特定服務水平。本發明之網站分類可為確保網站之正確模型之主要支援功 能以使用於其他功能中。
本發明之一重要部分係發現網站以重複可利用於解決工作量特徵、性 能模型、工作量與性能預測以及容量規劃之問題的流量特徵型樣。此型樣 可存在於許多不同測量方法中,包含命中次數(hits)、位元組(bytes)、網 頁劇覽(page views)、造訪(visits)、每一造訪之命中(hits per visit)、 每一造訪之網頁瀏覽(page views per visit)、每一網頁瀏覽之秒數 (seconds per page view)、每一造訪之秒數(sec〇nds per visit)等。再 15 1243313 者’此型樣可存在於不_間規模,包含每月、每週、每天、每小時等。 為說明重複之流量概型樣,則以—勒複數地靖業_之每小時之 命中次數為考量。 祕域細繼_之—週鱗何之命中次數之範例圖。如 圖4A至4C所示,每小時之命中次數之測量方法係用以描述一週内每曰來 自客戶端設備之進入要求型樣之特徵。 如圖4A至4(:所示,許多網站顯出每日使用型樣,其中星期六以及星 期曰與i其他日子相比下,(命中及網頁)請求率大幅下降。有些不同產 業之網站通常有清楚的週末型樣,如圖4A與4β之第—標_ 、第三標 繪圖42Q、第九標_儒以及第十一標繪圖働所示,其中週末的請求率 明顯下降。其他_,如·錄弱但仍普遍之週末型樣,係有週末請求 率較不_之下降。仍有其他_,如·,並無顯出任何週末型樣。 相似型樣普遍於不同時間規模之流量數據,例如,每曰、每週、每月、 以及其他w求型樣測量方法,例如,位元組、網頁職、造訪、每一造訪 之p中等圖5A至5C係圖4A至4C中用多種測量方法之某些範例商業網 站之每日時間序列標繪圖之範例圖。如圖5A至5C所示,網站之不同程度 之週末效觸現於此其侧量方法巾。—些有週末麵之麟亦顯出非常 一致地週與週間之行為,其中請求量不隨週改變。 16 Ϊ243313 綃短地》兄,如圖4A至4C以及圖5A至%之經驗資料得知許多網站 里面n樣化。除上述概特徵之外,多槪計值可肋辨識以及於 網站流量巾’娜嫩_,嫩物__歸複雜特徵。、 轉徵包含,例如,流量變雜以及辨至平解,係财_並僅可從 時間序列資料算出。 請求時間序列之變化性之一些有用觀點,可用總請求量之差異健 % (effiCient of variati〇n)(cv),例如,標準偏差與平均值之比率,檢 j °例如’ ® 6咖权每日差繼與細_站所遇之測 量方料日平输咖__詞㈣示編測量中(例 如,每日造訪標_ _,不_站顯示相當不同之變化性但相似地每曰 千均值,在其他某種測量中(例如,每造訪之每日網覽標_ _,不 同網站顯示相似變化性但不同之每日平均值。
請求型樣之叢發性(burstiness)之粗略測量係—固定時間内尖峰與平 均值請求率之比率。此測量方法定量相對於平均請求量之尖蜂請求量。圖7 係不同測量方法之每日尖峰與平均_與範例商胸站所遇之每日平均值 之函數關係之範例圖。自圖7,我們觀察到如圖6之相似行為,即許多測量 方法之不同統計屬性可提供不同結果。 17 1243313 因此’當上述經驗與統計資料分析清楚地展現網站面臨流量型樣,多 · 數此結果本身係不易利用於叢集、概要化以及分類目的。本發明提供利用 此飢里型樣之機制,以產生網路之正確模型用以作工作量特徵、性能模型、 工作量與性能預測以及容量規劃。 本發明可分為三主要元件:叢集、概要化以及分_腦。分細站的 第步驟係依據網站所取得之流量數據產生網站叢集。一旦選定叢集後, 每-叢集或等級,被概要化以取得此等級之範本。此後,當取得網站之新鲁 流量型樣,可將流量數據與等級之已確立範本作一比較,以分類網站至一 已知等級。或者,假設網站之比較結果係充分地不同於所有已知等級,則 篁數據(traffic data)給網站產生新等級。此分類可接著用以運作功 能,例如,工作量特徵、性能模型、工作量與性能預測以及容量規劃,以 將網站之有效資源最佳化α 如上述,本發明操作之第一步驟係自魏個網站取得流量數據以及依 φ 據其流量數據叢集網站。叢集包含選取流量數據值以叢集網站,再依據此 選取值給每-_辨認流量數據之範本。範本再以㈣演算法叢集,以識 別在可包容翻内最與互相她之範本群組。此群組鱗級,係網站之叢 集用以作概要化以及分類。 如上述,使用之流量數據之特定測量方法運作叢集必定於作叢集前選 18 1243313 取。依據使用之測量數據子集,可取得不同之叢集結果。例如,網站可依 、 載量/請求型樣、使用者導航型樣(user navigation patterns)、網站超文 件結構(site hypertext structure)等叢集。每一叢集皆不同並可視為與 互相正父。與本發明運作之特定叢集可依照本發明之特定實施以及對本發 明之使用者最重要之測量方法選取。 本發明之較佳實施例中,叢集係依載量型樣運作。因此,用每小時命 中次數代表流量數據以分類進入請求流量型樣。圖8係一天内自範例商業 · 網站所採集之每小時之請求之範姻,依照本實施範姻以叢集網站。 -旦選定使麟運行叢集ϋ數據測量方法,流量韻接著被分析 以辨識流量型樣在此選取測量方法之範本,或典型形狀。此範本基本上係 此選取測量綠之耕數觀’献之·方法之時絲齡之函數。 本發明之祕實補巾,域㈣請求鎌(weighted avemge i request pattern)//丨⑹’係代表發生於網站伺服器中每小時請求型樣概要 之加權平均,用作網狀範本。加權平均請求舰 request pattern)//i(h)依照下列方程式得之:
D /Zi(h)=Z(ai(d)/D)(Xl(h, d)) ⑴ 19 1243313 其中Xi(h,d)代表第i網站伺服器於^天之第h小時,㈣卜^所. 接收之經驗資料之請求次數,以及其中加權值&⑷_站丨之第d天之加 權,以致不同天之工作量被常態化至相同平均值。此外,依較佳實施例,〇 由於在網站何服器性能上具有較重大之衝擊,尖峰負載量形態係被^定為 叢集之中心。因此,每-加權平均請求型樣以其最大值作常態化以及其 尖峰小時流量型樣係定義為: 7?i(h) = {/Zi(h)/mi, ^i(h)/mi>〇. 5, { 〇· 5, ^i(h)/mi^〇. 5 (2) 其中 mi=max;y {^(h)}。 尖峰小時型樣間之相異值(dissimilarity m嶋re)係定義為: 5i,j = min max {| 77 i(h) - j(h+h5moci 24) |} (3) h5 h 其中V係用作當比較自不同網站伺服器之兩流量型樣與,例 如,不同時區,所需之每小時移位。此相異值係網站i之常態化加權平均 請求型樣與網站j之常態化加權平均請求型樣間最大差值之最小值,在有· 時區之不_情況下,移位以彌補時區之不同。此相異值制崎識與互 相最相似之常態化加權平均請求型樣,以叢集型樣至網站之等級。 於車父佳實施例中,使用完整鏈接(c〇mplete linkage),或最遠之鄰物 (furthest neighbor) ’演算法依照相異值用以叢集常態化之加權平均請求 型樣。第一步驟,係每一型樣代表其本身叢集,以及此型樣間之距離係依 20 1243313 ____峨。縣,鏈嫌:敝細離。 此新叢集與其他叢集間(或單一型樣)之距離係依據對應之叢集中任二型樣 間之最大距離定義,例如’最遠之嶋。因此,演算法繼續於隨後步驟鏈 接更夕型樣以及在先前決定之臨界_聚集更大叢集。 佳實%辦,朗完整鏈接演算法之臨界點,圖8之請求型樣係 叢集為四個不同等級。圖9係圖8所叢集之網站,其請求型樣之四個不同 雜之型樣之範例圖。自圖9,有關不同等級之觀察如下。等級上型樣請· 求流量_於_上升至尖峰接著於下午顯著地下降。赠況表示使用 者對此網站之興趣係較即時的,就像每天查詢天氣報告般 。這種網站多受 歡迎於其本地本地。 等級2型樣,係請求流量負載量於中午上升至尖缘並於下午保持此高 度’但晚上職得轉低。此情絲示仙者只在上班時晴此網站有興 趣0 等級3型樣,係請求流量負載量於中午過後上升至尖峰並於下午持續 保持近此高度。晚上使用者持續對此網站有興趣。 等級4型樣’係請求流量負載量長時間保持—高度,自下午至晚上。 此情況表示大錄個者在上班_或其_時_覽此卿,以及此使 21 1243313 用者可能遍及全國甚至全iy:界。 對網站之特性落於每一不同等級所做的觀察,可針對之後分類至其一 等級之網站使用作預測。因此,從此預測,許多方法可用以處理網站可預 期面臨之流量。 因此,依本發明之較佳實施例,網站叢集包含取得複數個網站之流量 數據,決定叢集基準之流量數據測量方法,依選取測量方法辨識流量數據 % 之型樣,定義流量型樣之相異性或相似關係,以及依照其相異或相似關係 使用叢集演算法叢集網站。-旦識別此叢集,則運行叢集之概要化以識別 之叢集之範本用作之後網站之分類。 概要化首先包含決定流量概要化基準之度量(metric)。於較佳實施例 中’加權平均負載量私处)係用以產生網站所識別之等級之概要檔。在產生 等級概要稽時,此等級之範本被識別並定義為與此等級中所有會員最相似· 之請求型樣。 找尋等級範本之-方法係簡易地平均等級中所有會員。雖然此法可得 到等級之範本’其結果通常並轉_級之範核好崎擇,因為此等級 中一較靠外的會員可能會離此範本遠,但離其他等級之範本近 曰 為不同等級所定義之範本應與互相有遠距離。因 此4級之範本係定義為 22 1243313 等級中所有會員之最大不同值之最小值。 假設G,代表歸綠級k中之請求型樣組。雖然形狀相似,等級κ中之 會員’例如’網站’可能實際上係座落於不同時區,或包含任何平移行為 之其他來源。定義此範本,首先需識別正確平移偏差⑽浪bi_池σ,. εα} ’以致平射,所有會轉有最她之雜。此平祕差可由以下數 學式解出:
Min {max 贴对| ^(h+h^nod 24)— /^(h+h/mod 24)丨]}(4) {hi,hj5,i,jeGk}{ i,jeGk } h 即,平移偏差時{h’,ieGk},任何此等級之二會員間之最大不同值應最 小化。此特定平移,於較佳實施例中,可使用如下述之平移演算法識別。 而識別特定平移之演算法亦可使料離本發明細及精神。 於較佳實施例中,平移演算法包含第一步驟其中Μ i㈤組係任意整 數介於0與23之間(可能的平移以小時計算)。接著每一 ^平移值^則 更新,以致:
HiJ=arg min{max max [| ;7i(h+hi5mod 24)-77 i(h+hi'mod 24) |]} d·⑹h …⑸ 此步驟接者重複至{hi,ieGk}匯集至本地最佳值。 因此,每-h’被選取以致平移時,會員j接近等級中所有其他 會員。此程序重複地反覆直到無法取得更進一步之改善。 23 1243313 -旦辨識此最佳平移偏差卜等級之範本定義為:
Tk(h)=l/2 { max {^(h^^od 24)} + rain {??/ (h+h,,m〇d 24)}} …⑹ 其中h=G,1,····,23。即,範本係最相似等級中所有會員型樣之型樣。圖工 0A係本發明之叢集與概要化所產生圖9之請求型樣之四個不同等級之四個 範本之範例圖。應用此叢集與概要化至經驗資料,會產生不同範本給不同 流量效應,例如,每週之日、每月之週、每年之月等。例如,圖i ◦ b所示, 藉由應用本發明之叢集與概要化至圖4A-4C之網站之經驗資料以產生之每鲁 週之日之型樣。 用此上述之叢集與概要化所產生之等級範本可用以識別進入請麵 樣。首先,此範本係用作識別現有樣本以及查詢此識別結果是否與叢集一 致。然後,請求型樣依據樣本與請求之等級比對。從此比對中,某些網站 流量特徵可能會依其等級申其他網站之特徵而辨別出。 # 較佳地,為運行此分類,使用上述方程式丄和2以為運算新採集之數 據運算常態化尖峰小時請求型樣。然後,較佳地使用方程式3以運算進入 請求型樣數據與其四個範本之數據之間之距離測量方法。根據此距離測量 方法,最接近比對之範本可被識別以及進入請求型樣分類至其對應等級。 由於預先決&之範本不一定包含所有可能之請求型樣,因此請求型樣 24 1243313 之新形態的财麵可與所有預先決定之範林同,例如,最短 距離係大於臨界值4此情況下,此新請求型樣可崎範本赋加入請求 型樣之新等級中。 依據本發明’如叢集分類以及概要化_,網站流量之特徵可依照 網站落入之相哪級識別。此分類可與許多不同應用軟體之類型,包含流 量預測、容量規劃、熱點偵測、動態卸載量、網站共置等類型。 關於流量預測’容量簡之-重要爭議紅作量行為之酬。此預測 機制需要記錄長期走向、職性、義性以及變化性之特徵。使用單—技 術記錄所有因素係_的μ此,更正確之步驟制有關巨集與微型層面 測量之併合技術。當長鼓向可職性迴歸方摘量,砰聰之週期性 (例如,每月、每週、每天等)可使用本發明之叢集與概要化技術處理。 本發明之叢集方法可_關化容量賴卫作。以本發明,不同叢集 (或等級)之範本(或概碰)可被使用以分析每—概傭之容量要求二 現模 因素之衝擊以及網路伺服器場、叢集等概要檔之混合。當新客戶出現時 可使用本發明之分紐術,在需要時,蚊新客戶之流量所屬之叢集⑽ 整容量需求。相同地,假設某網站因特殊事件、網站重新設計等 ° 集改變,短期容量規劃決定亦可容易地被調整。 25 1243313 當有特殊事件’例如,電子商細狀假麟#,有些卿可能會負 載重’因此’需要其觸相運作以滿足所需之服務品質。其運作之舉例 包含卸載以及增加《源。此特殊事件代表,,熱點”。有關細貞側目 的係偵測齡劇魏奴L輕制。鉢㈣德要化方法,— 旦觀察到現今工作量與範本所描述的典型行為有明顯之偏差,此熱點即可 被偵測到。 如上述,有時動態卸載運作係需要的,以減輕祠服器超載,例如,當 遇上熱點。-種達成此動態卸載之方法係於額外負載量可被卸載到的祠服 器(例如Akamai舰器)上,製造新(或用不同)的網頁,相對應於可卸載之 物件(例如影像)。依照本發明之範本之適當使肖,可簡單地決定流量需卸 載之臨界點。再者,卸儀統可在值器飽和前啟動,以負餘載系統之 滯後時間。此新臨界點,例如,關係滞後咖的臨界點,可依範本與臨界 點一同決定。 有關網站共置,目的係於多數網站中分享資源,以致任何—網站之尖 峰負載量情況可齡向其他實體借魏來處理。此範例—重要考量係網路 叢集以資源分享之問題。根據觀察到之流量範本,可輕易識別不同網站之 尖峰狀態之形態,以及不同時間與不同地理時區之不同流量尖峰與低谷。 最佳化工具可接著使㈣達成錄網關之負載量平衡赠到最可能平穩 之總尖峰貞«。最佳化問題可視為-般裝·in_⑽ing別題其中範本 26 I243313 即為裝箱物。此問題亦可公式化為整數規劃問題。 需要說明的是,雖然本發明之上述實施例係描述有關請求型樣,本發 明不設限於此。反而,任何網路之測量數據皆可用以運作本發明之叢集、 概要化以及分類。例如,本發明可操作於舰器數據、頻寬雜數據 等。 圖11係本發明之網站分類設傷之範例方塊圖。如s u所示之元件可 實知於硬體、軟體或硬體與軟體之結合,而不偏離本發明之範圍與精神。 在較佳實施射,_分類設備之元件係以軟體指令中實施,由一或多個 處理器執行。 如圖11所示,網站分類設備之元件包含控制器1110、輸入/輸出介面 1120、網站資料儲存設備113〇、叢集引擎·、概要化引擎廳以及分 類引擎116G。此耕111()-116()經由控制/資料訊息匯流排117()與互相溝 通。 控制器1110控制網站分類設備之總運作以及協調其他元件112〇_116〇 之運作。控制器1110經由輸入/輸出介面⑽接收來自網站之網站流量數 據以及儲存此網站流量數據於網站資料儲存設備·。控制器ιιΐ()接著指 示叢集引擎114G叢髓料齡於網站資料儲存設備脳之網站。 27 1243313 一旦叢集運作時,以及網站指定至特定網站等級,控制器1110指示概 要引擎1150產生範本或概要擋給每一等級。叢集與概要化可週期性運作, 以致網站分類設備所維持叢集以及其相對之範本或概要檔隨著新網站流量 數據的產生而更新。或者,叢集與概要化可在每一次接收來自新網站之流 量數據時更新,以包含此新網站至網站分類設備所維持之叢集與範本。 當接收來自新網站之流量型樣時,此流量型樣網站分類設備維持之許 · 多等級之範本比較。自此比較,可決定新網站之流量型樣是否適合等級之 之範本或與4級之所有範本有顯著地不同,而依據新網站之流量型樣以 保障新等級以及範本之產生。從此新網站之流量麵之分類,此新網站係 分配至網站之特定等級或用作產生網站一等級本身。如上述,此分類可依 不同步驟使用以運作資源管理功能,例如工作量特徵、性能模型、工作量 與性能預測、容量規劃等。 圖12係本發明範例運作之流程圖。如圖12所示,本發明之運作開始 於接收來自複數個網站之網站流量數據(方塊121())。賴流量數據接著用 上述叢集技巧叢集(方塊⑽)。每—叢減等級,產生—範本或概化槽(方 塊1230) 〇 運作接著等候新網站之流量數據(方塊124〇)。接著決定是否接收新網 28 1243313 站之流量數據(方塊1250)。若沒有’則運作回到方塊並繼續等候新網 站之流量麟。絲自酬站之流量數魏触,麟網站之流量數據依 照網站之現有等級分類(方塊1260)。於是運作結束。
圖13係本發明叢集網站範例運作之流程圖。如圖13所示,本發明之叢 集運作由選輯作叢集之流量數獅彳量松卿(方塊131())。縣識別有 關選取之流量數據測量方法之網站之流量數據範本(方塊132〇)。接著利用 叢集演算法叢集範本(方塊1330)。 H 圖14係本發明概要化網站範例運作之流程圖。如圖14所示,運作由 決定流量概要檔基準之度量開始(方塊141〇)。等級中每一網站之流量數據 之本依照此選取之度量產生(方塊142〇)。若需要,範本接著依照平移偏 差值平移以彌補例如不同時區之因素(方塊M3Q)。藉由選取等級之網站中 最接近所有範本之概要檔產生一概要檔(方塊144〇)。網站之每一等級皆可 運作。 Λ 圖15係本發明分類網站範例運作之流程圖。如圖15所示,分類網站 之運作由新網站流量數據之接收開始(方塊1510)。新網站之流量數據之範 本被產生(方塊1520),以及與網站現今等級之範本作比較(方塊1530)。決 定是否識別相配的範本(方塊1540)。若有,則網站分類至與相配範本相關 之等級(方塊1550)。若無,則用新網站之流量數據作產生新等級之範本為 29 1243313 基準以產生新等級一範本(方塊1560)。於是運作結束。 因此’本發明提供依照其流量數據作網站叢集、概要化以及分類之機 制。依本發明,有關其面臨之流量網站間之相似性可被辨認以預測並規劃 未來隶有可能面臨之工作量。因此,本發明提供一工具用以依其所主持之 網站運作網站伺服器之資源管理。 上述之網站叢集、概要化以及分類可應用於資源分配以使網站群組取 得最佳資齡gi。錢本發明,—旦麵上述機轉到_雜中之網站 之範本,此範本可用以決定群組中之網站是否可作為共置候選人以及何時 流量需卸載至其鋪服ϋ。共置與卸載之魏可更進地結合轉得資源分 配之更佳化,以提供需要之服務品質給進入此網站之客戶端設備。 共置之目_根據_相關之範本於不同時段流量共同定置具有尖峰 與低谷之網站。即,目的储有單_舰器或(伺服器群)以處理兩或多個 網站之流量其巾範本互相呼應雜得-錄魏_或至少崎有時段提 供所需求之服務品質。 古曰共置問題之許多變形係可解決的。—舉例為網路伺服器必具有固定之 j容量。此為典型實例,其中網路伺服器提供者要求隨時保持某程度之 谷ΐ以處理任何面臨之不正常流量。 30 1243313 本發明藉由首先決定每一共置考量下之網站之流量範本解決此共置問 題。此範本由網站之流量記錄決定。此範本可藉由上述叢集概要化且/或 分類機制取得。 -旦取得考慮之每-網站之範本,整數規劃問題(integerpr〇gramming) 則被公式化。此整數規劃問題係有至網路伺服器之網指派之決策變數。整 數規劃問題之限制在於任-時間任一规器之容量限制。標的函數係於祠魯 服器容量與不同伺服器之尖峰工作量間之最短距離之任一漸昇函數。 整數規劃問題公式化後,以最佳或最接近演算法解決。解決整數規劃 問題之標準方法與演算法包含分支定界法(branch and b〇und)、切面 (cutting plane)演算法、LP 鬆弛(relaxati〇n)法等。 例如’假設總共/個飼服器要供應/個網站,每一祠服器有容量ο, 9 其中至/。假設網站/之流量可以範本描繪,其中/=1至厂二 進位決策變數係尤7,其中/=1至/以及户1至/,以致假設網站/係分配給 伺服器/,則尤尸1,不然。 共置問題可接著依以下二進位整數規劃問題公式化,其中石係目標利 用率: ---------31 - 1243313 min β $Λ· ΣΧ" T)(t)S β。,j、\,.',j,t^〇· i=l
J ΣΖ尸 1,/=1,····,/ j=l β^\ 其中Zy係二進位整數。 …去t的函數亦可為另一負載平衡準則,例如負載量之經驗變 s(empirical variances) 〇 ^#Kconstraints)jL^#i^xc^^ , ^ 尖峰負載1:某健的低_服H容量。這麼—來,請求之平均回覆時間則 有上界。 共置問題之另一舉例係網路伺服器之總成本最小化,假定不同網路伺 服器有不同成本以及假設至少一個網站被分配至其伺服器則有成本產生。 此情況下,共置問題可由以下方法解決。 如共置問題之前述變數,第一步驟係給每一共置考量内之網站辨識流 量範本。一旦識別範本,則公式化整數規劃問題,其中決策變異係至祠服 32 1243313 器之網路指派。這限制係每一時段每一伺服器之 里哏制。然而,標的函 數係至少分_-個議之财網路舰器之總成本。整數規細題以最 佳或近似演算法解決。 舉同-共置問題之變數之例,參考前述之實例但其中標的係網路舰 器總成本最小化,假定使用網路飼服器^.會花費乃,其中户丨至7。此舉例 中,前例之標的函數改變如下:
min ΣΡ;ΚΣΙ〇>〇), j=l i=l 其中若敘述a正確’則函數i(a)等於丨,否則〇。因此,二進位整數規 劃問題公式如下: min ΣΡ]Λ{ΣΧυ>0),
s. t. ΣΧν Ti(t)^ β Ο, y-l, ·.. f>Q i=l Σ /"=1,i=i,….,/· 33 1243313 其中Zv係二進位整數。 上述問題之較簡易版本係飼服器容量相同以及祠服器成本亦相同。此 舉例中’問題縮小至二維裳箱問題其中箱子係祠服器以及項目係流量範 本。因此,問題可由以下方法解決。 首先與所有共置問題相同,識別共置考量中網站之範本。接著裝箱 題以最小化使狀箱子數為公式狀標的。之後,域速或近似演算法 解決二維裝箱問題。此快速以及近似演算法係f知技藝,更多有關此快速 以及近似演算法之資訊可於例如,E G C〇ffman,Jr· ^ al•中,“裝箱之 近似演算法—姨問卷,,,電腦系統設計之演算法設計,Susiello,
Lucertini, ^^Serafini, Springer-Verlag 1984 ^A David S. 她nsoif裳箱之快速演算法,,電腦與系統科學月刊8,第272—綱頁,侧 中找到。 因此’如圖16所示’共置問題之每—變數,決定至網路舰器之網站 指派之運作’以及,_之共置,麵酬考慮之網站之範本開始(方塊 ι_。共置問題接著以整數規_題公式化,以實施於_分佈之嚮往最 佳化為標的函數(方塊_)。聽數規_題係以決策錄敍網路饲服 站之網站指纽及關餘-時段任—彳·^之容量限制公式化。一旦整 數規劃問題公式化後,整數規綱題_最麵独演算法解決(方塊 卿。如上述,當所有舰器之某些特徵,例如容量與成本,被視為相同 34 1243313 時,整數規劃問題可縮小為裝箱問題。 如前述,本發明可更進地應用於流量卸載至其他網站。卸载機制包含 當網站變得高負載而需要其他額外月良務容量以達成所需之服務品質時,將 部分進入要求改寄至備用或其他較不負載之伺服器。當卸載機制啟動時, 請求可經由例如超文件傳送協定改寄訊息碼301或302改寄,使客戶端之 瀏覽器於一不同之網站伺服器再試請求或放置負載平衡設備,像IM網路 調度器(Network Dispatcher)或 Cisco 總體指揮者(Global Director),於鲁 網路伺服器前以及使用此設備之功能在本發明之控制下於不同時段送出請 求至不同伺服器。 主要問題係考慮如何主動地偵測或預測此高負載情況而適時地觸動卸 載機制。本發明之卸載,對賴17描述,亦描述依本發明具有卸載臨界點 之網站範本。 # 本發明之卸載,考量每-_之流量範本係以上述之方法決定於網站 之流量記錄。圖17闡述此網站範本。在較佳實施例中,範本係由每一時間 單位之請求此數決定。 第-臨界點1710係根據流量強度計算,在其之上流量之一部份會於主 網站伺服器卸載以保障服務品質之標準。此臨界點171〇係根據總流量之最 35 1243313 低分佈以及可卸載之流量數量決定。更精準地,假設心係臨界點l7l〇,α · 係部分可卸載流量,E[S〇]與E[Sn〇]係每一可卸載與不可卸載請求之預期服 務要素,C係考量之瓶頸資源之容量,以及Θ係決定於系統所需保障之服務 品質之目標資源利用率,則此第一臨界點1710可決定於: θι-βΟ / raE[S〇] + (Ι^α) E[Sn〇]) 旦第-臨界點1710由上述方法計算出後,第二臨界點172〇依據變 遷狀癌由弱轉強之流量強度計算出。第三臨界點173〇依據變遷狀態由強轉 中等之流量強度計算出。第二臨_ 172〇之計算係依據動齡載機制之反· 應時間以及流量之統計型樣為考量以達到臨界點之前置時間。她 地’第三臨界點聽之計算魏據祕卸載_之反糾間以及流量統計 3L樣考里為以達到轉點171Q之滯後時間。因此,第二臨界點·可藉 由臨界點⑽減則置時間計算出,而第三臨界點測可藉由臨界點口⑺ 加滯後時間計算出。 ,-識別Iil本且計异㈣界點,職測到由弱轉強狀態與由強射等· 狀態之線上變遷。_可使用許纽計方法實施。其巾一方法係變更點 (hange point)偵測’包含計算進入流量之最低分佈。此法可债測到最低 刀佈之偏差。更多有關變更點偵測之資訊可於,例如,㈣如中, IMS演講筆記—專題論議23冊,腦之,,變更點制之問題,,可找 到。較簡易之侧變遷方法係計算流量強度之移動平均講奪)。 此移動平均可取於每分鱗十分之娜略之時間標度 。例如,計算移動平 36 i243313 * 均之一方法係以許多現今之觀察計算前估計數之加權總值。例如: ·
Estimatenew u⑺+···+ r 7 丨-· · 1 k)Estimateadd 其中T r·· γ k係非負數權。必要條件係γ 。 依上述方法,當流量強度超過臨界點1720時則開啟卸載機制,而當流 量強度低於臨界點1730時則關閉卸載機制。 圖18係依照本發明卸載流量之本發明範例運作之流程圖。如圖18所 % 示,此運作始於識別考量中之每一網站之範本(方塊181〇)。第一臨界點以 流量強度根據總流量之最低分佈以及可卸載之流量數量計算出(方塊 1820)。第一與苐二臨界點接著根據第一臨界點以及卸載機制之前置(lead) 與滯後時間計算出(方塊1830)。 之後,監控線上流量以決定是否有由弱轉強以及由強轉中等之狀態變 遷(方塊1840)。決定是否偵測到變遷(方塊1850)。若無,則運作決定是否f 產生結束狀態,例如,關閉卸載(I860)。若有,則運作結束。否則,運作 回至方塊1840並持續監控變遷。 假設偵測到變遷,則決定是否為弱而強之變遷(方塊187〇)。若是,則 開啟流量變遷機制並卸載流量至其他伺服器(方塊1880)。若變遷非弱而 強,則變遷係強而中等並關閉卸載機制(方塊1890)。 37 1243313 因此’如上述,根據其流量記錄以產生網站之流量範本之叢集、概要 化以及分類網站之本發明可應用至資源分配機制,例如,共置以及卸載。 如前述’本發明可更進_步應用至共置與卸載之結合。共置與卸载之結合 問題通常產生於網路伺服器供應許多網站之情況,當舰器之負载量超過 其谷里柃,必要卸載可卸載之流量至其他網路伺服器。在此情況中,本發 明可依以下方法運作共置網站之卸載。 魯 如所有前述機制,每-考量中之_之範本必要先決定。數學規劃問 題接著被公式化,其巾決紐數係麟蝴路舰器之部分流量之指派。 仏的函數係至少分到-個網站之財網路舰器之總成本。 如舉例,假設與前述共置問題相似之情況。需要注意的是 ,決策變數 I"不再而要係—進位整數m代表自_〗·可被分配至值器7•之 口p刀机里’其中尸1至I以及片至j。因此,仏尤⑸,以及數學規劃問· 題公式化如下: rain ΣΛ1(ΣΧν>^), 38 1243313 S.t· ΣΧυ D⑴j=\r".,J,t^O. i=l Σ JT"=1,7=1,.···,/· j=l 0SK1,i=l,····,/·以及 >1,…,/ 此數學規劃問題’-旦公式化後,可用最佳或近似演算法解決。此數學簡· 問題具有線性限制,當概器成本假設與其利用率成比例時,則形成線性規劃問 題0 對每-網站’-綱^服II指派為其g:置部分流量彳輒器群巾之絲服器。 配置至主彳g服器之部分流量亦指為其主伺服器中之網站臨界點1。 對每-網站,臨界點2依變遷狀態之流量強度由弱轉強計算,以及臨界點3 · 依變遷狀態之流量強度由強射料算。此臨界點考量卸載_所需之前置與滞 後時間。此與輕時__卸載機制、流量之断型樣以及_於所有其 他使用蘭服H為主伺服H之絲服ϋ之容量分享之反應時間之結合。 對每一網站’債測到由弱轉強狀態以及由強轉弱之狀態之線上變遷。 如前述’可使用許多統計方法例如根據最低分佈或移動平均方法之變更點 39 1243313 實行偵測。 對每-網站,卸載機制在流量強度超過臨界點2時啟動或在流量強度 低於臨界__卜流_之_及部_送出之_由前述 線性規劃問題解決之解決方案定義。 圖19係共置與卸載結合之本發明範例運作之流程圖。如圖w所示, 運作始於蚊考量巾之每—_之範本(方塊議^數學規綱題接著被 公式化’其巾決紐數係_至晴舰^之部分流量之指私方塊 20)此數干規劃問題之限制係任一時段任一飼服器之容量限制。標的函 數係至少被分配到一個網站之所有網路伺服器之總成本。 數學規劃問題,-旦公式化,則使用最佳或近似演算法解決(方塊 1930)。接著,對每一網站,一網路伺服器指派為部分流量配置至主伺服器 群中之主伺服器(方塊1940)並且網站之臨界點1係定義為配置至其主伺服 器之部分流量(方塊1950)。 對每一網站,臨界點2依變遷狀態之流量強度由弱轉強計算,臨界點3 依變遷狀態之流量強度由強轉中等計算(方塊I960)。此臨界點考量卸載機 制所需之前置與滯後時間。對每一網站,偵測到由弱轉強狀態以及由強轉 弱之狀態之線上變遷(1970)。卸載機制在流量強度超過臨界點2時啟動或 1243313 在流量強度低於臨界點3時關閉(1980)。 圖20係資源分配決定系統之方塊圖。如圖2〇所示,資源分配決定系 統包含控制器2G1G ’介面2_至圖11之網站分類設備,送出與接收資源 分配訊息到達與來自網路伺服器與卸載機制之輸入/輸出介面2〇3〇,共置決 定設備2040以及卸載開啟設備2050。元件2〇1〇_2〇5〇經由控制/數據訊息 匯流排2060與互相溝通。 圖20所示之猶可實祕硬體、軟體或任-種與倾之結合。於較 佳實施例中’元件2010-2050係以執行於一或多個處理器之軟體指令實施。 控制器2010控制資源分配決定系統之總運作以及協調其他元件 2020-2G50之聊。浦n _触共置決定、卸佩共·卸載之結合 之請求,經由介面2030並指示元件2〇4〇-2050以經由介面2020自網站分 類設備取得之網錄本決定共置且/或城。元件獅以及簡Q運作以前 述之方法決定網站之共置且/或卸載並回報結果至控制器2〇1〇。控制器加 可接著傳輸訊息至網路伺服器且/或卸載機制以進行共置網站且/或卸栽流 量至其他網路伺服器之運作。 因此,本發明提供根據使用叢集、概要化且/或分類網站流量數據所取 得之網站流量記錄識別之流量型樣範本決定網站共置之裝置與方法。並 41 1243313 且,本發明提供根據網站流量型樣之範本決定自一網路伺服器至另一網路 伺服器流量卸載之裝置與方法。依本發明,網站之最佳共置之動態決定以 及卸載可運作以取得所需之保障服務品質。 重要的是,雖然本發明描述於全功能資料處理系統環境中,熟知此技 藝者察知本發明之處理可以細可讀取媒介之指令方式分伽及許多其他 形態之方法,以及本發_同地應麟猶實際實齡佈之訊號攜帶媒體 之特定型式。電腦可讀取媒介之舉例包含可錄式媒介,例如,磁碟、硬碟 機、隨機存取嫌體以及光碟機以及傳輸式齡,例如,數位以及類比通 訊連結。 本發明之贿$魏3雄贿,賴絲或_本發賴揭露之形 態。熟知此技藝者明白許多改變以及差異。此實施例之選擇與描述係用以 最佳解釋本發明、實義狀原伽及使其職知此聽者了解本發明之 許多實施例與許多改變如所想之特定使用。 【圖式簡單說明】 本發明之觸特色之特徵附加於以下專概财L本發明本身 以及使用之較錄式,其更進之標的以及優勢,參考親實施例之細述並 與其圖示同時閱讀最易了解,其中: 42 1243313 圖1係本發明可實施其中之資料處理系統之網路之範麵。 圖2係本發明之伺服器電腦設備之方塊圖。 圖3係本發明之客戶端電腦設備之方塊圖。 圖4A至4(:係範例商業網站之一週内每小時之命中次數之範姻。 圖5A至5C係圖4A至4C中範例商業網站之每日時間序列標繪圖之範姻 圖6係每日差異係數與範例商業網站所遇之不同測量方法之每日平均值之 函數關係之範例圖。 圖7係母日大峰與平均比率與範例商業網站所遇之不同測量方式之每日平 均值之函數關係之範例圖。 圖8係網站叢集所使狀—天内自範例商業_所採集之每小時請求數之 範例圖。 圖9係圖8所叢集之網站,其請求型樣之四個不同等級之型樣之範例圖。 圖10A係圖9之請求型樣之四個等級之其四個範本之範例圖。 圖10B係藉由應用本發明之叢集與概要化至圖从聽之網站之經驗數資 料以產生每週之日之型樣之範例圖。 圖11係本發明之網站分類設備之範例方塊圖。 圖12係本發明範例運作流程圖。 圖13係本發明叢集網站範例運作流程圖。 圖14係本發明概要化網站範例運作流程圖。 圖15係本發明分類網站範例運作之流程圖。 圖16係本發明決定何綱騎置候選人之範例運作流程圖。 43 1243313 圖17係具有臨界點之網站之範本用以如本發明所描述之卸載之圖示。 圖18係依本發明卸載流量之本發明範例運作流程圖。 圖19係共置與卸載結合之本發明範例運作流程圖。 圖20係資源分配決定系統之方塊圖。 圖元件符號說明 100、200網路資料處理系統 102網路 104伺服器 106儲存單元 108、110、112 客戶端 202、204、302 處理器 206系統匯流排 208記憶體控制器/快取 209本地記憶體 210 I/O匯流排橋接器 212 I/O匯流排 214、308週邊元件戶連匯流排橋接器 216、226、228、306週邊元件戶連本地匯流排 218、322數據機 220網路配摻器 1243313 222、224週邊元件戶連匯流排橋接器 230記憶體對映圖形配接器 232硬碟 300資料處理系統 304主記憶體 310本地網路配接器 312 SCSI主匯流排配接器
314擴充匯流排介面 316聲頻配接器 318圖形配接器 319聲頻/圖形配接器 320鍵盤以及滑鼠配接器 324記憶體
326硬碟機 328磁帶機 330光碟機 1110、2010控制器 1120、2030輸入/輸出介面 1130網站資料儲存設備 1140叢集引擎 1150概要化引擎 45 1243313 1160分類引擎 1170控制/資料訊息匯流排 2020介面 2040共置決定設備 2050卸載開啟設備 2 0 6 0控制/數據訊息匯流排
46

Claims (1)

  1. 拾、申請專利範圍: 1· 一種分配資源至複數個網站的電腦程式產品,該產品係在一電腦可讀 式媒體(computer readable medium)中,包含·· 第一指令,用以在該複數個網站之每一網站辨識一流量型樣(traffic pattern); 第二指令,依據該流量型樣,用以在該複數個網站之每一網站辨識一 範本(template);以及 第三指令,依據該複數個網站之每一網站之該辨識之範本,用以分配 資源至該複數個網站之網站。 2·如申請專利範圍第1項所述之電腦程式產品,其中用以分配資源至網 站之該第三指令包含··
    指令,依據該二或多個網站之該範本,自該複數個網站辨識二或多個 網站係為共置(co-location)之候選者;以及 指令,依據識別為共置候選者之該二或多個網站,分配資源至該二或 多個網站。 3·如申請專利範圍第1項所述之電腦程式產品,纟中用时g己資源至網 站之該第二指令包含: 指令,在該複數個網站之每一網站,依據該網站之該範本計算_第一 47 1243313 臨界點(threshold); 指令,依據該第-臨界點計算一第二臨界點,其中當該網站之一流量 強度(traffic intensity)達到或超過該第二臨界點時則啟動流量卸載 (offloading of traffic);以及 指令,依據該第-臨界點計算一第三臨界點,其中當該網站之一流量 強度達到或低於該第三臨界點時則關閉流量卸載。 4·如申凊專利範圍第2項所述之電腦程式產品,其令用以分配資源至網 · 站之該第三指令包含: 指令’在該複數個網站之每一網站,依據該網站之該範本計算一第一 臨界點; 指令,依據該第一臨界點計算一第二臨界點,其中當該網站之一流量 強度達到或超過該第二臨界點時則啟動流量卸載;以及
    才曰令’依據该第一 界點什鼻·第二臨界點,其中當該網站之一流量 強度達到或低於該第三臨界點時則關閉流量卸載。 5·如申請專利範圍第3項所述之電腦程式產品,更包含: 第四指令,在一網路伺服器上監控該複數個網站之一網站之流量,以 決定該流量是否超過該第二臨界點;以及 第五指令,當該網站之該流量超過該第二臨界點時,用以卸載至少部 分該流量至另一網路伺服器。 48 1243313 6.如申請專利範圍第5項所述之電腦程式產品’更包含: 第六指令,在一網路伺服器上監控該複數個網站之一網站之流量,以 決定該流量是否低於該第三臨界點;以及 第七指令,當該網站之該流量低於該第三臨界點時,用以關閉流量卸 載至另一網路伺服器。 7·如申請專利範圍第2項所述之電腦程式產品,其中該指令係依據該二 或多個網站之該範本,自該複數個網站辨識二或多個網站為共置之候選 者’包含: 才曰令,用以辨識一第一網站係在一第一時段(first set time periods)内有流量尖峰(peaks in traffic);以及 指令,用以辨識一第二網站係在一第二時段内有流量尖峰,該第二時 段係不同於該第一時段。 8.如申請專利範圍第7項所述之電腦程式產品,其中,該第二網站在該 第一網站有流里尖蜂之近乎同時,有一流量低谷(tr〇Ugh in traffic)。 9·如申請專利範圍第2項所述之電腦程式產品,其中該指令係依據該二 或多個網站之該範本,自該複數個網站辨識二或多個網站為共置之候選 者,包含: 1243313 指令,用以辨識該二或多個網站,以致該二或多個網站所在之一網路 · 伺服器之流量容量維持不變。 10·如申請專利範圍第2項所述之電腦程式產品,其中該指令係依據該二 或多個網站之該範本,自該複數個網站辨識二或多個網站為共置之候選 者,包含: 才曰令’用以辨識該二或多個網站,以致代管(h〇sting)該複數個網站之 全體伺服器之總成本(total cost)減到最小。 鲁 11.如申請專利範圍第2項所述之電腦程式產品,其中該指令係依據該二或 多個網站之該範本,自該複數個網站辨識二或多個網站為共置之候選者, 包含: 指令,用以公式化(formulating) 一具有決策變數(decisi〇nvariabie) 之整數編程問題(integer pr〇gramming pr〇blem),該決策變數係一自複數 個網路至-複數個網路伺㈣之指派(assign随t),在任何時間任何舰奢 器之容量極限之關’以及—舰II容量與該複數個網路触器中不同之 網路伺服ϋ之尖峰負飾eak 1Qad)間最小距離之__漸增函數(increas㈣ function)之標的函數(objective function)。 泛如申請專利範圍第2項所述之電腦程式產品,其中該指令係依據該二或 多個網站之該範本’自該複數個網站辨識二或多個網站為共置之候選者, —56- 1243313 包含: . 指令’用以公式化-具有決策魏之整數編綱題,該決策變數係一 自複數_路至-複數個網路錬器之指派,在任何铜任何舰器之容 量極限之限制,以及全體網路伺服器之總成本和之標的函數,其中至少一 網站係被指派於該網路伺服器。 13· —種將資源分配給複數個網站的方法,包含·· 在該複數個網站之每一網站辨識一流量型樣; φ 依據該流量型樣,在該複數個網站之每一網站辨識一範本;以及 依據該複__之每-_之_識之範本,分配至該複數個 網站之網站。 , 14.如申請專利範圍第13項所述之方法,其中分配資源至網站包含: 依據该二或多個網站之該範本,自該複數個網站辨識二或多個網站係 為共置之候選者;以及 依據識別為共置候選者之該二或多個網站分配資源至該二或多個網 站。 15·如申請專利範圍第13項所述之方法,其中分配資源至網站包含: 在該複數個網站之每一網站,依據該網站之該範本計算一第一臨界點; 依據該第一臨界點計算一第二臨界點,其中當該網站之一流量強度達 51 1243313 到或超過該第二臨界點時則啟動流量卸載;以及 依據該第一臨界點計算一第三臨界點,其中當該網站之一流量強度達 到或低於該第三臨界點時則關閉流量卸載。 16_如申請專利範圍第η項所述之方法,其中分配資源至網站包含·· 在該複數個網站之每一網站中,依據該網站之該範本計算一第一臨界 點; 依據該第一臨界點計算一第二臨界點,其中當該網站之一流量強度達 % 到或超過該第二臨界點時則啟動流量卸載;以及 依據該第一臨界點計算一第三臨界點,其中當該網站之一流量強度達 到或低於該第三臨界點時則關閉流量卸載。 17·如申請專利範圍第15項所述之方法,更包含: 在一網路伺服器上監控該複數個網站之一網站之流量,以決定該流量 是否超過該第二臨界點;以及 當該網站之該流量超過該第二臨界點時,用以卸載至少部分該流量至 另一網路伺服器。 18·如申請專利範圍第17項所述之方法,更包含: 在一網路伺服器上監控該複數個網站之一網站之流量,以決定該流量 是否低於該第三臨界點;以及 52 1243313 二臨界點時,用以關閉流量卸載至另一網 當該網站之該流量低於該第 路伺服器。 •如申請專利範圍第14項所述之方法,
    於該第一時段。 ,其中依據該二或多個網站之該範 夕個網站為共置之候選者,包含·· 第一時段内有流量尖峰;以及 第二時段内有流量尖峰,該第二時段係不同 其中該第二網站在該第一網站有 如申請專利範圍第19項所述之方法, 流量尖峰之近乎同時,有一流量低谷。 21·如申凊專利範圍第14項所述之方法,其中依據該二或多低網站之該範 本,自該複數個網站辨識二或多個網站為共置之候選者,包含: 辨識忒一或多個網站,以致該二或多個網站所在之一網路伺服器之流 0 量容量維持不變。 22·如申請專利範圍第14項所述之方法,其中依據該二或多個網站之該範 本,自該複數個網站辨識二或多個網站為共置之候選者,包含·· 辨識該二或多個網站,以致代管該複數個網站之全體伺服器之總成本 減到最小。 53 1243313 23_如申請專利範圍第14項所述之方法,其中依據該二或多綱站之該範 本自以複數個網站辨識二或多個網站為共置之候選者,包含: 式匕-有决策變數之整數編程問題,該決策變數係一自複數個網 路至複數個網路飼服器之指派’在任何時間任何飼服器之容量極限之限 制,以及-飼服器容量與該複數個網路伺服器中不同之網路伺服器之尖峰 負載間最小距離之一漸增函數之標的函數。 24.如申請專利範圍第14項所述之方法,其中依據該二或多個網站之該範# 本’自該複數侧站賴二或多侧站為共置之候選者,包含·· 公式化-具有決策變數之整數編程問題,該決策變數係一自複數個網 路至-複數_路舰||之指派,在任何時何舰^之料極限之限 制’以及全體舰H之触本和之標的函數,其巾至少__係被指 派於該網路伺服器。 25· —種分配資源給複數個網站的裝置,包含: φ 一裝置,用以在該複數個網站之每一網站辨識一流量型樣· 一裝置,依據該流量型樣,用以在該複數個網站之每一網站辨識一範 本;以及 一裝置’依據該複數個網站之每一網站之該辨識之範本,甩以分配資 源至該複數個網站之網站。 54 1243313 6.如申清專利範圍第25項所述之裝置,其中該資源分配至網站之裝置, 包含: «MM» 亡“ 、’ i據該二或多個網站之該範本,自該複數個網站辨識二或多 個網站係為共置之候選者;以及 _ 1J 1 r_ 、’依據識別為共置候選者之該二或多個網站分配資源至該二或 多個網站。 27·如申請專利範圍第25項所述之裝置,其中該資源分配至網站之裝置, 包含: 一裝置,用以在該複數個網站之每一網站,依據該網站之該範本計算 一第一臨界點; 一裝置,依據該第一臨界點計算一第二臨界點,其中當該網站之一流 夏強度達到或超過該第二臨界點時則啟動流量卸載;以及 一裝置,依據該第一臨界點計算一第三臨界點,其中當該網站之一流 量強度達到或低於該第三臨界點時則關閉流量卸載。 28.如申凊專利範圍第26項所述之震置,其中該資源分配至網站之裝置, 包含: 一裝置’用以在該複數個網站之每一網站,依據該網站之該範本計算 一第一臨界點; 一裝置,依據戎第一臨界點計算一第二臨界點,其中當該網站之一流 55 I243313 量強度達到或超過該第二臨界點時則啟動流量卸載;以及 一裝置,依據該第一臨界點計算一第三臨界點,其中當該網站之一流 量強度達到或低於該第三臨界點時則關閉流量卸載。 29·如申請專利範圍第27項所述之裝置,更包含: 一裝置’用以在一網路伺服器上監控該複數個網站之一網站之流量, 以決定該流量是否超過該第二臨界點;以及 裝置’用以當該網站之該流量超過該第二臨界點時,用以卸載至少 部分該流量至另一網路伺服器。 30·如申請專利範圍第29項所述之裝置,更包含: 一裝置,用以在一網路伺服器上監控該複數個網站之一網站之流量, 以決定該流量是否低於該第三臨界點;以及
    一裝置,用以當該網站之該流量低於該第三臨界點時,用以關閉流量 卸栽至另一網路伺服器。 31·如申請專利範圍第26項所述之裝置,其中該裝置依據該二或多個網站 之忒範本,自該複數個網站辨識二或多個網站為共置之候選者,包含: 一裝置,用以辨識一第一網站,在一第一時段内有流量尖峰;以及 波置,用以辨識一第二網站,在一第二時段内有流量尖峰,該第二 日守段係不同於該第一時段。 56 1243313 32. 如申請專利範圍第31項所述之裝置,其中該第二網站在該第一網站有 流量尖峰之近乎同時,有一流量低谷。 33. 如申請專利範圍第26項所述之裝置,其中該裝置依據該二或多個網站 之該範本,自該複數個網站辨識二或多個網站為共置之候選者,包含: 一裝置,用以辨識該二或多個網站,以致該二或多個網站所在之一網 路伺服器之流量容量維持不變。 34·如申請專利範圍第26項所述之裝置,其中該裝置依據該二或多個網站 之範本作為共置之候選者自複數個網站中辨識二或多個網站包含·· 一裝置,用以辨識該二或多個網站,以致代管該複數個網站之全體伺 服器之總成本減到最小。 35·如申请專利範圍第26項所述之裝置,其中該裝置依據該二或多個網站 之範本作為共置之候選者自複數個網站中辨識二或多個網站包含: 一裝置,用以公式化一具有決策變數之整數編程問題,該決策變數係 一自複數個纟罔路至一複數個網路伺服器之指派,在任何時間任何伺服器之 容量極限之_,以及—恤器容量與該複數侧路舰财不同之網路 伺服器之尖峰負載間最小距離之一漸增函數之標的函數。 36·如申請專利範圍第沈項所述之裝置,其中該裝置依據該二或多個網站 之|巳本作為共置之候選者自複數個麟巾觸二或多侧站包含: 57 1243313 一裝置,用以公式化一具有決策變數之整數編程問題,該決策變數係 一自複數個網路至一複數個網路伺服器之指派,在任何時間任何伺服器之 容量極限之限制,以及全體網路伺服器之總成本和之標的函數,其中至少 一網站係被指派於該網路伺服器。 37· —種部署電腦基礎建設(⑴即的丨呢infrastructure)的方法,包含整合 電腦可讀碼至一電腦系統,其中該碼與該電腦系統之結合係可運作以下的 程序: 在該複數個網站之每一網站辨識一流量型樣; 依據該流量型樣,用以在該複數個網站之每一網站辨識一範本;以及 依據該複數個網站之每一網站之該辨識之範本,用以分配資源至該複 數個網站之網站。 58
TW092132890A 2002-12-10 2003-11-24 Apparatus and methods for co-location and offloading of web site traffic based on traffic pattern recognition TWI243313B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/315,335 US7386611B2 (en) 2002-12-10 2002-12-10 Apparatus and methods for co-location and offloading of web site traffic based on traffic pattern recognition

Publications (2)

Publication Number Publication Date
TW200422860A TW200422860A (en) 2004-11-01
TWI243313B true TWI243313B (en) 2005-11-11

Family

ID=32468668

Family Applications (1)

Application Number Title Priority Date Filing Date
TW092132890A TWI243313B (en) 2002-12-10 2003-11-24 Apparatus and methods for co-location and offloading of web site traffic based on traffic pattern recognition

Country Status (8)

Country Link
US (2) US7386611B2 (zh)
EP (1) EP1597889A1 (zh)
JP (1) JP4502815B2 (zh)
CN (1) CN1736079A (zh)
AU (1) AU2003292269A1 (zh)
CA (1) CA2508047A1 (zh)
TW (1) TWI243313B (zh)
WO (1) WO2004054197A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI547874B (zh) * 2011-06-28 2016-09-01 微軟技術授權有限責任公司 虛擬機器影像分析
TWI600303B (zh) * 2012-03-09 2017-09-21 諾基亞科技公司 用於鄰近設備間之操作性路由安排之方法、裝置及電腦程式產品
TWI601024B (zh) * 2009-07-06 2017-10-01 Alibaba Group Holding Ltd Sampling methods, systems and equipment

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734726B2 (en) * 2001-11-27 2010-06-08 International Business Machines Corporation System and method for dynamically allocating processing on a network amongst multiple network servers
US7792951B2 (en) * 2002-12-10 2010-09-07 International Business Machines Corporation Apparatus and methods for classification of web sites
US7386611B2 (en) * 2002-12-10 2008-06-10 International Business Machines Corporation Apparatus and methods for co-location and offloading of web site traffic based on traffic pattern recognition
JP4066932B2 (ja) * 2003-11-10 2008-03-26 株式会社日立製作所 予測に基づいた計算機リソース配分方法
US8782654B2 (en) 2004-03-13 2014-07-15 Adaptive Computing Enterprises, Inc. Co-allocating a reservation spanning different compute resources types
WO2005089239A2 (en) 2004-03-13 2005-09-29 Cluster Resources, Inc. System and method of providing a self-optimizing reservation in space of compute resources
US20070266388A1 (en) 2004-06-18 2007-11-15 Cluster Resources, Inc. System and method for providing advanced reservations in a compute environment
US8200805B2 (en) * 2004-06-28 2012-06-12 Neuse Douglas M System and method for performing capacity planning for enterprise applications
JP4756675B2 (ja) * 2004-07-08 2011-08-24 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ資源のキャパシティを予測するためのシステム、方法およびプログラム
US8176490B1 (en) 2004-08-20 2012-05-08 Adaptive Computing Enterprises, Inc. System and method of interfacing a workload manager and scheduler with an identity manager
CA2580615C (en) * 2004-09-20 2014-02-18 Camiant, Inc. Method for dynamic rate adaptation based on selective passive network monitoring
WO2006053093A2 (en) 2004-11-08 2006-05-18 Cluster Resources, Inc. System and method of providing system jobs within a compute environment
US9075657B2 (en) 2005-04-07 2015-07-07 Adaptive Computing Enterprises, Inc. On-demand access to compute resources
US8863143B2 (en) 2006-03-16 2014-10-14 Adaptive Computing Enterprises, Inc. System and method for managing a hybrid compute environment
WO2008036058A2 (en) 2005-03-16 2008-03-27 Cluster Resources, Inc. On-demand computing environment
US9231886B2 (en) 2005-03-16 2016-01-05 Adaptive Computing Enterprises, Inc. Simple integration of an on-demand compute environment
US9015324B2 (en) 2005-03-16 2015-04-21 Adaptive Computing Enterprises, Inc. System and method of brokering cloud computing resources
US8782120B2 (en) 2005-04-07 2014-07-15 Adaptive Computing Enterprises, Inc. Elastic management of compute resources between a web server and an on-demand compute environment
US7725901B2 (en) * 2005-04-14 2010-05-25 International Business Machines Corporation Method and system for performance balancing in a distributed computer system
US7788667B2 (en) * 2005-04-22 2010-08-31 Gm Global Technology Operations, Inc. Extensible scheduling of tasks in time-triggered distributed embedded systems
US8719255B1 (en) * 2005-08-23 2014-05-06 Amazon Technologies, Inc. Method and system for determining interest levels of online content based on rates of change of content access
US8271865B1 (en) 2005-09-19 2012-09-18 Google Inc. Detection and utilization of document reading speed
US8670319B2 (en) * 2005-09-19 2014-03-11 Google, Inc. Traffic prediction for web sites
US7653659B2 (en) * 2005-12-12 2010-01-26 International Business Machines Corporation System for automatic arrangement of portlets on portal pages according to semantical and functional relationship
US8134928B1 (en) 2005-12-15 2012-03-13 Nvidia Corporation Technique for identifying a failed network interface card within a team of network interface cards
US7739099B2 (en) * 2005-12-22 2010-06-15 International Business Machines Corporation Method and system for on-line performance modeling using inference for real production IT systems
US8190724B2 (en) 2006-10-13 2012-05-29 Yahoo! Inc. Systems and methods for establishing or maintaining a personalized trusted social network
US8117486B2 (en) * 2007-04-10 2012-02-14 Xerox Corporation Method and system for detecting an anomalous networked device
US8432788B2 (en) * 2007-05-18 2013-04-30 Nvidia Corporation Intelligent failback in a load-balanced networking environment
US8300647B2 (en) * 2007-05-18 2012-10-30 Nvidia Corporation Intelligent load balancing and failover of network traffic
US8200694B1 (en) 2007-07-23 2012-06-12 Google Inc. Identification of implicitly local queries
US9178848B1 (en) 2007-07-23 2015-11-03 Google Inc. Identifying affiliated domains
US8041773B2 (en) 2007-09-24 2011-10-18 The Research Foundation Of State University Of New York Automatic clustering for self-organizing grids
US20090198559A1 (en) * 2008-02-06 2009-08-06 Disney Enterprises, Inc. Multi-resolutional forecasting system
US8788490B1 (en) 2008-06-27 2014-07-22 Google Inc. Link based locale identification for domains and domain content
US7970905B2 (en) * 2008-07-03 2011-06-28 International Business Machines Corporation Method, system and computer program product for server selection, application placement and consolidation planning of information technology systems
US20100138575A1 (en) * 2008-12-01 2010-06-03 Micron Technology, Inc. Devices, systems, and methods to synchronize simultaneous dma parallel processing of a single data stream by multiple devices
US11720290B2 (en) 2009-10-30 2023-08-08 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US10877695B2 (en) 2009-10-30 2020-12-29 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US9323994B2 (en) * 2009-12-15 2016-04-26 Micron Technology, Inc. Multi-level hierarchical routing matrices for pattern-recognition processors
WO2011076236A1 (en) * 2009-12-23 2011-06-30 Telefonaktiebolaget L M Ericsson (Publ) Service selection for reduced composition cost
US9350627B2 (en) * 2010-04-15 2016-05-24 Bmc Software, Inc. Automated service time estimation method for IT system resources
US9363312B2 (en) 2010-07-28 2016-06-07 International Business Machines Corporation Transparent header modification for reducing serving load based on current and projected usage
US8700782B2 (en) 2010-08-18 2014-04-15 Microsoft Corporation Directing modalities over different networks in multimodal communications
JP5511609B2 (ja) 2010-09-27 2014-06-04 インターナショナル・ビジネス・マシーンズ・コーポレーション ウェブ・ページ作成システム、方法及びプログラム
US8578028B2 (en) 2011-01-06 2013-11-05 International Business Machines Corporation Techniques for provisioning cloud computing environment resources based on social media analysis
US20120072544A1 (en) * 2011-06-06 2012-03-22 Precision Networking, Inc. Estimating application performance in a networked environment
US9319274B1 (en) * 2012-03-29 2016-04-19 Emc Corporation Method and system for dynamic provisioning using server dormant mode for virtual server dormancy
JP5949115B2 (ja) * 2012-05-07 2016-07-06 富士ゼロックス株式会社 通信管理システム及びプログラム
US10652318B2 (en) * 2012-08-13 2020-05-12 Verisign, Inc. Systems and methods for load balancing using predictive routing
US10261938B1 (en) 2012-08-31 2019-04-16 Amazon Technologies, Inc. Content preloading using predictive models
US9195564B2 (en) 2012-09-04 2015-11-24 International Business Machines Corporation Advanced notification of workload
CN104239019B (zh) * 2013-06-21 2017-11-03 华为技术有限公司 搜索请求生成方法和系统
EP2830285A1 (en) * 2013-07-25 2015-01-28 Thomson Licensing Method for caching of data items in a cloud based data processing system and corresponding device
US9407676B2 (en) * 2013-11-25 2016-08-02 At&T Intellectual Property I, Lp Method and apparatus for distributing media content
US9350792B2 (en) * 2014-04-16 2016-05-24 Go Daddy Operating Company, LLC Method for location-based website hosting optimization
US9654587B2 (en) 2014-04-16 2017-05-16 Go Daddy Operating Company, LLC System for location-based website hosting optimization
JP6619938B2 (ja) * 2015-02-13 2019-12-11 株式会社日立システムズ リソース制御システムおよびリソース制御方法
JP6451497B2 (ja) * 2015-05-20 2019-01-16 富士通株式会社 情報処理装置、情報処理プログラム、及びデータセンタシステム
CN105847171A (zh) * 2016-03-28 2016-08-10 乐视控股(北京)有限公司 网络设备过载保护方法
WO2018186053A1 (ja) * 2017-04-07 2018-10-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 不正通信検知方法、不正通信検知システム及びプログラム
WO2018186054A1 (ja) * 2017-04-07 2018-10-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 不正通信検知基準決定方法、不正通信検知基準決定システム及びプログラム
JP6539363B2 (ja) * 2017-04-07 2019-07-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 不正通信検知方法、不正通信検知システム及びプログラム
JP6494821B2 (ja) * 2017-04-07 2019-04-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 不正通信検知基準決定方法、不正通信検知基準決定システム及びプログラム
WO2019176997A1 (ja) * 2018-03-14 2019-09-19 日本電気株式会社 トラヒック分析装置、方法及びプログラム
US11347541B2 (en) * 2019-01-31 2022-05-31 Walmart Apollo, Llc Methods and apparatus for virtual machine rebalancing

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944381A (ja) * 1995-07-31 1997-02-14 Toshiba Corp データ格納方法およびデータ格納装置
US6185601B1 (en) * 1996-08-02 2001-02-06 Hewlett-Packard Company Dynamic load balancing of a network of client and server computers
US6240454B1 (en) * 1996-09-09 2001-05-29 Avaya Technology Corp. Dynamic reconfiguration of network servers
US6058423A (en) * 1996-12-23 2000-05-02 International Business Machines Corporation System and method for locating resources in a distributed network
US6112238A (en) * 1997-02-14 2000-08-29 Webtrends Corporation System and method for analyzing remote traffic data in a distributed computing environment
US6119143A (en) * 1997-05-22 2000-09-12 International Business Machines Corporation Computer system and method for load balancing with selective control
US6578077B1 (en) * 1997-05-27 2003-06-10 Novell, Inc. Traffic monitoring tool for bandwidth management
US6351775B1 (en) * 1997-05-30 2002-02-26 International Business Machines Corporation Loading balancing across servers in a computer network
US6253230B1 (en) * 1998-09-22 2001-06-26 International Business Machines Corporation Distributed scalable device for selecting a server from a server cluster and a switched path to the selected server
US6263361B1 (en) * 1998-11-19 2001-07-17 Ncr Corporation Method for calculating capacity measurements for an internet web site
US6728748B1 (en) * 1998-12-01 2004-04-27 Network Appliance, Inc. Method and apparatus for policy based class of service and adaptive service level management within the context of an internet and intranet
US6308210B1 (en) * 1998-12-10 2001-10-23 International Business Machines Corporation Method and apparatus for traffic control and balancing for an internet site
US6393479B1 (en) * 1999-06-04 2002-05-21 Webside Story, Inc. Internet website traffic flow analysis
JP2001051890A (ja) * 1999-08-10 2001-02-23 Toshiba Corp 仮想分散ファイルサーバシステム
US6374297B1 (en) * 1999-08-16 2002-04-16 International Business Machines Corporation Method and apparatus for load balancing of web cluster farms
US6801945B2 (en) * 2000-02-04 2004-10-05 Yahoo ! Inc. Systems and methods for predicting traffic on internet sites
US6816905B1 (en) * 2000-11-10 2004-11-09 Galactic Computing Corporation Bvi/Bc Method and system for providing dynamic hosted service management across disparate accounts/sites
US7103651B2 (en) * 2000-11-30 2006-09-05 Nortel Networks Limited Method and apparatus for discovering client proximity network sites
US6877035B2 (en) * 2001-01-29 2005-04-05 International Business Machines Corporation System for optimal resource allocation and planning for hosting computing services
US7406532B2 (en) * 2001-02-16 2008-07-29 Infrastructure Innovations, Llc Auto control of network monitoring and simulation
US6778991B2 (en) * 2001-09-27 2004-08-17 I2 Technologies Us, Inc. Dynamic load balancing using semantic traffic monitoring
US6947985B2 (en) * 2001-12-05 2005-09-20 Websense, Inc. Filtering techniques for managing access to internet sites or other software applications
US7096200B2 (en) * 2002-04-23 2006-08-22 Microsoft Corporation System and method for evaluating and enhancing source anonymity for encrypted web traffic
US7433304B1 (en) * 2002-09-06 2008-10-07 Packeteer, Inc. Classification data structure enabling multi-dimensional network traffic classification and control schemes
US7386611B2 (en) * 2002-12-10 2008-06-10 International Business Machines Corporation Apparatus and methods for co-location and offloading of web site traffic based on traffic pattern recognition
US7792951B2 (en) * 2002-12-10 2010-09-07 International Business Machines Corporation Apparatus and methods for classification of web sites

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI601024B (zh) * 2009-07-06 2017-10-01 Alibaba Group Holding Ltd Sampling methods, systems and equipment
TWI547874B (zh) * 2011-06-28 2016-09-01 微軟技術授權有限責任公司 虛擬機器影像分析
TWI563449B (en) * 2011-06-28 2016-12-21 Microsoft Technology Licensing Llc Virtual machine image analysis
TWI600303B (zh) * 2012-03-09 2017-09-21 諾基亞科技公司 用於鄰近設備間之操作性路由安排之方法、裝置及電腦程式產品
US9936329B2 (en) 2012-03-09 2018-04-03 Nokia Technologies Oy Methods, apparatuses, and computer program products for operational routing between proximate devices

Also Published As

Publication number Publication date
US20080091826A1 (en) 2008-04-17
TW200422860A (en) 2004-11-01
WO2004054197A1 (en) 2004-06-24
CA2508047A1 (en) 2004-06-24
US20040111508A1 (en) 2004-06-10
JP4502815B2 (ja) 2010-07-14
EP1597889A1 (en) 2005-11-23
US8352607B2 (en) 2013-01-08
US7386611B2 (en) 2008-06-10
AU2003292269A1 (en) 2004-06-30
JP2006518887A (ja) 2006-08-17
CN1736079A (zh) 2006-02-15

Similar Documents

Publication Publication Date Title
TWI243313B (en) Apparatus and methods for co-location and offloading of web site traffic based on traffic pattern recognition
Ismaeel et al. Proactive dynamic virtual-machine consolidation for energy conservation in cloud data centres
Rasooli et al. COSHH: A classification and optimization based scheduler for heterogeneous Hadoop systems
TWI620075B (zh) 用於雲端巨量資料運算架構之伺服器及其雲端運算資源最佳化方法
KR102009055B1 (ko) 클라우드 선택을 위한 코디네이션 엔진
US9712535B1 (en) Security recommendation engine
US9015128B2 (en) Method and system for measuring social influence and receptivity of users
US20190317812A1 (en) Guaranteed quality of service in cloud computing environments
US11328073B1 (en) Robust data tagging
US11334725B2 (en) Sensor data collection control based on natural language interaction
US20170352071A1 (en) Smart cost analysis of household appliances
Rahman et al. Replica selection strategies in data grid
US20210326255A1 (en) Dynamic cache size management of multi-tenant caching systems
US20130325863A1 (en) Data Clustering for Multi-Layer Social Link Analysis
CN106471473A (zh) 用于控制数据中心中的服务器过高分配的机制
TWI234081B (en) Apparatus and method for classification of web sites
Taghizadeh et al. A metaheuristic‐based data replica placement approach for data‐intensive IoT applications in the fog computing environment
US10778520B2 (en) Hyper-converged infrastructure correlation system
US10255127B2 (en) Optimized diagnostic data collection driven by a ticketing system
Leena Sri et al. An empirical model of adaptive cloud resource provisioning with speculation
Cerroni et al. Bdmaas+: Business-driven and simulation-based optimization of it services in the hybrid cloud
US11574215B2 (en) Efficiency driven data collection and machine learning modeling recommendation
US11886928B2 (en) Automated service tiering between edge computing sites and a core data center
US11526800B2 (en) Determining value of corpora for machine learning using coresets
US20240193432A1 (en) Systems and methods for federated validation of models

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees