TWI493926B

TWI493926B - 複雜型樹狀網路之自動化訊務工程

Info

Publication number: TWI493926B
Application number: TW100126245A
Authority: TW
Inventors: David Ian Allan; Scott Andrew Mansfield
Original assignee: Ericsson Telefon Ab L M
Priority date: 2010-08-16
Filing date: 2011-07-25
Publication date: 2015-07-21
Also published as: CN103026668B; AU2011290494A1; TW201212589A; EP2606612A1; AU2011290494B2; US20120039161A1; CN103026668A; CA2808364A1; EP2606612B1; US9210071B2; WO2012023067A1

Description

複雜型樹狀網路之自動化訊務工程

本發明之實施例係關於一種改良一網路中之負載分配(load distribution)之方法及裝置。具體言之，本發明之實施例係關於一種用於複雜型樹狀網路中之負載散佈或具有在該網路之節點之間的多個相等成本路徑之其他高度規則性交換階層之方法。

本申請案主張2010年8月16日申請之標題為「Algorithms and Automated Traffic Engineering To Apply 802.1aq to Fat Tree Networks」之美國臨時申請案第61/373,928號之優先權。

負載分配或負載散佈係一種藉以在一網路中更有效利用頻寬並改良整體效能之方法。現今所部署的大多數自動化負載分配及負載散佈技術僅以一非常局部視野操作，此等負載分配及負載散佈技術僅考量至一給定目的地之最短路徑上之下一躍點之數目，且不考量網路中之整體訊務分配。

相等成本多路徑(ECMP)係一種路由網路中之單播訊務之負載散佈可利用之共同策略，其在關於如何將一封包轉遞至一給定目的地之決策可解析多個「相等成本」路徑之任一者之情況下使用，該等相等成本路徑在運行資料庫計算時同為最短路徑。可結合大多數單播路由協定及裝配有所需支援資料平面硬體之節點使用ECMP。此依賴於一單一路由器本端之按每躍點決策且假定每一中間節點處之混雜接收及一完整轉遞表格。在一網路中之任何給定節點處使用ECMP時，跨一組相等成本下一躍點而偽均等地劃分負載。在存在至一給定目的地之一個以上路徑之網路之各躍點處獨立實施此程序。

在許多實施方案中，當遭遇存在多個相等成本下一躍點時，檢查各封包之一熵源(諸如一網際網路協定(IP)標頭)，且使用路徑數目之標頭資訊模之一雜湊以選擇特定封包之下一躍點且將針對一給定「流」中之所有封包選擇相同下一躍點。對於高度聚合訊務，此方法將在規則拓撲(即，對稱拓撲)中均等地平均分配負載，且確實在較不規則拓撲中提供一些改良。

資料中心設計之當前方法利用稱為「Clos」或「複雜型樹狀」之網路。此等網路係高度規則性的且因利用與非常密集網狀組合的交換節點陣列以按比例調整頻寬而著名。一複雜型樹狀網路上之負載散佈之若干問題之一者係路徑數目隨著連通性之平方而增加。ECMP可較好地適合於此等應用中，但是基於ECMP的負載散佈取決於交換階層之對稱規則性以達成至各躍點處之下一躍點指派之流之效率及幾乎完美的重新隨機化。ECMP之一進一步問題係其不能在未分離多播處理與單播處理之情況下應用於乙太網路，此係因為每躍點ECMP不能應用於多播訊務。此之最終結果係可在未知封包之單播轉遞與多播氾流之間存在競賽條件，使得可在一穩定網路中發生不按次序遞送。因此，需要尋找可應用於高度網狀規則性網路之用於乙太網路之一ECMP替代，且其中藉由網路中之故障而最小化訊務分配之劣化。

一種在至少一複雜型樹狀網路節點中實施以改良負載分配之方法之實施例，其中該節點係一複雜型樹狀網路中之複數個複雜型樹狀網路節點之一者，該複數個複雜型樹狀網路節點之各者實施一平局決勝(tie-breaking)程序以產生最小成本樹，該方法包括以下步驟：針對該複雜型樹狀網路之各根節點，依自一最低排名根節點至一最高排名節點之次序執行一跨矩樹計算；針對該複雜型樹狀網路之各根節點，產生一過濾資料庫，其中該過濾資料庫包含該複雜型樹狀網路之葉節點之一組媒體存取控制(MAC)位址；及針對各所計算樹，添加待用作為一前置項之鏈路利用至用於至少一平局決勝演算法之鏈路識別符。

一種在一邊緣節點中用以改良一複雜型樹狀網路中之負載分配之方法之實施例，該複雜型樹狀網路包含該邊緣節點，其中該邊緣節點係該複雜型樹狀網路中之複數個邊緣節點之一者，該複數個邊緣節點之各者實施一共同演算法平局決勝程序以產生最小成本跨矩樹，該邊緣節點包含用以儲存該複雜型樹狀網路之拓撲之一資料庫，其中該複雜型樹狀網路之拓撲包含複數個節點及該等節點之間的鏈路，該方法包括以下步驟：藉由在儲存於該資料庫中之複雜型樹狀網路之該拓撲上執行一最短路徑搜尋演算法而判定在該複雜型樹狀網路中之各邊緣節點對之間的一第一組一或多個最短路徑；藉由應用該共同演算法平局決勝程序而自各邊緣節點對之該第一組最短路徑選擇至少一第一最短路徑；基於轉接各鏈路之所選擇最短路徑之計數而計算該複雜型樹狀網路之各鏈路之一鏈路利用值；藉由在儲存於該資料庫中之複雜型樹狀網路之該拓撲上執行該最短路徑搜尋演算法而判定各邊緣節點對與該複雜型樹狀網路之根之間的一第二組一或多個最短路徑；基於對應於各最短路徑之鏈路利用值而產生該第二組一或多個最短路徑中之各最短路徑之一路徑利用值；基於該路徑利用值自該第二組一或多個最短路徑選擇一第二最短路徑，其中當在該組一或多個最短路徑中存在具有相同路徑利用值之多個最短路徑時，該選擇利用該共同演算法平局決勝程序；及將各邊緣節點對之至少該第一最短路徑儲存於一過濾資料庫中，其中該過濾資料庫指示應將傳入至該邊緣節點之訊務轉遞至何處。

一種改良一複雜型樹狀網路中之負載分配之邊緣節點之實施例，該複雜型樹狀網路包含該邊緣節點，其中該邊緣節點係該複雜型樹狀網路中之複數個邊緣節點之一者，其中該複雜型樹狀網路之一拓撲包含複數個節點及該等節點之間的鏈路，該邊緣節點包括：一拓撲資料庫，其用以儲存該複雜型樹狀網路中之各鏈路之鏈路資訊；一過濾資料庫，其用以儲存該邊緣節點之各埠之過濾資訊，其中該過濾資料庫指示應將傳入至該邊緣節點之訊務轉遞至何處；一控制處理器，其耦合至該拓撲資料庫及該過濾資料庫，該控制處理器經組態以處理資料訊務，其中該控制處理器包括：一最短路徑搜尋模組，其經組態以藉由在該拓撲資料庫上執行一最短路徑搜尋演算法而判定在該複雜型樹狀網路中之各邊緣節點之間的至少一最短路徑，其中該最短路徑搜尋模組經組態以針對具有複數個相等成本最短路徑之該等邊緣節點對之各者發送該等相等成本最短路徑至一負載分配模組；一排序模組，其經組態以基於自與該複數個相等成本最短路徑中之各路徑相關聯的鏈路利用值所導出的一路徑利用值而排名該複數個相等成本最短路徑之各者；及該負載分配模組，其經組態以針對該邊緣節點及根自該複數個相等成本最短路徑選擇待用以分擔該邊緣節點對之間的資料訊務負載之該複數個相等成本最短路徑之一第一子組，且基於該路徑利用值而針對該邊緣節點及根自該複數個相等成本最短路徑選擇待用以與該第一子組分擔資料訊務負載之一第二子組。

在隨附圖式之圖中以實例方式且並非以限制方式來圖解說明本發明，其中相似參考指示相似元件。應注意，本揭示內容中之「一」或「一個」實施例之不同參考並不一定係相同實施例，且此等參考意味著至少一實施例。此外，當結合一實施例描述一特定特徵、結構或特性時，吾人認為此係熟習此項技術者結合無論是否明確描述的其他實施例來實現此等特徵、結構或特性之知識範圍內。

在下文描述中，陳述眾多特定細節。然而，應瞭解可在無此等特定細節之情況下實踐本發明之實施例。在其他示例中，未詳細展示熟知電路、結構及技術以免混淆對此描述之瞭解。然而，將明白熟習此項技術者可在無此等特定細節之情況下實踐本發明。運用所包含描述，一般技術者將能夠在無不適當實驗之情況下實施適當功能。

實施例包含一具有特定屬性之基本平局決勝程序，該等屬性包含：該程序將始終解為一單一路徑、不依賴於計算之次序或方向，及具有一局部性屬性，使得可在無須考量整個路徑之情況下解決所考量路徑之任何部分之一平局決勝。

可使用儲存於一或多個電子器件(例如，一終端站、一網路元件等)上且在一或多個電子器件上執行的程式碼及/或資料來實施在所描述圖中所展示的技術。此等電子器件使用非暫時性機器可讀或電腦可讀媒體(諸如非暫時性機器可讀或電腦可讀儲存媒體(例如，磁碟；光碟；隨機存取記憶體；唯讀記憶體；快閃記憶體器件；及相變記憶體))來儲存及(內部地及/或透過一網路與其他電子器件)通信程式碼及資料。此外，此等電子器件通常包含耦合至一或多個其他組件(諸如一或多個儲存器件、使用者輸入/輸出器件(例如，一鍵盤、一觸控螢幕及/或一顯示器)及網路連接)之一組一或多個處理器。該組處理器與其他組件之耦合通常透過一或多個匯流排及橋接器(亦稱為匯流排控制器)。該等儲存器件表示一或多個非暫時性機器可讀或電腦可讀儲存媒體及非暫時性機器可讀或電腦可讀通信媒體。因此，一給定電子器件之儲存器件通常儲存程式碼及/或資料以在該電子器件之該組一或多個處理器上執行。當然，可使用軟體、韌體及/或硬體之不同組合來實施本發明之一實施例之一或多個部分。

如本文所使用，一網路元件(例如，一路由器、交換器、橋接器等)係一件網路連接設備，包含通信地互連網路上之其他設備(例如，其他網路元件、終端站等)之硬體及軟體。一些網路元件係「多重服務網路元件」，其等提供支援多個網路連接功能(例如，路由、橋接、交換、層2聚合、會期邊界控制、多播及/或用戶管理)及/或提供支援多個應用服務(例如，資料、語音及視訊)。用戶終端站(例如，伺服器、工作站、膝上型電腦、掌上型電腦、行動電話、智慧型電話、多媒體電話、網際網路協定語音(VOIP)電話、可攜式媒體播放器、GPS單元、遊戲系統、視訊轉換器(STB)等)存取透過網際網路提供的內容/服務及/或網際網路上覆蓋的虛擬私人網路(VPN)上提供的內容/服務。內容及/或服務通常由屬於一服務或內容提供者之一或多個終端站(例如，伺服器終端站)或參與一同級間服務之終端站提供，且可包含公共網頁(免費內容、網上商店、搜尋服務等)、私人網頁(例如，提供電子郵件服務之以使用者名稱/密碼存取之網頁等)、VPN、IPTV上的企業網路等。用戶終端站通常耦合(例如，透過耦合至一存取網路(有線或無線)之用戶終端設備)至邊緣網路元件，該等邊緣網路元件耦合(例如，透過一或多個核心網路元件至其他邊緣網路元件)至其他終端站(例如，伺服器終端站)。

本發明之實施例提供一種避免將既有封包控制平面應用於此等類別的網路之先前技術之缺點之系統、網路及方法，包含：如由電氣及電子工程師協會(I4)在隔離股線有效容量中所指定的通則性跨矩樹之利用；多個跨矩樹之使用將不均等地使用容量，此歸因於在跨矩樹建構期間之路徑選擇之獨立本質；與相等成本多路徑組合的最短路徑路由將運作良好，只要不存在不對稱性(因此受一對稱網路中之任何網路故障影響)，但是將不保存橋接訊務之排序保證且不能保證乙太網路OAM訊框與單播訊務之間的共享命運，將在當前I4 802.1aq規範中所指定的演算法應用於一複雜型樹狀網路將跨所有鏈路不均等地分配訊務，且本文所描述的將負載散佈演算法應用於一複雜型樹狀網路之最短路徑轉遞將導致比實際所需計算更大量的計算。

本文所詳述的實施例藉由以下步驟而克服此等缺點：啟用動態訊務工程，諸如網路察覺負載散佈；跨拓撲資料庫之多次遍次追蹤路徑放置及平局決勝結果同時簡化一網路之拓撲資料庫之橫越。

負載分配程序取決於依具有相異屬性之一平局決勝演算法之形式之先前技術，使得對於任何兩點之間的一路徑，該負載分配程序將解為一單一對稱路徑而不管計算方向、計算次序或該路徑之任何子組之檢查，此種屬性經描述為「最短路徑的任何部分亦為最短路徑」。或換言之，沿著最短路徑之任何部分發生一平局決勝之處，該等節點將用相同選擇來解決路徑子組之平局決勝，結果係一最小成本最短路徑樹狀。本文將此稱為「共同演算法平局決勝」程序。

乙太網路允許經由使用VLAN來定義多個轉遞拓撲。此允許使用具有釘選根(pinned root)之多個所計算跨矩樹，該多個所計算跨矩樹之每一者係與一VLAN相關聯，使用下文所描述的負載散佈演算法而使其多變化。此經採用以解決高度規則性交換架構。與應用於跨矩樹之產生之負載散佈演算法組合的根之釘選應產生導致與所產生樹數目成比例之實質上減少計算之一「完美」負載分配。

若判定一給定跨矩樹之釘選根已故障，或具有由一相鄰故障所判定的不完整連接性，或發現最短路徑樹狀轉接指示交換階層中之多個故障呈現該根作為非最佳連接性之其他釘選根之一者，則針對特定連接性例項(connectivity instance)(VLAN)進行一「所有對」計算(其中每一邊緣器件係一根)，同時仍將負載散佈演算法應用於平局決勝，使得仍搜尋最閒置路徑。相較於一無故障網路，此需要更大量計算，但是避免與選定將具有最佳連接性之一新根相關聯的延遲，源自該根所選擇的路徑將不會使整體網路效能嚴重劣化。

在負載分配程序中，利用共同演算法平局決勝程序之拓撲資料庫之一初始遍次導致產生第一組樹狀。此係因為尚未記錄任何鏈路上之負載，因此所有相等成本路徑之利用將為平局決勝，其中相等成本之定義係最低度量與最低躍點數目之組合。初始步驟需要判定網路中之節點對之各者之間的最短路徑(或在一跨矩樹之情況下，在各節點與根之間)，且其中尋找任何兩個節點(或節點與根)之間的一個以上最短路徑，針對平局決勝利用共同演算法平局決勝程序以產生網路中之節點對之各者之間的一唯一路徑選擇，當完成考量所有節點時產生一或多個完整組的相等成本轉遞樹狀。

在一些實施例中，複雜型樹狀網路應用一修改版I4 802.1aq方法。I4 802.1aq具有兩種可能的操作模式。針對基於VLAN的網路之一第一模式稱為最短路徑橋接VID(SPBV)。針對基於MAC的網路之一第二模式稱為最短路徑橋接MAC(SPBM)。各ECT組通常與形成SPBV之一SPVID組之數個最短路徑VLAN識別符(SPVID)相關聯，及與SPBM之一骨幹VLAN識別符(B-VID)相關聯。SPBV網路及SPBM網路兩者可同時支援資料平面中之一個以上ECT組。

平局決勝程序之一些實施例利用相等成本路徑之排名，且因此能夠自此一排名選擇一個以上路徑。

當路徑選擇平局決勝經擴增以考量負載時，路徑選擇程序亦基於由先前平局決勝程序實際上所選擇作為對後續平局決勝之一輸入之路徑而記錄橫越各鏈路之最短路徑之數目。此值稱為「鏈路利用」值，可在後續計算中使用該值。鏈路利用值可係其等之最短路徑轉接鏈路之節點對之計數。在其他實施例中，存在更多複雜可能性以用於替代考量拓撲資料庫中之額外資訊之鏈路利用。

在透過資料庫以產生進一步組的路徑或樹狀之後續遍次中，藉由產生路徑利用值而首先將任何兩個節點之間的最短路徑組排名，該等路徑利用值可包含該等路徑之各者之按字典編纂次序排序的鏈路利用值，或僅僅路徑中之各鏈路之利用之總和，且接著基於該等路徑利用值而將所得路徑排名。

執行透過拓撲資料庫之額外遍次或反覆(每一根一次)，且在各反覆中，指派給一路徑中之各鏈路之鏈路利用值係轉接在透過該拓撲資料庫之所有先前遍次期間所選擇的鏈路之最短路徑之累加量測或指示。

圖1係一例示性網路拓撲之一實施例之一圖。該例示性網路拓撲包含具有對應節點識別符之六個節點1至6。尚未判定該網路拓撲之任何路徑對。利用使用節點識別符而按字典編纂次序將路徑排名之一例示性共同演算法平局決勝程序。檢閱節點1與節點4之間的一組相等成本路徑將產生以下排名組的路徑識別符(應注意，已按字典編纂次序將該等路徑識別符排序使得節點識別符並非出現為一轉接清單)：

1-2-3-4

1-2-4-6

1-3-4-5

1-4-5-6

在選擇最低排名路徑之一實施例中，平局決勝程序之此初始應用將選1-2-3-4作為此等節點之間的低排名路徑。為了此實例之簡化，在判定網路之路徑計數時僅考量節點對1及節點對4，而非來自所有六個節點之最短路徑樹狀。在此實例中，接著對所選擇鏈路路徑中之鏈路各指派一路徑對計數1。對於透過拓撲資料庫之次遍次，負載分配程序將得出與若干路徑ID之各者相關聯的鏈路負載之下列按字典編纂次序排序：

用於路徑1-2-4-6之負載0,1,1

用於路徑1-3-4-5之負載0,1,1

用於路徑1-2-3-4之負載1,1,1

用於路徑1-4-5-6之負載1,1,1

鏈路負載之按字典編纂次序排序將導致路徑1-2-4-6與路徑1-3-4-5之一平局決勝，如各者係0-1-1。相似地，鏈路負載總和將得出：

用於路徑1-2-4-6之負載2

用於路徑1-3-4-5之負載2

用於路徑1-2-3-4之負載3

用於路徑1-4-5-6之負載3

因此，對於兩種排名類型，採用按字典編纂次序排序的路徑ID之次級平局決勝法。在兩者情況下，自此次級平局決勝法選擇低路徑(1-2-4-6)。

儘管實例僅自檢閱一路徑對考量鏈路利用，但是熟習此項技術者將瞭解繼一單一資料庫遍次之後存在潛在訊務分配之一綜合視野，且後續遍次之平局決勝將固有地避免最大限度，並因此跨網路更均等地分配負載。由於效果係累加的，因此負載分配之修改程度隨所考慮之各新路徑組按比例減少。

在上文實例中，描述將產生跨一網路所應用的一致結果之兩種路徑負載排名技術。在其他實施例中，可利用排名之額外或替代方法。例如，可利用亦具有一局部性性質(最低負載路徑之任何部分亦係當與共同演算法平局決勝程序組合時之最低負載路徑)之負載排名之其他機制及此等排名法之組合。

此外，在上文實例中，藉由轉接一鏈路之最短路徑之計數來表示鏈路利用。可能利用用於表示更詳細及增加精確度之鏈路利用之眾多變動。在過濾資料庫及拓撲資料庫內存在足夠資訊，使得網路中之各節點可判定使用一特定最短路徑之服務例項之數目。可基於此利用而判定一鏈路利用值以適當地加權對應鏈路。藉由增加由過濾或拓撲資料庫所儲存的資料，每項服務之額外頻寬設定檔資訊可用於在負載分配計算中使用。在另一實施例中，僅利用一路徑中之鏈路組之最小鏈路度量作為可在節點對之間所提供的最大負載之表示。在其他實施例中，可利用相似度量或更詳細度量。

雖然一「所有對」計算需要大量資源，且此方法試圖最小化或消除一無故障網路中之所有對之需要，但是可能知道(例如)在多個根故障之情況下需要一個以上所有對計算。在此情況下可執行一最佳化，其中可最佳化透過資料庫之最後遍次作為該網路之一更新，無需網路負載模型化，此係因為將不存在透過該資料庫之進一步遍次。在一實施例中，除拓撲資料庫之最後遍次之外的所有遍次涉及網路中之所有節點對之間的最短路徑之一「所有對」計算。歸因於複雜度，此可在計算上昂貴的。然而，負載分配程序無需透過拓撲資料庫之數量可觀的遍次以產生可量測益處，且因此負載分配程序提供使此等「所有對」計算合理化之網路資源分配之有價值整體改良。

由於方法係有效連接導向的，且挑出最小負載鏈路，所以由一故障所致的訊務矩陣之任何擾動易於被隔離且本質上為局部的。一旦已旁通網路中之一阻塞，則負載分配程序將易於將資料訊務導回至原始分配。

負載平衡程序及系統亦使一管理者能夠以一負載因數「預先加偏差」一鏈路，此將具有自特定鏈路偏移一些負載之效果。此允許用於操控路由行為之更細微層次(相較於簡單度量修改)，更簡單管理(相較於多拓撲路由)，且排除鏈路虛擬化(諸如根據RFC 4206之MPLS「轉遞相鄰」)之需要以人為地提高網狀密度，此係在先前負載平衡系統中完成。對於兩階段排序，何時應用鏈路偏差之時序係重要的。通常僅考量第二反覆及後續反覆。在其中在一第一反覆中所有相等成本路徑之利用係平局決勝(零)的一實施中，立即應用偏差因數將易於用由該第一反覆引起的朝向其他路徑之偏差而自該鏈路偏移所有負載。

圖2圖解說明根據一實施例之一例示性複雜型樹狀網路拓撲。如前文所詳述，複雜型樹狀網路之一常見使用係在資料中心空間中進行。此實例係一通則性複雜型樹狀(GFT)，其具有一高度3，每一節點具有3個子代，且每一節點具有3個父代(GFT(3,3,3))。在此圖解說明中，存在九(9)個根節點(19、25、2、7、26、14、20、27及5)、九(9)個第二節點(4、22、8、24、3、23、11、18及15)及九(9)個第三層節點(9、1、17、12、16、6、21、10及13)。在該等根節點與第二層節點之間係頂部層鏈路之一集合。相似地，在該等第二層節點之間係第二層鏈路之一集合。該等第三層節點耦合至機頂式(TOR)交換器。此複雜型樹狀之各層級係由三個節點之叢集組成。例如，根層具有叢集(19,25,2)、(7,26,14)及(20,27,5)。

在此實例中，且在對應拓撲中，根係相異的，此係因為對於自完全到達此一網路階層中之所有邊緣之一根之一跨矩樹，一樹狀不轉接另一根。拓撲之產生係在計算一根樹狀時且當此演算法遭遇路徑經修剪之另一根時使用一Dijkstra演算法。在一些實施例中，若在轉接一根時不存在一終止或修剪計算，則當一給定根之一所得樹狀在其中具有另一根時，將利用一「所有對」最短路徑解決方法。例如，在拓撲中不存在自根節點19行進至根節點25之根。此外，在一些實施例中，更接近一根之一路徑不包含於拓撲中，其等為從未碰到一葉之路徑。換言之，若節點有效地將根轉接至葉或將葉轉接至葉，則該等節點才包含於拓撲中。該等節點之各者(根或葉)具有為至少一過濾資料庫(FDB)之一部分之一MAC位址。具有一服務例項識別符(I-SID)之葉提供負載給該拓撲。

圖3係實施負載平衡之一複雜型樹狀網路節點之一實施例之一圖，該實施例係基於使用鏈路利用作為對平局決勝機制之回饋。在一些實施例中，複雜型樹狀網路邊緣節點301包含一過濾資料庫(FDB)315、一拓撲資料庫317、一入埠模組303、一出埠模組305及一控制處理器307。該入埠模組303處置由該複雜型樹狀網路邊緣節點301依實體鏈路級及資料鏈路級所接收的資料封包之處理。該出埠模組305處置由該複雜型樹狀網路節點301依實體鏈路級及資料鏈路級所傳輸的資料封包之處理。該控制處理器307處置資料訊務之路由、轉遞及更高級處理。該控制處理器307可執行或包含一最短路徑搜尋模組309、負載分配模組313及排序模組311。

該過濾資料庫315包含具有媒體存取控制(MAC)位址、VLAN及對應埠識別符之一源位址表格。由該控制處理器307利用此資訊以判定如何處置一資料封包，即，應轉遞資料封包至哪個網路介面。

該拓撲資料庫317儲存一網路模型或與網路元件301所連接的複雜型網路之拓撲之相似表示。可用唯一節點識別符(諸如節點迴環位址及具有節點識別符對之鏈路)來識別節點。熟習此項技術者將瞭解此網路模型表示係以實例方式提供，且可運用負載分配方法及系統來利用網路拓撲之其他表示。

一最短路徑搜尋模組309係該控制處理器307之一組件或由該控制處理器307所執行的一模組。該最短路徑搜尋模組309橫越該拓撲資料庫307以判定該網路拓撲中之任何兩個節點之間的最短路徑。若在網路中存在具有兩個節點之間的一相等距離或成本之多個路徑且此等多個路徑係所有最短路徑，則提供此等多個相等成本路徑給該排序模組311及該負載分配模組313以判定利用哪個路徑。在依需要最短路徑轉接根之一跨矩樹之形式連接之情況下或在由一「所有對」計算引起的多個樹狀情況下，該最短路徑搜尋模組309可判定網路拓撲中之所有節點之間的最短路徑。

該最短路徑搜尋模組309提供一組最短路徑給各節點對，且該負載分配模組313選擇該等最短路徑之一子組並更新該過濾資料庫315以包含實施橫越該複雜型樹狀網路節點301之最短路徑之各者之該子組之一項目。

繼第一遍次之後，該最短路徑搜尋模組309計算由透過拓撲資料庫之第一遍次引起的網路拓撲中之各鏈路之鏈路利用值。該鏈路利用值係橫越一給定鏈路之所選擇最短路徑之數目之一計數。計算並記錄各鏈路之一分別的鏈路利用值。利用此等鏈路利用值以產生一路徑利用值，繼而利用該路徑利用值以加偏差於路徑之排名以用於透過該拓撲資料庫317之後續遍次，其中初始平局決勝法係按字典編纂次序排序的鏈路利用值之排名清單或鏈路利用值之總和(即，依路徑利用值之形式)，且其中此導致一平局決勝，使用共同演算法平局決勝程序作為一後續平局決勝法。

該排序模組311係該控制處理器307之一組件或由該控制處理器307所執行的一模組。該排序模組311藉由基於第二遍次及後續遍次中之路徑利用值而執行相等成本樹狀之負載組之一初始排名而協助該負載分配模組313。

對於具有多個相等成本路徑之各節點對，該排序模組311基於路徑利用值而產生此等相等成本路徑之各者之一排名，且該負載分配模組313自此排名選擇至少一路徑。在其他實施例中，選擇最高排名及最低排名路徑以劃分對應節點對之間的負載。該負載分配模組313係該控制處理器307之一組件或由該控制處理器307所執行的一模組。

可透過任何數目次遍次或反覆重複此程序，其中更新鏈路利用值至轉接其之一組最短路徑之一累積指示。在一複雜型樹狀之情況下，通常每一根執行該程序一次。亦與鏈路利用值變更一致地更新該等路徑利用值。此程序之有用假訊係路徑變化之標準偏差通常隨著各反覆減小，但是隨著路徑組數目增加，各額外組之整體影響按比例減小，此指示使用兩個或三個以上遍次或反覆不值得用以產生之計算努力或用以具現化之轉遞狀態。遍次或反覆之數目係由一管理者指明且經組態全網路。

圖4圖解說明支援一複雜型樹狀之自動化網路察覺負載散佈之負載分配之一方法之一實施例。在401處，鏈路利用值設定為零。如前文所詳述，此係節點對(其等之最短路徑轉接鏈路)之計數。

在403處執行一根節點之跨矩樹計算。如前文所提及，利用一負載指派技術來產生來自各可用根之一樹狀以確保樹狀多樣化。在一實施例中，對於藉由暱稱自最低至最高排名的所有指明根，計算一樹狀並指示各鏈路上之負載。通常可在所有節點中實施的任何排名機制可替代基於暱稱的排名。

為了便於瞭解，此描述中之實例具有相同負載值。跨矩樹計算開始於最低排名(編號)根節點。在上文實例中，此節點係根節點2。

圖5圖解說明所計算跨矩樹之一實例。依開始於最低編號根節點(在此示例中係2)之次序計算此等樹狀。接著計算根節點5之跨矩樹等。對於根節點2，為樹狀之一部分之第一路徑係2->4->1。第二層節點4係根節點2可在第二層之第一叢集中存取之最低根節點。自第二層節點4，可讀取的最低根節點係第三層節點1。根節點2之第二路徑係2->24->6。根節點2可在第二叢集中存取之最低編號節點係第二層節點24。自此，第三層中之最低節點係6。層2至第三層之最終路徑係2->11->10。自節點1、6及10至TOR交換器之唯一路徑將完成路徑組。此等路徑組成根節點2之跨矩樹。

然而，隨著已自先前遍次記錄轉接各鏈路之路徑數目並進入後續遍次之平局決勝，針對開始於根節點5之所有其他根節點產生相似樹狀，自然將避免已使用的路徑。事實上，在一規則Clos或複雜型樹狀中，依給定階層級之鏈路數目將頻繁地對應於根數目，因此將對應於跨網路之路徑數目。因此，在此情況下，將由恰好一個樹狀使用各鏈路。

此簡單化模型假定在一所謂的「重要地帶」中不存在故障，然而，若在此地帶中存在一故障，則適用特殊規則。圖6圖解說明根據一實施例之複雜型樹狀中之一區域(若存在一單一故障，則可自此區域恢復一根計算樹)。一旦一封包經過交換器之第二層，則封包足夠接近跨矩樹應處理任何故障之葉。例如，若節點9出故障，則可使用節點1及節點17以抵達一叢集中之一端點。對於一複雜型樹狀，針對假定一跨矩樹能夠自此恢復之區域中之任何故障，計算來自具有權重之根之跨矩樹係具有權重之所有對的最短路徑之等效物。

圖7圖解說明根據一實施例之複雜型樹狀中之一區域(若存在一故障，則不能自此區域恢復一根計算樹)。圖解說明的「重要地帶」之故障之覆蓋區擴散通過整個網路且不能被隔離。

圖8圖解說明數個故障集體將切斷來自一給定根之網路之一部分之一案例。在此情況下，鏈路12至24、16至24及6至24(用虛線圖解說明)之故障切斷來自根2、19及25之一節點(諸如12)。此係另一故障之一實例，若當遭遇一根時演算法終止，則不能自此恢復一計算樹，且若演算法允許轉接一根，則該計算樹將係非最佳連接性。

圖9圖解說明當偵測一故障時之跨矩樹計算之一方法之一實施例。在901處偵測一或多個節點或鏈路之故障。在903處判定該故障是否影響一或多個根。

若一故障僅影響一根，則在905處針對所有根(除受影響根之外)產生跨矩樹。此等跨矩樹係「所有對」。對於受影響根，產生一「一些對」最短路徑(考量不具有所有路徑之通則性網狀)。此發現具有最短路徑之下一樹狀。例如，若損失節點19，則為了自9->10行進，路徑係9->22->7->18->10。單一根故障之實例包含一根節點(諸如根節點19)之損失或者一頂層鏈路或僅與一根節點(諸如4->19、24->19或11->19)相關聯的鏈路之一損失。在一些實施例中，若根計數大於所處理根之數目之計數，則知道受影響節點。

若一故障影響多個根，則在907處產生跨矩樹(排除受影響根之外)，且如下般處理該等受影響根。依自最低至最高次序放置該等受影響根。對於除最高受影響根之外的所有根，產生使用「所有對」之跨矩樹。對於該最高受影響根(最後根)，產生一「一些對」最短路徑。在一「一些對」計算中，不考量複雜型樹狀網路中之根等效物之整組路徑(然而，該等路徑用於一「所有對」計算)。多個根故障之實例包含第二層節點(諸如節點4)之損失或影響多個根節點之故障鏈路(例如線路8->20及線路5->15之故障，其中根節點20及根節點5兩者受影響)。

在405處產生其跨矩樹經計算之根節點之一FDB。在一些實施例中，一FDB中之項目包含樹狀中之節點之MAC位址及該等節點/路徑之埠指示。跨矩樹自身可儲存於根節點之一拓撲資料庫中。

在407處判定此節點是否係最後根節點。若是，則所有根已映射其等之拓撲(藉此產生一拓撲資料庫)並產生FDB。若否，則在409處添加作為一前置項之當前拓撲之鏈路利用至用於平局決勝之鏈路識別符。先前已詳述鏈路利用之使用。

如下係不明確最佳化計算但是最小化網路上之任何鏈路故障之擾動之一不同實施例。依次序將根排名並處理根。其中知道已在一跨矩樹不能自此恢復或判定一跨矩樹轉接另一根之區域中發生一故障，在前進至下一根之前，一「所有對」計算替代跨矩樹計算。此最小化網路上之擾動之原因係將不干擾該網路之未受影響部分中之負載之應用次序，因此發生訊務矩陣之一最小重新配置。只有在排名中之最後根需要一所有對計算時才可應用所要計算之一些最佳化。

圖10圖解說明基於使用鏈路利用作為至一複雜型樹狀網路中之相等成本路徑之平局決勝機制中之回饋而啟用自動化網路察覺負載散佈之負載分配之一方法之一實施例。在一實施例中，可在初始一複雜型樹狀網路節點(諸如一複雜型樹狀節點)時、當對連接至該節點之複雜型樹狀網路通知一拓撲變更時、依定義間隔或在相似事件或時間點運行該方法。在一些實施例中，將一拓撲資料庫維持於該複雜型樹狀網路中之各節點作為區別負載分配方法的一個別方法，且假定為該複雜型樹狀網路之真實拓撲之一當前表示。

在一實施例中，此方法開始於在1001處判定是否應產生一跨矩樹。如前文所詳述，當在複雜型樹狀網路中不存在故障時產生跨矩樹。取決於該(等)故障，可針對一特定根利用一替代演算法，如上文所詳述。

在1002處，判定複雜型樹狀網路中之一邊緣節點與該複雜型樹狀網路中之另一邊緣節點之間的一組最短路徑。該組最短路徑係個別路徑或具有各邊緣節點(作為其之各自樹狀之一根)之樹狀組。在1003處，進行一檢查以判定是否存在多個最短路徑，即，是否存在該等邊緣節點之間的最短路徑之一平局決勝。若邊緣節點對具有介於其等之間的一單一最短路徑，則在1006處更新過濾資料庫以反映最短路徑。在一實施例中，更新該過濾資料庫以反映橫越維持其之邊緣節點之各路徑。複雜型樹狀網路中之各邊緣節點執行此相同計算。負載分配方法係判定性的，且因此各邊緣節點將計算相同結果。具有一單一最短路徑之邊緣節點對之進一步處理通常係非必要的，除非存在一拓撲變更。

若邊緣節點對不具有通常以躍點之最低數目或最低成本所量測的一唯一最短路徑，則在1005處使用共同演算法平局決勝方法以允許選擇一唯一最短路徑或最短路徑組。繼選擇路徑之後，該等路徑係儲存於過濾資料庫中或經利用以更新該過濾資料庫，使得該等所有節點對具有介於所選擇路徑之間的至少一路徑。

繼選擇最短路徑之後，在1007處進行一檢查以判定所有節點對是否已選擇一路徑。若進一步節點對未選擇一路徑或路徑組，則方法藉由在1009處選擇下一節點對而繼續。若所有節點對已選擇一最短路徑，則該方法繼續至一第二遍次或反覆。

計算各鏈路之鏈路利用值作為已在310處完成所有邊緣節點對之過濾資料庫之更新之一結果，或繼已在310處完成所有邊緣節點對之過濾資料庫之更新之後計算各鏈路之鏈路利用值。該鏈路利用值係橫越複雜型樹狀網路之一拓撲中之各對應鏈路之路徑數目之一計數。計算該複雜型樹狀網路中之各鏈路之一鏈路利用值。該鏈路利用值提供使用程度之一指示，以及若將形成額外路徑所應避免複雜型樹狀網路中之潛在障礙物的一指示。

對於最短路徑之後續產生，最初藉由產生路徑利用值作為按字典編纂次序排序清單(其中該等路徑利用值包含鏈路利用值)或該等鏈路利用值之總和而執行平局決勝。所有節點方法藉由選擇一節點並在1011處判定在節點對與根之間的一組最短路徑而再次開始。此方法包含基於對應於各路徑之鏈路利用值而在1013處產生路徑利用值。該等路徑利用值可表示各路徑之整體負載(諸如該等鏈路利用值之一總和)，或可係突顯各路徑中之最大或最小負載鏈路之鏈路利用值之一按字典編纂次序排序配置或相似配置及表示。在1015處藉由最短路徑之路徑利用值而將最短路徑排名。進行一檢查以在1017處判定在具有相等路徑利用值之一節點與根之間是否存在一個以上最短路徑。應注意，雖然平局決勝應用於在一節點與根之間的跨矩樹，但是在一實施例中實際鏈路利用計數需要考量所有節點對(此係因為不是所有節點對節點連接性皆轉接一根)，使得當一起使用跨矩樹及所有對最短路徑操作時，存在鏈路利用之一適當比較計數。

在存在一唯一最低負載路徑之情況下，可在不進一步處理所有路徑排名之情況下選擇該唯一最低負載路徑。當存在一個以上相同負載(即，相同路徑利用值)之最短路徑時，接著在1021處使用共同演算法平局決勝方法以執行最短路徑之最低負載組之此子組中之路徑選擇。排名考量鏈路利用值，使得最可能選擇具有最低或最少使用鏈路之路徑，此考量複雜型樹狀網路之整體負載，且因此不僅考量該複雜型樹狀網路中之一下一躍點，使得貫穿該複雜型樹狀網路之路由更平衡。接著在1018處更新過濾資料庫以反映所選擇路徑。

接著進行一檢查以在1019處判定所有節點是否具有至根之一所選擇最短路徑或最短路徑組。若否，則該方法藉由在1023處選擇下一節點而繼續。若已計算所有節點，則進行一檢查以在1025處判定是否需要額外跨矩樹。此通常係經由根指明程序(每根一跨矩樹係正常操作)而自動化。若無需額外跨矩樹(此可係由一複雜型樹狀網路管理者設定或相似地判定的一參數)，則負載分配方法結束。若需要額外跨矩樹，則該方法繼續相似於第二遍次之額外遍次，但是以先前反覆中所判定的鏈路利用為基礎。此方法可具有任何數目個反覆。

應明白，圍繞交換之頂層最佳化上文架構之實施例。損失頂層連接性之任何部分切斷該根之網路之一些部分。當損失頂層連接性之一些部分時，不能僅是選定新根。較佳地，進一步再劃分負載。當損失節點連接性時可重新計算拓撲等。

本發明之實施例之若干優點之一者係針對具有N個頂級節點之一M個節點網路(使得N<<M)，此使計算複雜度自NM² logM降低至NMlogM，且在一根故障之情況下，隨著無故障根計算為跨矩樹及故障根計算為一通則性網狀解決方法，複雜度變為(N-1)MlogM+M² logM。

因此，已描述一種考量鏈路使用之一複雜型樹狀網路中之負載分配之方法、系統及裝置。應瞭解上文描述意欲於圖解說明性的且非限制性的。當閱讀及瞭解上文描述時，許多其他實施例將對熟習此項技術者顯而易見。因此，應參考隨附申請專利範圍判定本發明之範疇連同此申請專利範圍所授權的等效物之完整範疇。

1．．．節點

2．．．節點

3．．．節點

4．．．節點

5．．．節點

6．．．節點

301．．．複雜型樹狀網路邊緣節點

303．．．入埠模組

305．．．出埠模組

307．．．控制處理器

309．．．最短路徑搜尋模組

311．．．排序模組

313．．．負載分配模組

315．．．過濾資料庫

317．．．拓撲資料庫

圖1係一網路拓撲之一實例之一圖；

圖2係圖解說明根據一實施例之一例示性複雜型樹狀網路拓撲；

圖3實施負載平衡之一複雜型樹狀網路節點之一實施例之一圖，該實施例係基於使用鏈路利用作為至平局決勝機制中之回饋；

圖4圖解說明支援一複雜型樹狀之自動化網路察覺負載散佈之負載分配之一方法之一實施例；

圖5圖解說明所計算跨矩樹之一實例；

圖6圖解說明根據一實施例之該複雜型樹狀中之一區域(若存在一單一故障，則可自此區域恢復一根計算樹)；

圖7圖解說明根據一實施例之該複雜型樹狀中之一區域(若存在一故障，則一根計算樹不能自此區域恢復)；

圖8圖解說明數個故障集體將切斷來自一給定根之該網路之一部分之一案例；

圖9圖解說明當偵測一故障時之跨矩樹計算之一方法之一實施例；及

圖10圖解說明基於使用鏈路利用作為至一複雜型樹狀網路中之相等成本路徑之平局決勝機制中之回饋而啟用自動化網路察覺負載散佈之負載分配之一方法之一實施例。