TW200828887A - System and method for networking computer clusters - Google Patents

Description

200828887 九、發明說明： 【發^日月所屬域^】 發明領域 本發明係相關於電腦系統，更特定來說，係相關於具 有一增強的可縮放性與頻寬之電腦網路叢集。 【先前技術】 發明背景 用於高效能計算之計算需求持續在成長。日常用處理 器已變得足夠強大來適用某些問題，但為解決最大部分的 1〇問題，時常必須擴大到數千甚至數萬個處理器。然而，將 這些處理器互連來形成網路式電腦叢集網路之傳統方法， 因為種種原因是有問題的。 c發明内容】 發明概要 15 20 在某些實施例中，-電腦叢集網路包括多個子陣列， 每個子陣列包含多個網路節點，每個網路節點可操作來安 排路由供傳送、發送與接收訊息。該電腦轉叢集亦包括 多個核心交換器，每個核心交換器通訊性地域到至少一 :固:=交換器，且每個核心交換器通訊性地把該等多 個子陣列中之至少兩個子陣列耦接在一起。 之-方例巾n塌路連結—電腦叢集系統 之-方法c括通訊性_接多個子陣列中之個別某些子陣 列之多個網路節點，每個網路節點可操作 送、發送與接收訊息。該方法亦包括透過至少 5 200828887 換器通訊性地輕接該等多個子陣列中之至少兩個 本發明之特定實施例可提供一或多個技術優點。一些 實施例之教示識別出支援高度可縮放電腦叢集網路之網ς 組織結構架構射絲於機架上的實絲樣。各種實施例 :另外支k使與傳統網目拓樸相襲之網料量限制降至 最小的—增加織。在-些實施财，藉由具有在網路節 =間德㈣連體以及配置於遠賴路節點間的通訊路徑

10 15

之父換器數量減少效果的網路組織結構，靜 與可縮放性衫較上射現。糾，1實_可= 於網路節點之子_的網路組織結構之實施態樣更實用。 本發明之某些實施例可能提供一些、全部或全 ^點。但某些實施例可能提供—或多個其他的技術優點: =此技者從本文所包括的圖式、敘述與切專利範圍可 谷易地明顯看出—或多個該等其他技術優點。 圖式簡單說明 _為:=其::有更完整的τ解’— 第1圖係例示電腦叢集網路的一部分 之 之一方塊圖 範例實施例 20第2圖例示第1圖該電腦叢集網路中網路節點之-的一 實施例之一方塊圖； 第3圖例不第1圖該電腦叢集網路之_部分的一實施例 之一方塊圖，該實關具有於—6><6二維子㈣中互連之第 2圖之網路節點中的36個節點； 6 200828887 第4圖例示第1圖該電腦叢集網路之一部分的一實施例 之一方塊圖，該實施例具有由核心交換器互連之第3圖中之 多個該等子陣列； 第5圖例示第1圖該電腦叢集網路之一部分的一實施例 5 之一方塊圖，該實施例具有配置在一單一設備機架中的一 子陣列之X軸維度； 第6圖例示第4圖之該電腦叢集網路之一部分的一實施 例之一方塊圖，該實施例具有配置在多個設備機架中的一 子陣列之X軸維度； 10 第7圖例示第4圖之該電腦叢集網路的一實施例之一方 塊圖，該實施例具有將該等多個設備機架互連以及延伸通 過該等多個設備機架之Y軸連接；以及 第8圖例示第1圖之該電腦叢集網路之一部分的一實施 例之一方塊圖，該實施例具有定置在第6圖與第7圖所示個 15 別之該等多個電腦機架内之第4圖的每個子陣列。 t實施方式2 較佳實施例之詳細說明 依據本發明之教示，提供了具有一經改良網路組織結 構之一電腦叢集網路以及供其所用之一方法。本發明之實 20 施例與其優點藉由參照附圖之第1圖至第8圖而獲最佳了 解，相同的數字用於各圖中相似與相應的部分。貫穿本文 所指明之特定實例僅供舉例說明之用，而不欲限制本揭露 之範圍。此外，在第1圖至第8圖之繪示内容非必然按比例 繪製。 7 200828887 第1圖係例不一電腦叢集網路100的-部分之一範例與 施例之一方塊圖。命許堂隹4 I刀之耗例貝 可縮放且具成本效益的組 恶中支援高頻寬操作。

如η下文參照第2圖進一步敛述地，網路節點脱大致 ^不任何可操作來藉由安排路由供傳送、發送及/或接收 而與網路組織結獅4通訊之適#裝置。舉例來說，網 :點102可包括交換器、處理器、記憶體、輪入_輸出、 與别述褒置之任何組合。網路組織結構104大體上表示能夠 2送音訊、視訊'信號、資料、訊息或前述項目之任何組 合的任何互連純。-般來說，網路輯結構1G4包括多個 網路連結元件與連接器，它們一起建立網路節點102間之通 15訊路徑。如同將要顯示的，在不同的實施例中，網路組織 結構104可包括由短_線所互連之多個交換器，從而加強 頻率與頻寬。 隨著電腦效能提高，支援較高處理速度所需之網路效 能亦隨之提高。另外，為了解決問題的最大部分，一些電 20腦叢集網路擴大到含有數千及甚至數萬個處理器。在許多 ί月况下，傳統的網路組織結構架構皆不適當地面對頻寬與 可縮放性問題。例如，許多傳統網路組織結構利用因電纜 長度彳艮長而通常花費過高且具有限效能之肥樹狀架構。利 用網目拓樸之其他傳統網路組織結構可藉由跨越該等網路 200828887 . $點刀心換功⑨來限制電規長度。然*，部分由於配置 於不同通λ路u之父換器増加，如此的網目拓樸結構血 塑地會具有網路訊務限制。因此，本發明中-些實施例i 教不識別支板T%度可縮放的電腦叢集網路之網路組織結構 • 5 H)4的架構與可安裝於機架上的實施態樣。各種不同的實施 . 财額外支援—增加的頻寬，該頻寬使和傳統網目拓樸相 關聯之網路訊務限制降至最小。如同將要顯示的，在某些 貝批例中’該增強之頻寬與可縮放性部分地由網路組織結 • _4實現，該網路組織結構m具有網路節點1〇2間之短的 10 .互連體'與配置於遠隔網路節點1〇2間的通訊路徑中之交換 器數量減少之效果。此外，某些實施例可使基於網路節點 102的子陣狀網路組織結構綱之實施態樣更為實用。針 對-種一維子陣列所組配的—網路節點脱之—範例實施 例係在第2圖中例示。 15 帛2圖例示第1圖該電腦叢集網路100中網路節點102之 的貝她例之一方塊圖。在此特定的實施例中，網路節 _ 點102大抵包括耦接至一交換器108之多個客戶機1〇6，該交 換器108有外部介面110、112、114與116, ^便在一個二維 網路組織結構104巾㈣。交換器刚大體表示能安排路由 20供傳送音訊、視訊、信號、資料、訊息或前述項目之任何 組合的任何裝置。客戶機106大體表示能安排路由供傳送、 傳達及/或接收一訊息之任何裝置。舉例來說，客戶機1〇6 可包括父換器、處理器、記憶體、輸入·輸出與前述裝置之 任何組合。在此特定的實施例中，客戶機1〇6係耦接至交換 9 200828887 器108之日常用電腦i〇6。交換器108之該等外部介面丨⑺、 112、114與116耦接至可操作來分別支援一個二維子陣列之 -X、+X、·Υ、+Y方向的通訊之個別連接器。各種其他實施 例可支援具有三或更多維之網路組織結構。例如， 谷種其

5 他實施例之一個三維網路節點可具有可操作來支援χ ^、小领+2方向軌之六個介面。有較高維度能 力之網路在從該網路節點102提供之介面的數量上需要適 當增加。配置在一個二維子陣列中之一網路節點之一範 例實施例係在第3圖中例示。 10 第3圖例示第1圖該電腦叢集網路1〇〇之—部分的一實 施例之一方塊圖，該實施例具有於一 12χ6二維子陣列3〇〇 = 互連的36個第2圖之網路節點102。在此特定的實施例中， 每個網路節點1G2_至每個實體上最近或鄰近之網路節 點1〇2 ’而導致非常短的網路組織結構1〇4互連。例如，網 15路節點胳分別透過介面11〇、112、114與ιΐ6及相關聯連 接器輕接至網路節點102d、1〇2e、贿與响。在不同的 實施例中，短互連可用可操作來支援非常高資料率的廉價 銅線來實施。 在此特定的貝知例中，介於網路節點⑽谈】間之 通訊路徑包括最大數目之供子陣列3咖之中間網路節點 102或交财繼段。在本文巾，「交換中繼段」_詞表示透 20 過一特定交卿⑽傳達-訊息。舉例來說，在此特定的實 施例中，從該等曰常用電腦中之—個電腦i 〇 6 a至該等曰常 用电知中之-個電腦106b之—訊息必須經過或躍過與個別 10 200828887 網路節點102關聯之17個交換器108。在+X方向中，該交換 中繼段包括該等網路節點102中之12個，包括網路節點1〇2& 之交換器108。在+Y方向中，該中繼段包括五個其他網路 節點102，其包括與網路節點i〇2b關聯之交換器1〇8。隨著 5電腦叢集1〇〇大小的增加，不同通訊路徑之中間網路節點 102與個別交換中繼段之數目可能達至延遲與壅塞影響總 體效能之程度。 種種其他的實施例藉由為每個子陣列使用例如一個三 維架構，可能減少交換中繼段之最大數量。繼續說明，含 10 576個網路節點1〇2之一個二維子陣列之角落間之交換中繼 段之最大數量係24+23=47個中繼段。組配成8x8x9子陣列之 一個三維架構將最大中繼段數量降低成8+7+7=22個中繼 段。如同以下進一步所解釋的，若該陣列摺疊成一個二維 圓％面’中繼段之最大數量會是13+12=25個。摺疊該子陣 15列成一個組配為一個8x8x9的陣列之三維圓環面，將減少中 繼段之最大數量為5+4+5=14個。 龟細叢集網路100可包括多個子陣列3〇〇。在不同的實 靶例中，一個子陣列3〇〇之該等網路節點1〇2可獲操作來與 另一個子陣列300之該等網路節點1〇2通訊。電腦叢集網路 20 1〇0的子陣列300之互連可由種種網路組織結構104的任意 者所完成。添加了可操作來將多維子陣列互連起來的一維 度之等效物的一網路組織結構1〇4之一示範實施例，例示於 第4圖中。 第4圖例示第丨圖該電腦叢集網路1〇〇之一部分的一實 11 200828887 . 細*例之一方塊圖，該實施例具有由核心交換器410互連之多 個第3圖之該子陣列3〇〇。在本文與附隨之申請專利範圍 中’「核心父換器」一詞表示將一子陣列與至少一個其他的 子陣列互連之一交換器。在此特定的實施例中，電腦叢集 5網路100大體包括分割為8個分離的6x12子陣列（例如子陣 列300a與300b)之576個網路節點（例如網路節點1〇2&、 l〇2h、膨與102j)，每個子陣列具有連結至一組u個8蜂核 心交換器410之一邊緣。種種其他實施例可替換地使用三維 ^ +陣列。此類的實施例中，每個子陣列可減至-或多個 1〇核心交換器，例如沿著該子陣列之兩個直角邊緣。相較於 傳統二維網路組織結構，此特定的實施例使交換中繼段之 最大數目減少幾乎二的一個因數。繼續說明，網路節點1〇2& 與102h之日常用電腦106間的通訊包括24個交換中繼段，即 為此範例組態之最大值。該通訊路徑可包括γ軸的全部長度 15 (穿過12個網路節點102)、Χ軸的餘數（穿過11個網路節點 _ 102)、以及穿過該等8埠核心交換器410之一者。 • 各種其他實施例甚至可進一步減少交換中繼段之最大 - 數目。舉例而言，藉由把沿χ軸的一邊緣所配置之每個網路 節點與配置在對立邊緣上之個別網路節點互連（例如互連 20客戶機節點i〇2a和102i等等），每個子陣列300可遭摺疊成一 個二維圓環面。此一組態使交換中繼段的最大數目減少為 6+11 + 1 = 18個。此外，可沿γ軸摺疊每個子陣列3〇〇，例如 藉由把沿著二個子陣列之γ軸的一邊緣所配置之該等網路 節點互連起來（如互連l〇2a和l〇2j等等）。在此類圓環面組 12 200828887 • 態中，由於沿著χ軸與γ軸而摺疊之連接，交換中繼段之最 大數目係6+6+1 = 13個，此數目相較於藉由以一傳統三維圓 環面結構安排全部網路節點102而達成之最大數目，係中繼 &之一較大程度之減少。一電腦叢集網路100如何配合實際 _ 5系統的機械上限制之各種範例實施例，係在第5圖至第7圖 中例示。 第5圖例示第1圖該電腦叢集網路1〇〇之一部分的一實 _ 施例之一方塊圖，該實施例將一子陣列300之X轴維度配置 在一單一設備機架500中。在此特定的實施例中，設備機架 10 500大體包括6個刀鋒伺服器9U殼架510、520、530、540、 550與560。每個殼架510、520、53〇、“ο、55〇與56〇容納 12個雙處理态刀鋒祠服器加一個交換器與四個網路介面， 其使每個殼架能被連接於一個二維陣列中。銅纜線5〇5如圖 所顯示地把該等殼架510、520、530、540、550與560互連。 15雖本例使用銅繞線，仍可使用任何合適的連接體。若該子 義 陣列之X維度少於6,則可容納此子陣列之連接於如第5圖所 示之一單一機架中。種種其他實施例可使用多個機架以連 — 接每個子陣列之一特定維度。說明此種多機架組態之機械 佈局的一範例實施例係在第6圖及第7圖中例示。 20 第6圖例示第4圖之該電腦叢集網路1〇〇之一部分的一 實施例之一方塊圖，該實施例把一子陣列300之X軸維度配 置在多個設備機架（如設備機架600與602)中。在此特定 的實施例中，每個設備機架600與602大體分別包括六個刀 鋒伺服器 9U殼架610、615、620、625、630與635，以及640、 13 200828887 645、650、655、660與665。每個殼架61〇、615、62〇、625、 630、635、640、645、650、655、660與665容納 12個雙處 理器刀鋒伺服器加上具有四個網路介面之一交換器，其使 每個殼架能在一個二維陣列中被銅纜線6〇5所連接。雖本例 5使用銅纜線，仍可使用任何合適的連接體。此特定實施例 使用兩個δ又備機架600與602以容納每個子陣列goo之12X單 位的X軸維度。此外，此特定實施例為每個子陣列3⑻之6χ 單位的Υ軸維度重複該等二個設備機架6次。因此，每個子 陣列300包容於12個設備機架内。 1〇 如同第7圖所顯示，銅纜線705互連以及延伸通過設備 機架600與602以形成每個子陣列300之Υ軸連接。雖本例使 用銅纜線，仍可使用任何合適的連接體。在此特定的實施 例中，供Υ軸所用之所有連接在一列機櫃的末端之二個機架 内遭暴露。此使每個子陣列3〇〇之γ軸可使用容許高頻寬操 15作之知'銅纜線互連至核心交換器410。顯示此一實施例之一 β又備佈局係在第8圖中例示。 第8圖例示第4圖之該電腦叢集網路100之一部分的一 實施例之一方塊圖，該實施例具有定置在第6圖與第7圖所 示個別之多個該等設備機架600與602内之多個子陣列 20 300。在此特定的實施例中，電腦叢集網路100大體包括定 置在96個設備機架（例如設備機架600與6〇2)中之8個子陣 列（例如子陣列300a與300b)，以及定置在二個其他設備機 架810與815中之12個核心交換器410。每個子陣列包括該96 個子陣列設備機架中之12個。該等核心交換器設備機架81〇 200828887 • 與815皆位於電腦叢集網路loo之一中心附近，以使設備機 架810與815以及每個子陣列（例如子陣列3〇〇a與3〇〇b)間 之連接的長度縮為最小。佈線導管820有助於每個子陣列 • 300以及容納該等核心交換器410的設備機架810與815間之 . 5銅纜線連接。在此特定之組態中，電腦叢集網路100中包括 該等98個設備機架（例如設備機架600、6〇2、81〇與815) 之所有互連體的最長電纜，係小於6公尺。使用諸如6χ4χ3 • 子陣列的三維子陣列之實施例，可進一步縮短最大電纜路 由安排距離。種種其他實施例可包括有將該等網路節點丨〇2 中的母個卽點互連之元全冗餘通訊路控。該等完全冗餘通 σ孔路徑可例如藉由將該核心交換器410加倍為總共24個核 心交換器410來實現。 雖然已以幾個實施例描述本發明，然不同的變更、替 換、變化、改變及修改可為一熟於此技者思及，以及本發 15明意圖包含落入後附申請專利範圍之精神與範圍内之所有 φ 此類的變更、替換、變化、改變及修改。 【阈式簡單說明】 ， 第1圖係例示電腦叢集網路的一部分之一範例實施例 之一方塊圖； 2〇 第2圖例示第1圖該電腦叢集網路中網路節點之一的一 實施例之一方塊圖； 第3圖例示第1圖該電腦叢集網路之一部分的一實施例 之一方塊圖，該實施例具有於一6Χ6二維子陣列中互連之第 2圖之網路節點中的36個節點； 15 200828887 弟4圖例矛箸， '、弟1圖該電腦叢集網路之一部分的一實施例 之一方塊圖，誃徐 、 夕 Λ Μ例具有由核心交換器互連之第3圖中之 夕個該等子陣歹,j · 弟5圖例矛楚 、罘1圖該電腦叢集網路之一部分的一實施例 5之一方塊圖，兮徐Α 、 焉靶例具有配置在一單一設備機架中的一 子陣列之X軸維度； #圖例示第4圖之該電腦叢集網路之一部分的一實施 例之^ 一"方|g|

回’該實施例具有配置在多個設備機架中的一 子陣列之X輛維度； 0 1，帛7圖例不第4圖之該電腦叢集網路的一實施例之一方 Α β A知例具有將該等多個設備機架互連以及延伸通 過遠等多個設備機架之Y軸連接；以及 第8圖例示第1圖之該電腦叢集網路之一部分的一實施 例之一方塊圖’該實施例具有定置在第6圖與第7圖所示個 15別之该等多個電腦機架内之第4圖的每個子陣列。 【主要元件符號說明】 300、300a-b…子陣列 410…核心交換器 500、600、602··.設備機架 810、815…設備機架 505、605、705···銅參覽線 510、520…刀鋒伺服器9U殼架 530、540···刀鋒伺服器9U殼架 100…電腦叢集網路 102、102a-j···網路節點 104…網路組織結構 106…客戶機、曰常用電腦 106a-b…客戶機、曰常用電腦 108…交換器 110、112、114、116···外部介面 16 200828887 55()' 56ί)"β；7鋒伺服器9U殼架 61()' 615〜刀鋒伺服器9U殼架 620、625···刀鋒伺服器9U殼架 63()' 635" W鋒伺服器9U殼架 640、645···刀鋒伺服器9U殼架 65()' 655"1刀鋒伺服器9U殼架 660、665···刀鋒伺服器9U殼架 820…佈線導管

17

Claims (1)

1. 200828887 . 十、申請專利範園： 1· 一種電腦叢集網路，其包含： 多個子㈣，每個子陣列包含定置在—或多個第一 ' 設備齡内之以_路節點，每個網料點可操作來安 5 排路由供傳送、發送與接收訊息； 多個核心交換器，每個核心交換器通訊性地耦接到 鱗多個核妓_中之至少—個其他者，每個核心交 _ …把該等夕個子陣列中之至少兩個子陣列通訊性地轉 在#以及每個核心交換器定置在_或多個第二設 10 備機架内； 多條銅纜線，每條銅纜線將該-或多個第-設備機 架中之個別的至少一個機架與該一或多個第二設備機架 中的至少一個機架通訊性地耦接； 其中該等多條輯線中最長的銅纜線少於1〇公尺； 15 以及 • ，其中該—❹個第-設備機钱定置成靠近該-或 多個第二設備機架之一中心。 2·—種電腦叢集網路，其包含： 2〇 多個子陣列，每個子陣列包含多個網路節點，每個 20網路節點可操作來安排路由供傳送、發送與接收訊息； 以及 多個核心交換H，每個核心交換器通訊性地搞接到 ，少-個其他的核心、交換器，且每個核心交換器將該等 多個子陣列中之至少兩個子陣列通訊性地_在一起。 18 200828887 3 ·如申請專利範圍第2項之電腦叢集網路，其中該等多個網 路節點中的每個網路節點包含一或多個交換器，每個交 換器通訊性地耦接至從由下列項目組成之群組中選出之 一或多個客戶機： 5 一個處理器； 一個記憶體元件； 一個輸入-輸出元件；以及 一個曰常用電腦。 4.如申請專利範圍第2項之電腦叢集網路，其中該等多個子 10 陣列中之每個子陣列之該等多個網路節點包含從由下列 架構組成之群組中選出之網路架構： 一個單維陣列； 一個多維陣列；以及 一個多維圓環面陣列。 15 5.如申請專利範圍第2項之電腦叢集網路5其中每個核心交 換器通訊性地耦接至該等多個子陣列中之個別至少兩個 子陣列中之每個子陣列之該等多個網路節點中之個別至 少一個網路節點。 6. 如申請專利範圍第5項之電腦叢集網路，其中該等多個網 20 路節點中之該個別至少一者之每一個網路節點，係沿著 該等多個子陣列中之該等個別至少兩個子陣列之至少一 邊緣來配置。 7. 如申請專利範圍第2項之電腦叢集網路，其進一步包含： 一個機櫃系統，該機櫃系統包含： 19 200828887 一或多個第一設備機架，每個設備機架可操作 來收納該等多個子陣列中之每個子陣列的該等多個 網路節點； 一或多個第二設備機架，每個設備機架可操作 5 來收納該等多個核心交換器； 其中該一或多個第一設備機架係定置成靠近該機櫃 系統之一中心。 8. 如申請專利範圍第7項之電腦叢集網路，其進一步包含多 個連接體，每個連接體將該一或多個第一設備機架中之 10 個別的至少一個與該一或多個第二設備機架中之至少一 個通訊性地耦接。 9. 如申請專利範圍第8項之電腦叢集網路，其中該等多個連 接體中之最長的連接體少於10公尺。 10. 如申請專利範圍第8項之電腦叢集網路，其中該等.多個 15 連接體包含多條銅纔線。 11· 一種以網路連結電腦叢集系統之方法，其包含下列步 驟： 通訊性地耦接多個子陣列中之某些個別子陣列的多 個網路節點，每個網路節點可操作來安排路由供傳送、 20 發送與接收訊息； 透過至少一個核心交換器通訊性地耦接該等多個子 陣列中之至少兩個子陣列。 12·如申請專利範圍第11項之方法，其中通訊性地耦接多個 網路節點之步驟包含通訊性地耦接多個交換器，每個交 20 200828887 換器輕接至從由下列項目組成之群組中選出之個別的— 或多個客戶機： 一個處理器； 一個記憶體元件； 一個輸入-輸出元件；以及 一個日常用電腦。 13·如申請專利範圍第11項之方法，其進一步包含將該等多 個子陣列中之該等某些個別子陣列中的每個子陣列以從 由下列架構組成之群組中選出之網路架構加以組配之步 一個單維陣列； 一個多維陣列；與 個多維圓環面陣列。 15

   20 14.如申請專·圍第⑽之方法，其進—步包含透過該至 J 一個核心交換器中之一或多個核心交換器，將該等多 個子陣列中之該等某些個別子陣列中的每個子陣列、，與 該等多個子陣列中之每個其他子陣列通訊性地輕接之^ 驟0 v 15.如申請專利範圍第14項之方法，其進—步包含將 一個核心交換ϋ中之—或多健心交換* μ ： 交換器，通訊性地耦母個核， ㈣接至料夕個網路節 少一個網路節點之步驟。 V之個別， 如申請專利範圍仏項之方法，其中 交換器中之一或客彻祕 ^ ^ 一個核‘ 戈夕個核心父換盗中之每個核心交換器 21 200828887 ‘ 錄_接至該等多個網路節財之個別至少一個網路 節』之步驟’包含將該至少一個核心交換器中之該一或 多個核心交換器中之每個核心交換器，通訊性地耦接至 、 沿多個子陣列中之該等某些個別子陣列之至少 一邊緣配 • 5 置的等多個網路節點中之個別至少一個網路節點之步 17·如申請專利範圍第11項之方法，其進一步包含下列步 驟： 女農該等多個子陣列中之該等某些個別子陣列中之 10 每個子陣列於一或多個第一設備機架内； 安I該至少一個核心交換器中之每個核心交換器於 一或多個第二設備機架内；以及 放置該等第二設備機架靠近該等第一設備機架之一 中心。 15 18·如申請專利範圍第17項之方法，其進一步包含透過多個 連接體在該一或多個第一設備機架之該等多個子陣列中 之該等某些個別子陣列與該一或多個第二設備機架之該 # 至少一個核心交換器間通訊之步驟。 19_如申請專利範圍第18項之方法，其中透過多個連接體通 20 訊之步驟包含透過多條銅纜線來通訊。 2〇·如申請專利範圍第19項之方法，其中透過多條鋼境線通 訊之步驟包含透過長度各少於10公尺之多條鋼纜線來通 訊0 22