TW201017434A - Managing latencies in a multiprocessor interconnect - Google Patents

Description

201017434 六、發明說明： 【發明所屬技術匈域j 本揭露關於用於使用在具有多個節點之電腦系統中的 架構，每一節點包含一異動來源，其中該等節點透過一系 統乂換結構(switching fabric)互相通訊。 就性質而言，在一大的電腦系統中之計算節點未必平 等地接取該系統中的所有其它節點。較接近一目標節點之 φ 節點往往比其它較遠之節點獲得此目標節點之頻寬之一較 - 大部分。藉此，在該系統結構中有大量擁塞之情景下，較 „ 遠之節點可能經歷_接受的長響應時間（潛伏期）。此過長 的/曰伏期可最終導致系統故障，因為該系統或作業系統(⑽ 中的元件放棄該等緩慢異動。 C先前技術】 在先前技術中，此問題之一個解決方案是限制總系統 的大小。該問題也可藉由預分配可得頻寬而管理，但如果 ❹ 翁節需要它們的分配贼得頻寬未獲使用，此情 況可能出現在例如分區系統中。另一習知的解決方案是^ 加用於節點之間通訊之虛擬通道之數目。雖然這樣可緩^ 潛伏期問題，但其出現了-額外的費用，因為額外的虛擬 通道需要_構中之額外的緩衝及控制資源。 所需的是更好地管理包含多個異動來源節點之—電腦 系統中的潛伏期之-方式，其改善現有實施之缺點。 【智^明内溶1】 發明概要 3 201017434 點通讀算系統中—所獲服務不足的異動來源節 在統中的其它節點其未接收到足以及時完成一正 2订I、動之系統頻寬。該系統中的其它節點繼續允許 :=開Γ異動所需的訊務，但停止產生新的訊務到 <。 直_所獲服務*足的節點—其已取得可接 文的進展之時。藉此，由於過長通訊潛伏_產生的一系 2障之稀少但災難性的問題可被避免，而就系統區、電 力或複雜度而言無需施加高額外費用。 s j當了解的是，上述的大體描述及下面的詳細描述都 7範性錢祕的且意在提供射請專㈣财描述的 方法及系統之進一步說明。 圖式簡單說明 :圖被包括以提供本揭露之_進_步理解且被併入並 構成本説明書I部分，其制了揭露㈣施例且與描述 一起用於説明揭露的方法及系統之原理。 在該等圖式中： 一第1圖是根據本文描述的系統及方法之一實施態樣之 一示範性計算環境之一方塊圖； 第2圖是顯示-示範性資料通訊架構之示範性元件之 協作之一方塊圖。 第3A圖及第3B圖是各種可分區計算系統之方塊圖其 中可使用本文描述之系統及方法之原理；及 、 第4圖是根據本文贿㈣、統及料之n態樣在 管理通訊資料中的潛伏期時藉由—示範性資料通訊架構執 .201017434 ' 行的處理之—方塊圖。 【實施方式】 詳細描述 説明性的計算環境 第1圖描述了根據本文描述的系統及方法之諸如可形 成一示範性多處理器計算環境之一部分的一示範性計算系 統100。計算系統1〇〇能夠執行各種計算應用程式180。示範 _ 性計算系統主要受電腦可讀指令控制，該等電腦可讀指 - 令可以是儲存於諸如一硬式驅動機或記憶體之一電腦可讀 . 媒體中的軟體形式。這樣的軟體可在中央處理單元 (CPU)130内執行以使資料處理系統1〇〇運作。在很多習知的 電腦伺服器中，工作站及個人電腦中央處理單元13〇藉由被 稱為微處理器之一個或多個微電子晶片實施。共處理機140 是一可取捨的處理器，其有別於主CPU 130,其執行額外的 功能或協助CPU 130。一個一般類型之共處理器是浮點共處 φ 理器，也被稱為一數值或數學共處理器，其被設計以比該 通用CPU 130更快且更好地執行數值計算。 應當明白的是，儘管説明性的計算環境被顯示為包含 一單一CPU 130,但這樣的描述只是說明性的，計算環境1〇〇 可以包含多個CPU 130。此外，計算環境1〇〇可透過諸如一 交換結構（圖未示）之一通訊網路利用遠端CPU(圖未示）之 資源。 在操作中，CPU 130提取、解碼並執行指令，且透過該 電腦之主要資料傳送路徑125傳送資訊到其它資源及自其 5 201017434 它資源傳送資訊。資料傳送路徑125可包含一並列系統匯流 排或一個或多個稱為線道(lane)之點對點串列鏈結(link)。在 串列鏈結之情況下，一集線器（圖未示）可作為允許點對點裝 置互連體即時被重新路由之一縱橫交換器（cr〇ssbar switch)。此動態點對點連接行為可使得系統裝置同時執行 操作’因為多於一對裝置可同時互相通訊。多個這樣的線 道可被群組化且協同共同工作以提供較大的頻寬。該資料 傳送路徑125連接計算系統100中的元件且提供用於資料交 換之媒體。資料傳送路徑125典型地包括用於發送資料之資 料線道或通道、用於發送位址之位址線及用於發送中斷及 控制訊息之控制線。 輕接於系統資料傳送路徑125之記憶體裝置包括隨機 存取記憶體(RAM)ll〇及唯讀記憶體(r〇m)115。這樣的記憶 體包括允許資訊被儲存及擷取之電路。ROM 115通常包含 不能修改的儲存資料。儲存在RAM 11〇中的資料可藉由 CPU 130或其它硬體裝置讀取或改變。存取ram 110及/或 ROM 115可受一記憶體控制器ι〇5控制。記憶體控制器1〇5 可提供當執行指令時將虛擬位址轉譯成實體位址之一位址 轉譯功能。記憶體控制器105也可提供隔離該系統内之進程 (process)之一記憶體保護功能。 此外’計算系統1〇〇可包含負責把指令從CPU 130傳遞 到周邊設備（諸如列印機15〇、鍵盤155、滑鼠160及資料儲 存裝置165)之周邊設備控制器。 顯示器170 ’其受顯示器控制器175控制，其用以顯示 6 201017434 由計算系統100產生的視覺輸出。這樣的視覺輸出可包括文 字、圖形、動畫圖形、視訊及類似之物。例如，顯示器170 可藉由例如一基於CRT之視訊顯示器、一基於LCD之平板 顯示器、基於氣體電聚之平板顯示器或一觸摸面板來實 施。顯示器控制器175包括產生發送到該顯示器170之—視 訊信號所需的電子元件。 而且，計算系統100可包含網路配接器120，其用以把 計算系統100連接到一外部通訊網路185。通訊網路185可為 電腦使用者提供透過電子方式通訊及傳送軟體及資訊之裝 置。應當明白的是，所示的該網路及其它連接是示範性的且 建立電腦及電腦元件之間的通訊連接之其它裝置可被使用。 係為本文描述的系統及方法可操作於其中的一計算環 境之一部分的示範性電腦系統100只是説明性的，且不限制 本文描述的系統及方法在具有不同元件及組態之計算系統 中之實施態樣，因為本文描述的概念可在具有各種元件及 組態之各種計算環境中實施。 資料通訊架構 第2圖描述了用在一示範性計算環境中的一説明性資 料通訊架構200之一方塊圖。該説明性資料通訊架構可作為 該計算環境之元件被實施且可使用串列器及解串列器 (SERDES)元件。如第2圖所示，資料通訊架構包含經由 實體鍵結220協作傳遞資料23〇之節點2〇5及21〇。節點2〇5及 210疋資料異動源’諸如快取-處理器介面（CPIs)及輸入/輸 出（1/〇)’丨面之根聯合體(root complex，RC)。實體鏈結220經 7 201017434 由實體連接器225附接到節點205及210。 在操作中，該示範性計算環境(圖未示)與節點205及210 協作’以在該等節點之間傳遞資料。在該説明性實施態樣 中’該等節點可位於不同的位置，諸如該示範性計算環境 (圖未示）内的不同的系統板或抽屜，或可位於示範性計算環 境之系統板（圖未示）之一的一部分。如圖所示，資料可在該 等節點之間以一特定方向被傳遞，如實體鏈結220及資料 230上的箭頭所指示。而且，明顯的是，實體鏈結22〇被繪 示為具有不同的線厚度以指示不同的實體鏈結220介質。 而且’如圖所示，虛線框215顯示了節點205、210之間 的兩個通訊通道之建立。在提供的實施態樣中，虛線框215 被顯示為包含一對操作以傳遞資料之發射-接收核心。特定 地，資料藉由節點205之發射核心235處理以經由實體連接 器225及實體鏈結220傳遞到節點210之接收核心245。類似 地，資料藉由節點210之發射核心250處理以傳遞到節點205 之接收核心240。該等通訊通道中的一個通道是一請求通 道，透過該請求通道來請求資料，另一通道為一回應通道， 透過該回應通道提供請求的資料。在一示範性實施態樣 中，該發射-接收核心對可被對齊且被訓練以依據諸如8位 元_ 10位元(8bl0b)編碼之一已選定的串列編碼協定來處理 資料。 視該系統之需要而定，每一節點可作為一請求者或一 回應者而動作。而且，如第2圖中所示，資料230可包含多 個微封包。特定地，資料230可包含一標頭部分及資料部分。 201017434 在操作中’資料異動及用於根據本文描述的方法及系統管 理傳遞該等資料異動之潛伏期之控制訊息可作為資料23〇 透過不範性資料通訊架構2〇〇來通訊。 可分區電腦系統 多處理器計算系統可受組配為一單一操作環境，或 可被刀成多個獨立的操作環境。在此脈絡中，操作環境意 味著獨立的硬體及軟體，其中每一分區被分配供其自己使 ❹ 狀^憶體、處理肢1/ 0資源且執行其自己的作業系統影 - 區可以疋用於定界一單一系統内獨立的操作環境之 - f體的或邏輯的機制，或可以包含-單-操作環境内的多 個獨立的操作環境。分區允許協調組配及管理大量計算資 源’響應於需求的變動分配計算資源，最大化資源利用， 且月b夠使在一個分區中發生的破壞事件免於不利地影響其 它分區。 >考第3A圖，一計算系統之一部分可包含多個異動來 φ 源節點304。在第3A圖中，只出現了四個節點304A到304D。 該等節點可全部位於—單—操作環境中或它們可位於一可 分區電腦系統之兩個或更多分區内。每—節點綱可經由可 路由資料封包之-路由裝置312(諸如—縱橫交換與其它 節點通訊。該路由裝置312有助於把封包從一來源位址傳送 到一目的位址。例如，對於節點3〇4A發送一封包到節點 304D來説，節點304A發送該封包到該路由裝置312，該路 由裝置312轉而發送該封包到節點3〇4D。在此脈絡中，該路 由裝置可被稱為一交換結構。 9 201017434 在諸如第3B圖中顯示的系統之一較大的可分區電腦系 統中，可以有不止一個路由裝置312。例如，第3B圖顯示了 具有四個路由裝置312A、312B、312C及312D之一系統，雖 然明顯的是可使用其它類型及/或數目之路由裝置。在此， 該等路由裝置312可全體被稱為一交換結構。該等路由裝置 312可彼此通訊且可與多個節點304通訊。例如，節點304A、 304B、304C及304D可直接與該路由裝置312A通訊。節點 304E、304F、304G及304H可直接與路由裝置312B通訊。節 點3041、304J、304K及304L可直接與該路由裝置312C通訊。 ® 節點304M、304N、3040及304P可直接與路由裝置312D通 訊。在這樣一組態中，每一路由裝置312及與該路由裝置312 ' 直接通訊之該等節點304可受組配以包含在一獨立的分區 中’如虛線316所指示。如圖所示，在第3B圖中有四個分區 316A、316B、316C及316D。如圖所示，每一分區包括四個 節點；然而，任意個節點及節點之組合可被包括在一分區 中。例如’分區316A及316B可被重新組配及組合以形成〜 個包含全部8個節點之分區。在另一範例中，一系統可受級 ^ 配以包括節點3〇4A、304B、304M及304N於一個分區中， 且剩餘的節點在一個或多個其它分區中。而且，分區可響 應於該系統之變化的需要而被創建、消除及/或動態地重新 組配。 雖然以示範性組態來顯示，但節點及分區之組織不受 限於這樣的組態中。更確切地說，顯示的組態只是説明， 且依據申請專利範圍之元件之組態不是為了受所提供描迷 10 201017434 之限制。 封閉(Wall-Up)逾時架構 片夺器藉由係為發送到該系統結構的異動來源之一個 或多個節點來維持。該等計時器被用以在該系統中建立一 封閉模式’ 4模式可停止或放緩自所有來源_結構之 新的，、動之發送，直到所有未處理的連貫異動被完成。該 封閉模式減i該結構上的訊務擁塞，藉此由於該擁塞而處 Φ ☆未70成之危險巾的—異動可被完成。該異動完成後，該 等節點返回正常操作。 第4關示了在封閉架構中發送之訊息之—意圖。在 一示範性實施财，把連貫異動弓丨人_結構上之該等來 源節點（包括快取-處理器介面（cpi)及輸入/輸出剛介面 之根聯合體(RC))中的一些或全部節點為其所發起的每一 未處理的連貫異動維持封閉，，計時器。發起-特定連貫 異動之-來源在此被稱為該異動之“發起者”，及該異動指 © 肖之節點在此被稱為目標。如果與該異動相關聯之封閉計 時器達到-選定或預定的臨限，該異動被視為由於該結構 上之擁塞而處於未完成之危險中。此異動之發起者這裡被 稱為-“受害者，，。為了及時完成該異動，決定該受害者需 要提同對《亥目;b之接取’諸如藉由獲得額外的系統頻寬接 取該目標。為了獲得額外的系統頻寬，該受害者藉由發送 - PWALLUP訊息(步驟41〇)到該等來源中之一個或多個且 較佳地全部來源，諸如藉由多播該PWALLUP到該等來源， 以喚起該封_式(升域_(wall))。在—謂擇的實施 11 201017434 態樣中，視一個或多個選擇參數而定’該受害者可請求另 一來源節點代表其升起該封壁。例如，該系統可受組配使 得CPI能夠與所有可能的封閉參與者通訊，而RC不能。在 這樣一組態中，係為一RC之一受害者可發送—訊息到一 CPI以代表其升起該封壁。要明白的是，其它的組配是可能 的。而且，如果該電腦系統是可分區的，且如果該目標與 該受害者在同一分區中’該受害者可受組配以只向在該分 區中的來源節點發送一PWALLUP訊息。該受害者記錄該 PWALLUP訊息被發送到之該等節點。 _ 回應於接收到該PWALLUP訊息，該等來源節點停止發 起新的異動’但繼續處理正在進行的及新接收到的異動（步 - 驟420)。此外’使該等來源節點無法開始它們自己的新的 封閉序列。在一可選擇的實施態樣中，一個或多個來源節 點可根據選擇參數繼續發起新的異動。例如，一個或多個 RC可被選擇以繼續使其能夠發起新的異動，諸如達一選定 的有限時間。在另一實施例中，一個或多個cpi可類似地被 選擇以繼續使其也夠發起新的異動，諸如達為該等cpi選定 鲁 的一有限時間内。在又一實施例中，包括一個或多個Rca CPI之來源節點之-子集可被選擇以繼續使其能夠發起新 的異動，達相同的時間量内或分別為該等RC及該等CPI選 定的不同的時間。應當明白的{，來源及各自參數之其它 組合也是可能的。 該等CPI可藉由使它們相關聯的處理器（包括該發起 者如果匕;I: CPI的話)靜止而停止新的連貫訊務之持續 12 201017434 2。RC藉由暫停對來自相_m/◦介面（再—次包括該 發起者，如果它是一 RC的話)之新的異動之接收而停止新的 異動之持續發生。在這兩種情況下，該等來源節點繼續處 理在升起該封壁之前已發起的或已經被該等來源節點接收 到的該等異動。在實施態樣巾，#諸如_RC之一

來源成為-受害者(升妓封壁之該受害者或具有當該封 壁升起時已達到-臨限之-計時器之一 RC)時，該RC可繼 ❼ 、續發起新的訊務，直到__安全計時器達到其臨限。一CPI 彳類似地動作。為了防止該封壁停留時間過長，可包括一 ㈣些額外的已經接㈣的賤之處理相_之安全計時 器以確保它們被及時處理。 為了保證自該受害者到該目標之該異動之及時完成， 必須決定的是，該異動已取得可接受的進展，例如，進展 到選疋點，諸如進展到完成。這可藉由確認包括該受害 者在内的所有來源節點已經完成它們各自的未處理異動來 P 決定。在示範性實施例中，一旦接收到一PWALLUP之每一 來源節點已經完成其所有的未處理連貫異動，其藉由發送 一 PWALLCMP訊息來回應該受害者（步驟430)。該受害者記 錄從其等接收一PWALLCMP訊息之該等節點。一旦該受害 者已接收到來自該受害者已發送一PWALLUP訊息到其之 每一來源之一PWALCMP(步驟440)，且也已經完成其自己 所有的未處理異動，該受害者發送一PWALLDN訊息到相同 的來源節點（步驟450)。這些來源節點可接著返回到正常操 作（步驟460)。可使該等來源節點能夠開始新的封閉序列。 13 201017434 可取捨地’（如第4圖中用虛線説明的隨後的步驟所 示）’該等來源節點可發送新的異動到該結構，但仍不能啓 動-新的封閉序列。在此情況下，當返回到正常操作之後 該等來源節點藉由發送—第二pWALLCMp訊息來回應於 該受害者（步驟470)。該封閉計時器尚不重置，且任何新接 收到的PWALLUP應當被記住（例如，儲存於快取中）但尚不 執行動作。 接收到針對其所有的未處理pwalldn之該等第二 PWALLCMP(步驟480)之後，該受害者可發送一第二序列之 春 PWALLDN(步驟485)作為一機制以向該等來源節點指示它 們現在可以重新致能對它們的異動檢查可能發送新的 ' PWALLUP之時期° 一旦該第二PWALLDN已經遭接收到，接收到一 PWALLUP之每一來源節點返回到全面正常操作（步驟 490)。新的PWALLLUP被致能，即，該等來源可發送一新 的PWALLUP或依據一新的PWALLUP而動作。該封閉計時 器獲重置，且該等來源發送最後的PWALLCMP到該受害者 ® (步驟495)。 可取捨地，該受害者可受組配以藉由利用該結構發送 PWALLUP、PWALLCMP及PWALLDN訊息到其本身來經由 該WALL算法管理其自身的進展。 可能的是，多個節點會實質上同時發送PWALLUP訊 息。在此情況下，一個被指定為“主控器”。應當明白的是， 這可以以各種方式完成’例如，藉由簡單比較發送該等 14 201017434 PWALLUP之該等來源節點之ID且選擇最低的一個作為該 主控器。該系統中的接收來自不同受害者之多個PWALLUP 之來源節點可藉由一 PWALLCMP來回應每一受害者。在一 實施態樣中，來源節點可受組配以及早回應不是發自該主 控器之PWALLUP。 在該示範性實施例中，已經開始一 WALLUP序列且又 接收到來自具有一較高編號ID之另一節點之一 PWALLUP 訊息之一受害者應當藉由一 PWALLCMP,M訊息回應那個 較高編號節點以指示其（該較低編號受害者）將是該主控 器。這確保了該較鬲編號節點在其可能決定已準備好發送 一 PWALLDN之前，察覺到該主控器之pwALLUp。 接收到一PWALLUP,Μ(其將來自具有一較低編號10之 一節點）之一受害者必須把該封閉模式之控制權讓給該主 控器。砭樣做，該受害者可繼續發送1>界八1^111>以完成它的 封閉序列。如果這樣’該受害者還應當收集pWALLCMp， 這樣它可辨識出什㈣候它的異動離開該結構 ，且可發送 其所人任何其匕的非主控器受害者之pwALLCMp。然而， 匕將等到其首先接㈣其自己的所有pwALLCMp時發送 PWALLCMP到s亥主控器且其不發送任何訊 息。在-時間只有―個主控器被認可。 I實施態樣中，—系統狀態機可具有一“解封閉 _—，，計時器，當達到—選擇的臨限之後降下該封 壁(每異動來源、發起者或目標）。這可用以在該封壁升起 時如果作業系統崩潰，降下該封壁。此計時器之目的 15 201017434 是允許當崩潰時收集關於該系統狀態之資訊，因此該計時 器應無關於該OS。在此實施態樣中，PWALLUP及 PWALLDN訊息也應當被發送到該狀態機。該解封閉計時器 在接收到一 PWALLUP時開始計時且當接收到該第一 PWALLDN時重置。

可對該等揭露的實施例做各種修改及變化而不脫離本 發明之精神及範圍。因此，目的是，本揭露之修改及變化 應受到保護，條件是它們在後附申請專利範圍及其等效物 之範圍内。 【圖式簡單說明3 第1圖是根據本文描述的系統及方法之一實施態樣之 一示範性計算環境之一方塊圖； 第2圖是顯示一示範性資料通訊架構之示範性元件之 協作之一方塊圖。

第3A圖及第3B圖是各種可分區計算系統之方塊圖，其 中可使用本文描述之系統及方法之原理；及 第4圖是根據本文描述的系統及方法之一實施態樣，在 管理通訊資料中的潛伏期時藉由一示範性資料通訊架構執 行的處理之一方塊圖。 【主要元件符號說明】 100…示範性計算系統、資料處理系統、計算環境、電腦系統 105.. .記憶體控制器 110.. .隨機存取記憶體（RAM) 115.. .唯讀記憶體（ROM) 16 201017434 120.. .網路配接器 125…資料傳送路徑、系統資料傳送路徑 130…中央處理單元、主要cpu、通用cpu 140…共處理器 145…周邊設備控制器 150…列印機 155…鍵盤 160.. .滑鼠 . 165…資料儲存裝置 170·.·顯示器 175···顯示器控制器 180…計算應用程式 185·.·外部通訊網路 200···説明性資料通訊結構 205、210、304A、304B、304C、304D、304E、304F、304G、 _ 304H、3041、304J、304K、304L、304M、304N、3040、304P... ❹ 節點 215…虛線框 220…實體鏈結 225.. .實體連接器 230.. .資料 235、250…發射核心 240、245...接收核心 304.. .異動來源節點、節點 17 201017434 312、312A、312B、312C、312D···路由裝置 316...虛線 316A、316B、316C、316D·.·分區 405~495·..步驟

18

Claims (1)

1. 201017434 七、申請專利範圍： 1. 一種在包含能夠透過一系統交換結構藉由引入異動到 該結構上而互相通訊之多個來源節點的一電腦系統中管 理節點間通訊之潛伏期之方法，該方法包含以下步驟： 發起從一發起者來源節點到一目標來源節點之一 第一異動之通訊； 決定該發起者節點需要額外的系統頻寬至該目標 節點以及時完成該第一異動； 通知多個來源節點該發起者節點需要額外的系統 頻寬； 回應於接收到該通知，停止該等獲通知節點中的至 少一些節點引入新的異動到該系統結構上； 繼續從該發起者節點到該目標節點之該第一異動 之通訊； 決定該第一異動已進展到一預選定點； 向該等獲通知節點指示該發起者節點不再需要額 外的系統頻寬；及 回應於接收到該指示，終止停止該等獲通知節點引 入新的異動到該系統結構上， 藉此，從該發起者節點到該目標節點之該第一異動 之該通訊之該潛伏期獲管理。 2. 如申請專利範圍第1項所述之方法，其進一步包含，與 該發起通訊步驟一起開始一異動計時器，其中決定該發 起者節點需要額外的系統頻寬至該目標節點之該步驟 19 201017434 包含，決定該異動計時器已經達到一選定臨限。 3. 如申請專利範圍第1項所述之方法，其中該通知步驟包 含，該發起者節點發送一訊息(PWALLUP)到該等多個來源 節點，指示它們應當停止引入新的異動到該系統結構上。 4. 如申請專利範圍第1項所述之方法，其中決定該第一異 動已經進展到一選定點之該步驟進一步包含，決定所有 該等獲通知節點之異動已經進展到各自的選定點。 5. 如申請專利範圍第4項所述之方法，其進一步包含，由 該發起者接收來自各該獲通知節點之一訊息 (PWALLCMP)，指示該等獲通知節點之異動已經進展到 各自的選定點。 6. 如申請專利範圍第1項所述之方法，其中該電腦系統是 一可分區電腦系統， 其中該通知步驟包含，該發起者節點多播一訊息 (PWALLUP)到該分區之所有來源節點以指示該等節點 應當停止引入新的異動到該系統結構上，及 其中決定該第一異動已經進展到一選定點之該步 驟包含，接收來自各該獲通知節點之一訊息 (PWALLCMP)，指示該等獲通知節點之異動已經進展到 各自的選定點。 7. 如申請專利範圍第6項所述之方法，其中指示該發起者 節點不再需要額外的頻寬之該步驟包含，多播一訊息 (PWALLDN)到該分區中的所有該等來源節點，指示該 發起者節點已經接收到來自各該來源節點之一 20 201017434 PWALLCMP。 8. 如U利範圍第7項所述之方法，其進—步包含，該 等來源節點回應於接收到它們各自的pwALLDN而返回 正常操作。 9. 如申請專利範圍第8項所述之方法，其進一步包含： 當§亥第一發起者多播該第一PWALLUP時，一第二 發起者多播一第二PWALLUP到該分區中的所有該等來 源節點；及 選擇該等發起者中的一個發起者作為主控器且將 該選擇通知另一個、非主控器發起者， 其中該PWALLDN由該主控器發送，且該非主控器 發起者不發送任何pWALLDN。 10. 如申請專利範圍第9項所述之方法，其進一步包含，該 非主控器發起者等到其已接收到其自己的所有 PWALLCMP時發送一 pWALLCMP到該主控器。

   21