TWI220200B - Switched-based time synchronization protocol for a NUMA system - Google Patents

Switched-based time synchronization protocol for a NUMA system Download PDF

Info

Publication number
TWI220200B
TWI220200B TW090110214A TW90110214A TWI220200B TW I220200 B TWI220200 B TW I220200B TW 090110214 A TW090110214 A TW 090110214A TW 90110214 A TW90110214 A TW 90110214A TW I220200 B TWI220200 B TW I220200B
Authority
TW
Taiwan
Prior art keywords
time base
value
register
node
nodes
Prior art date
Application number
TW090110214A
Other languages
English (en)
Inventor
Freeman Leigh Rawson Iii
Original Assignee
Ibm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibm filed Critical Ibm
Application granted granted Critical
Publication of TWI220200B publication Critical patent/TWI220200B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • G06F15/167Interprocessor communication using a common memory, e.g. mailbox
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/10Distribution of clock signals, e.g. skew
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/26Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H04L47/266Stopping or restarting the source, e.g. X-on or X-off

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Multi Processors (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Communication Control (AREA)

Description

1220200 經濟部智慧財產局員工消費合作社印製 1 .發明領媸:_ 本發明概括關於多重處理器計算系統領域,特別是關 於對於位在某多重處理器各式節點處之諸多時間基礎暫 存森進行同步。 2.相關技術之;π : 一般說來,可藉由互連對稱性共享記憶體多重處理、器 系統,而建構出可擴充性共享記憶體多重處理器,同時逐 個系統裡相當少量的處理器利用一個可維持快取相符性 的互連項目。互連共享式多重處理器(SMp)系統可充分利 用其他現有且通常為高容量之產品,藉以產生較大的系 統。如此構成的系統為一種具快取相符性' 非均勻性記憶 體接取多重處理器(ccNUMA)。此外,某些架構,像是IBM 公司的PowerPC®架構可提供逐個處理器時間暫存器,並 可按該處理器本身頻率的某種除值來增量。在p〇werpc⑧ 系統中’该暫存器被稱為時間基礎暫存器。在一多重處理 器系統裡,此種PowerPC®架構會要求程式可認知之時間 基礎數值必須要單調性遞增。換言之,如果某程式第一次 讀取該時間基礎,而後又第二次讀取之,則該第二數值必 須要大於或等於孩第一數值。這項限制條件意味著在多重 處理器系統上,假使某程式首先執行於某一處理器而後又 再另一者上執行,則該時間基礎暫存器的各個數值間彼此 第6頁 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公t ) W ^^--------^--------- (請先閱讀背面之注意事項再填寫本頁) 1220200 A7 B7 五、發明說明() 必須要極為接近,該程式讀取某個大於或等於該第一時間 基礎數值的第二時間基礎數值。由於將程式從某一處理器 而後移往另一者的時間會是大約1 00到1 〇〇〇個處理器循 環的數量級,並且因為該時間基礎除數會約是循環的i 〇 階數量級,所以這項要求並非過於嚴苛。然而,這的確會 強迫多節點NUMA系統去同步該系統内所有處理器的時 間基礎暫存器。由於通常在NUMA系統裡是沒有共用的震 盪器,因此系統内各節點的諸多時間基礎暫存器或將因時 間累積而漂移相互偏離。從而,該等時間基礎暫存器即必 須要週期性地彼此重新同步。最好實作以同步這些時間基 礎暫存器的方法,就以網路負載或專用硬體來說不會過於 昂貴。然而,即使是某些硬體連線機制具有共用震盪器可 為此目的而被運用,同時其他的架構或具有一種特殊封包 格式,可於其酬載内載荷一時間值並依照傳輸於網路上的 時間而計歲該值,不過這種硬體並非可用於所有的實作方 式上。在缺少這種硬體的情況下,仍是希望能夠提供一種 時間基礎同步機制來維護系統架構所需要的同步水準。因 此,最好是得實作出一種供以同步在NUMA系統上的各種 節點之機制與方法,而且不會顯著地增加成本或系統複雜 度。 發明目的及: 上述問題即概屬一種用以同步某組連接於位在一多 節點資料處理系統内,例如像是NUMA資料處理系統,中 本紙張尺度中關家標準格⑽X 297公髮 (請先閱讀背面之注意事項再填寫本頁) til------------------— ml!______ 1220200 A7 五、發明說明( 央切換器之節點集合的系統及方法。首先,备 合中各者擷取出時間基礎暫在 會由孩節點集 曰廿咨數值。接其 節點所獲得的該等時間基礎暫 ,㈢根據從諸 時間基礎暫存n數值。這個既已決定固共用 器數值接著會被廣播傳送到諸節 :±間基礎暫存 ^ ^ ^ ^ ^ ^ ^ ^ ^ 在碩取該時間基 石疋暫存焱數值之則,或可廣播給 1 * 4卞批π、·,斤 们即點一個暫停話務封 Γ 了 =點集合間的封包話務。…體實施: 中’,可精由廣播-個復原話務封包給各個節點,而在既步 作業後恢復正常的封包話務。可 乂 、、 u L於某即點介接器接:獲 一個來自於該切換器的讀取時間基 1*「曰Ί * %封包,而從該節點介 接器處發出-個特殊目的中斷給其中一個節點處理器,藉 此來讀取該時間基礎暫存器數值。可藉由選取從該組節點 集合各者所讀取之時間基礎暫存器數值中的最大值,並且 按某-調整因μ ’如某封包從該中央切換器行旅到一節點 處理器所要求的時間再加上自某節點處理器行旅到該中 央切換器所要求的時間,依此來調整該時間基礎暫存器數 值最大值,俾決定該共用時間基礎暫存器數值。這項同步 程序可週期性地重複進行,如每當該中央切換器的某減數 暫存器觸抵零值時即發出一同步信號。 圖式簡單說明: 經閱覽後載詳細說明並參酌於隨附圖式,本發明其他 目的和優點即為顯而易見,其中 第I圖為一非均勻性記憶體架構資料處理系統之區塊圖; 第8頁 木纸張尺度適用中國國家標準(CNS)A4規格(210 X 297公餐 (請先閱讀背面之注意事項再填寫本頁) ----訂---- 參· 經濟部智慧財產局員工消費合作社印製 1220200 A7 B7 五、發明說明( 第2圖為適合作為如第1圖NUMA系統之某節點的對稱性 多重處理器系統之區塊圖; 第3圖為說明如第1圖切換器與一節點同步處理器間之連 線的區塊圖; 第4圖為如第1圖切換器具體實施例之區塊圖;以及 第5圖為一多節點資料處理系統内諸時間暫存器之同步方 法流程圖。 本發明雖係得因各種修飾與替代形式而異,在此傈按 照諸附圖範例方式來說明彼等特定具體實施例而於後;文 中詳述。然應明瞭在此所列舉之諸等圖式與詳細說明並非 意欲限制本發明於本揭諸等具體實施例,而反是係為涵蓋 所有落含於依照後纂申請專利範圍所定義之本發明精神 與範疇内的修飾結果、等同物件與替代方式。 經濟部智慧財產局員工消費合作社印製 圖號對照說明: 100 NUMA 系統 104切換器 204系統匯流棑 2 0 7系統記憶體 210 I/O介接器 3 04時間基礎暫存器 310a—310d 機埠 401處理器 403儲存裝置 102a - l〇2d 節點 202a - 202n CPU 206匯流排橋接器 2 0 8週邊匯流棑 212 NUMA控制器 3 0 6時間基礎暫存器 3 1 2額外機埠402遞減暫存器 404機埠暫存器 第9頁 -------—_— 裝--------訂--------- (請先閱讀背面之注意事項再填寫本頁) 1220200 Α7
發明詳細說明: (請先閱讀背面之注意事項再填寫本頁) 現參考諸附圖,其中¥ 1圖為根據本發明之numa 資料處理系統100高階區塊圖。該系統1〇〇包括一組節點 集合102a、102b、102c、102d(概略或總集地兹稱之 點102)。這些節點102係藉由一中央切換器ι〇4而彼此2 連。各個節點102包括至少一個處理器,像是ibm公司的 PowerPC⑧處理器,其内具有一時間基礎暫存器。在」具 體實施例中,各個節點102係被實作為對稱性多重處理;器 (SMP)資料處理系統。而在較佳的具體實施例中,該中央 切換器104係經組態設定為一主動裝置,可接受各項指令 並對於諸多導向朝送於彼之封包進行傳發且回應。如此: 這些封包可直接擲送予該中央切換器丨〇4,而非送往任一 節點102。應知悉所述具體實施例雖按四個節點ι〇2來描 述孩系統1 00 ,然該系統i 00之替代性具體實施例確得具 有較少或較多之該等節點。 現參酌第2圖,此為適合用於作為本發明NUMA系統 經濟部智慧財產局員工消費合作社印製 1 0 0之某節點1 0 2的區塊圖。在如第2圖所述之具體實施 例中,該節點102係一 SMP系統,包括有一組處理器2〇2a 到2 0 2 η (概略或總集地茲稱之為處理器2 〇 2)。諸處理器 202係透過一系統匯流排2〇4而連接於一系統記憶體 2 0 7。一匯〉瓦排橋接器2 〇 6可將該系統匯流排2 〇 4連接到 被另一 I/O介接器210所連接之週邊匯流排208。該週邊 匯流排208可至少包含各種工業標準週邊匯流排任一者, 第10頁 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公爱) 1220200 A7 經濟部智慧財產局員工消費合作社印制衣
五、發明說明() 例如像是ISA、PCI、EISA、AGP以及其他適宜週邊匯流 4非。此外,節點1 02可包括許多這種匯流排。而節點1 〇2 可進一步包括一個連接到該系統匯流排204的NUMA控制 器2 1 2,並可適於連接到連接至該中央切換器丨〇4。該控 制器2 1 2可提供節點對節點和節點對切換器的通訊功能。 現參考第3圖,茲提供有關於系統1 〇 〇的節點1 〇 2 a 與該中央切換器1 04之間互連方式的額外細部說明。在該 繪示具體實施例裡,各個節點i 02a係經指設為諸節點t〇2 的節點同步處理器(NSP)。該NSP 202a的時間基礎暫存、器 3 04可接取到NUMA控制器212,該者經組態設定以透過 機埠3 10a而與切換器104相互通訊(該切換器1〇4最好是 如下文所述般包括一個對應於各節點丨〇2的機埠3丨〇)。在 一具體實施例中,像是節點102a係由p〇werPC⑧處理器所 實作的具體實施例,可將該時間基礎暫存器3 〇4任意地設 定為任何數值(可將這個具體實施例與按Intel IA_32處理 器來實作處理器202的方式相互比較,後例中任何嘗試修 改該時間基礎暫存器304内容的動作均會迫使該暫存器内 容被設為零值)。為相符於單調性要求,通常最好是將咳 時間基礎暫存器304的數值設定為比起前值而為較^的2 值。 。 現參考第4圖,兹說明根據本發明具體實施例之中央 切換器104的額外細節。在該繪示具體實施例裡,該中央 切換器1 04包括一個連接到儲存裝置4〇3的處理器々μ, 該儲存裝置可為像是_或其他適當非揮發性記憶體裝 本紙張尺度綱f關家標準(CNS)A4規格(210 X 第11頁 ------j----j— ---- »' (請先閱讀背面之注意事項再填寫本頁) 訂---- 華 1220200 A7 B7 五、發明說明( 經濟部智慧財產局員工消費合作社印製 置、,其内並含有各項適於啟動且執行即如按照後文第5圖 :詳述〈即點同步程序的處理器可執行指令。該中央切換备1 04通$會包括隨機存取記憶體(未於圖中詳列),可對 處理⑤4〇1提供草稿記憶功能。如本圖所示之中央切換器 104可進一丧勹匕 土 ° ^ 時間基礎暫存器306與一遞減暫存器 402 ’兩者盡皆連至處理器4〇1。 該中央切換器104可進一步包括一組機埠31〇a、 b 3 1 〇c和3 1 〇d (概略或總集地茲稱之為機埠3丨〇)。:各 個機埠3 1 〇對應於且適於連接至系统} 〇〇的某節點^。 各個機埠310可包括一機埠暫存器4〇4,可藉由提供用以 將時間基礎暫存器數值存放於該中央切換器刚本地處的 汉備’ k助即·點i 02的同步作業。纟本具體實施例,處理 咨401係$接到各個機_ 31〇 , $且能夠由此讀取出各項 數值並將孩等數值寫入到機埠暫存器404。 在一具體實施例中,各個機埠31〇的機埠暫存器4〇4 具有與所對應節點102之時間基礎暫存器3〇4相同數目的 位元。此外,即如第4圖所述之切換器1〇4會包含一額外 的機埠3 12,可支援到某區域網路或是一序列線路的連 線。在一具體實施例中,這個額外機埠312可提供用來管 理該切換器1〇4的方法。 在較佳具體實施例中,該等存放於儲存裝置4〇3内的 處理森可執行指令’可讓該切換器丨〇4藉由從諸節點1 中擷取出時間基礎暫存器數值並將共用時間基礎數值廣 播回返給各個節點1 〇2 ,來同步諸節點丨〇2的時間基礎暫 第12頁 (請先閱讀背面之注意事項再填寫本頁) _裝 —訂---------·
1220200 五、發明說明() 存器。即如第4圖所述,該切換器1〇4進一步包括一個最 好可適用以控制該項同步程序之頻率的減數暫存器4〇2。 在-具體實施例中,例如當該暫存器4〇2内的數值觸抵零 值時,該減數暫存器402會發出一個可啟動該項同步程^ 的中斷。 在較佳具體實施例中,可調整該切換時間基礎暫存器 306所更新的頻率。可在電力啟動序列的過程裡設定某二 乘數或是除數,使得該切換器1〇4可相符於各個NSp2〇2a 的頻率,而這是被假定為均句者,藉此方式來完成該切y換 時間基礎暫存器306的頻率調整。但是如果該切換時間基 礎暫存器306的頻率非屬可調整式,本發明的同步機制可 藉由適當地將彼者送往各個節點丨〇2的時間數值乘或除法 處理,來補償所缺少的可調頻率。此外,如果該切換器1〇4 具有乘法與除法能力,該切換器丨〇4就可支援其中各種 NSP 202a按不同頻率而運作的NUMA系統1〇〇。在一個其 中NSP 2 02a各種頻率和切換器1〇4彼此間具有二次方關 係的具體實施例裡,可藉簡單位元移位的方式來實作乘法 與除法功能。 在較佳具體實施例中,可啟動切換器丨〇4以廣播封包 給各種節點1 02的所有NUMA控制器2 1 2,並送出封包給 诸特疋介接器。本發明慮及實作出同步方法協定所採用的 至少四種特殊封包型態。這四種封包型態包括握持話務封 包型態、復原話務封包型態、讀取時間基礎(RTB)封包型 態以及寫入時間基礎(WTB)封包型態。該握持話務封包型 第13頁 (CNS)A4 ^i'(210 x 297 ) ------- (請先閱讀背面之注意事項再填寫本頁)
---------^--------I 經濟部智慧財產局員工消費合作社印製 1220200 A7 經濟部智慧財產局員工消費合作社印制衣 五、發明說明( 毖會被廣播至各個NUMA控制器212。當某NUMA控制器 2 1 2接收到時’該握持話務封包型態會讓該控制器握持住 所有的出方封包,以便讓各種節點丨〇2間的互連可竭盡正 常活務’藉此得以按一既定時間延遲來傳送同步封包。該 復原話務封包型態即如其名稱所指,也會被廣播至各個 NUM A控制器2丨2並令諸控制器恢復正常作業。該復原話 務封包型係作為於同步程序結束時復原正常運作之 用。孩等RTB與WTB封包型態是被用來取出及設定各種 NSP 202a的時間基礎暫存器。該RTB封包型態可讀取v該 封包所朝指之節點102的NSP 202a時間基礎暫存器304, 並回返該時間基礎數值給切換器1〇4而將該擷取值儲存於 所對應的機蟀暫存器404内。該WTB封包型態可將來自 於適當的機埠暫存器404之時間基礎數值,寫入所對應之 NSP 2 02a的時間基礎暫存器304内。 如果RTB封包型態廣播與時間基礎數值接收之間的 時間值(TR)確屬已知且為固定者(茲假定沒有其他互連話 務),則該時間基礎同步機制會被最佳化。同樣地,WTB 封包型悲廣播與在諸N S P 2 0 2 a各個時間基礎暫存器3 〇 4 内設妥新時間基礎數值之間的時間值(TS),也最好是已知 且為固定者為佳。各個NUMA控制器212最好是能夠接取 到與其對應之NSP 202a的時間基礎暫存器3〇4。例如,在 一具體實施例中,各個NSP 202a内的韌體會被組態設定, 俾以回應來自於NUMA控制器2 1 2之特殊目的中斷,並且 俾以對存放於時間基礎暫存器304内的時間基礎數值進行 第u頁 本紙張尺度適用中國國家標準(CNS)A4規格(21〇 X 297公釐) ------·-----裝-------丨訂--------- (請先閱讀背面之注意事項再填寫本頁) 1220200 A7 B7 五、發明說明( 讀取或寫入往返於該NUMA控制器2 1 2。當收到來自於切 換器1 04的讀取時間基礎封包時,該NUMA控制器2 1 2 可例如發出一個特殊目的中斷。應注意可反觀該項讀取或 寫入作業,使得當某NSP 202a從NUMA控制器212讀取 一個時間基礎封包時,該者會將一新數值寫入到時間基礎 暫存器304内,而當寫入到NUMA控制器212時,則會讀 取出該時間基礎暫存器304的目前數值給NUMA控制器 212 〇 : 現參考第5圖,此為同步例如像是NUMA系統100 的諸節點1 02之某資料處理系統節點集合的方法500具體 實施例流程圖。一般說來,切換器1 〇 4可擷取時間基礎暫 存器數值,然後根據該組所擷取而得的時間基礎數值決定 出一共用時間基礎數值,藉此來同步諸節點1〇2。該共用 時間基礎數值會被廣播到各個節點處,以將該共用時間基 礎數值存放於各個節點處的時間基礎暫存器内。 即如第5圖所示,同步方法5〇〇包括一初始區塊5〇2 , 其中諸節點102間的封包話務會被暫停。在一具體實施例 中,切換器104可在讀取該時間基礎暫存器數值之前,廣 播給各個節點一個暫停話務封包來暫停該組節點集合間 的封包話務。在廣播暫停語務封包之後,該切換器1〇" 監視傳通於此的封包話務’並決定(區塊5〇5)何時封包話 務既已足夠遞減以繼續進行同步方法。在一具體實施例 中’當在某預定時“内偵測不到封包時,該封包話務 即被視為既已足夠暫停。換言之,系统1〇〇會繼續監視話 第15頁 (請先閱讀背面之注意事項再填寫本頁) _裝 ιτί------- 經濟部智慧財產局員工消費合作社印製 1220200 經濟部智慧財產局員工消費合作社印製 Α7 Β7 五、發明說明() 務封包(即如第5圖裡從區塊5〇5到區塊504的回饋迴路’ 所表示),一直到話務封包消失至低於某預定門檻值為 止。 當偵測不到封包時,切換器104會廣播(區塊506) — RTB封包型態給各個節點丨〇2。回應於收到該讀取時間基 礎封包,各個NUMA控制器2 1 2會回應以從所對應之時間 基礎暫存器3 04擷取出目前的時間基礎數值。即如前述, 可藉組態設定該NUMA控制器2 1 2,俾以回應於收到來自 切換器1 04的讀取時間基礎封包而發出特殊目的中斷;給 NSP 202a,並且藉組態設定各個NSP 202a以回返於時間 基礎暫存器202a内的數值,從而達成從各個NSP202a擷 取出時間基礎暫存器數值。 在既已從諸節點1 02接收到時間基礎暫存器數值後 (區塊5 0 8 ),切換器1 〇 4會根據所收到的時間基礎數值來 夬毛出.一共用時間基礎數值。在所述之具體實施例裡,會 在區塊5 1 0、5 1 2和5 1 4處決定該共用時間基礎數值。在 區塊5 1 〇處,切換器丨〇4調整諸節點所收到的時間基礎數 值以反映出從各個節點揭取出時間基礎暫存器數值所需 的循環數(即時間量)。在一具體實施例裡,區塊5 1〇内的 時間基礎暫存器數值調整作業是藉由對各個獲取的數值 增加一 TR量值所達成,其中TR表示一先前決定之系統 延遲特徵。更詳細地說,TR表示當正常封包話務既已 暫停時,從某系統節點處擷取一時間基礎暫存器數值所需 的時間。在區塊5丨〇處調整各個時間基礎暫存器數值之 第16頁 本紙張尺i適冢標準(cns)a4規格⑽χ ϋ) ----- 111111. IIAW · 111--11 ^ · -------- (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 1220200 A7 B7 五、發明說明() 後,會在區塊5 1 2處決定經調整之時間基礎數值最大值。 在一其中該切換器104其本身包括時間基礎暫存哭 3 06的具體實施例裡,可將該時間基礎暫存器3〇6内的數 值含納在決定共用時間基礎數值的過程中,使得最大時間 基礎數值將會是從諸節點1 0 2處收到的時間基礎數值最大 值與暫存器306内的時間基礎數值兩者中較大者。選取最 大數值作為共用時間基礎數值可相符於時間基礎暫存哭 3 04的單調性限制。換句話說,藉由選定最大數值作為_共 用時間基礎數值,本方法可確保各個時間基礎暫存器3v〇 4 會被設定成一個相較現存數值為大(或相等)的數值。 在區塊514處.,於區塊512處所決定之最大數值尚可 進一步被調整為反映用來設定各個NSP 202a數值時所需 的時間量。在一具體實施例裡,區塊5 1 4内的調整作業包 括了對在區塊5 1 2處所決定之最大數值增加一時間常數 TS,其中TS表示切換器104將數值寫入其中一個時間基 礎暫存器3 04時所需之時間(假定並未遭遇任何封包話務 延遲)。 在區塊5 1 4處調整時間基礎暫存器數值之後,接著會 於區塊516處,將經調整的時間基礎數值利用寫入時間基 礎封包廣播給各個NUMA控制器212。當收到經調整的數 值時,各個NUMA控制器2 1 2會回應以將來自於該切換器 1 04的時間基礎數值,存放在所對應的時間基礎暫存器3⑽ 内。在將時間基礎數值廣播給各個節點丨〇 2之後,切換器 104會設定(區塊51 8)其本身的時間基礎暫存器3〇6數值, 第17頁 本紙張尺^適用中國國家標準(CNS)A4規格(210 X 297公餐) --- ------r---.--Αν ^--------^--------- *- (請先閱讀背面之注意事項再填寫本頁) 1220200
五、發明說明( 並藉由廣播-話務封包給各個節$1〇2以啟動諸節點⑻ 間的正常話務封包復原作業(區塊52〇)。 減數器402係被用來控制再同步作業的頻率。該者口 根據時間基礎數值範圍而於再同步程序中加以調整,彳可 當數值相互接近時可無須過於頻繁地進行再同步=業俾= 當數值相互偏離時即可經常地進行再同步作業。這項s 作業可週期性地重複進行以維持諸時間基礎暫存器2 = 在時間上的相符性。在一具體實施例裡,*當在暫存:内 的數值,像是減數器暫存器4〇2,觸抵某個例如零值之;預 定數值時,就會叫用前述方法5〇〇。在本 " 卞〆、月豆男施例裡, 減數器402内的初始值反映出啟動再同 ,F果B守的頻率。 對於對於熟諳可受益於本發明揭示之技藝的人士而 言,本發明可用以補償多節點系統上對諸時間:礎暫存= 進行同步之機制確屬顯而易見。應可瞭解疋予态 人坪細說明與 諸圖中所列述及繪示之發明形式,僅得被視為現有之輕佳 範例。其目的在於後纂之申請專利範圍應詮釋為廣泛^ = 本揭之諸項較佳具體貫施例的所有變化。 “ --------—·— 裝--------訂--------- ♦·· (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 適 度 尺 紙 本 A4 S) N (C 準 標 國 國 中

Claims (1)

  1. 1220200 六、申請專利範圍 種用以同步某組位在养均勻性記憶體架構(NUMA)資 料處理系統内之節點集合的方法,該方法至少包含: 由該節點集合中各者讀取出時間基礎暫存器數值; 根據從諸節點所獲得的諸時間基礎暫存器數值,決 定出一個共用時間基礎暫存器數值;以及 將既已決定的共用時間基礎暫存器數值,廣播傳送 到諸節點各者。 2·如申請專利範圍第1項所述之方法,其更包含在讀取v該 時間基礎暫存器數值之前,先暫停該組節點集合間的封 包話務。 3 ·如申請專利範圍第2項所述之方法,其中上述之暫停封 包話務包含廣播給各節點一暫停話務封包。 4.如申請專利範圍第1項所述之方法,其更包含在廣播傳 送共用時間基礎暫存器數值後,復原該組節點間的封包 話務。 ·, ;--裝--------訂--------- (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 包 封 原 。 復者 述各 上點 中節 其組 , 該 法給 方 包 之 封 述務 所話 項原 4 復 第個 圍一 範播 利 廣 專含 請包 申務 如話 5 專考 請礎 申基 如間 6 第 圍 々巳 ί 法 方 之 述 所 項 回 含 包 值數 器 存 到收 於 時封 出礎 取基 讀間 述時 上取 中讀 其 - 貰 9 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 1220200 0^888 ABCD 六 經濟部智慧財產局員工消費合作社印製 申請專利範圍 包’而由節點控制器發出一中斷給該節點的第一處理 器。 7 ·如申請專利範圍第1項所述之方法,其中上述決定共用 時間基礎暫存器數值,包含選取從該組節點集合各者所 讀取之時間基礎暫存器數值中的最大值。 8. 如申請專利範圍第7項所述之方法,其中上述決定共用 時間基%:暫存器數值,更包含按一調整因數依此來調V整 該時間基礎暫存器數值最大值。 9. 如申請專利範圍第8項所述之方法,其中上述調整因數 係讀取時間基礎暫存器數值所需之時間,和當封包話務 暫停時用來設定時間基礎暫存器數值所需之時間的函 數。 1 0 ·如申請專利範圍第1項所述之方法,其更包含週期性地 重複進行該同步程序以維持該組節點間的同步狀態。 1 1 ·如申請專利範圍第1 0項所述之方法,其中上述同步程 序係每當減數暫存器内的數值觸抵零值時即行啟動。 1 2 ·如申清專利範圍第1項所述之方法,其中上述讀取出時 間基礎暫存器數值,包含發出一個讀取時間基礎(RTB) 第20貰 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) (請先閱讀背面之注意事項再填寫本頁) 裝--------訂---- 暴· 經 濟 部 智 慧 財 產 局 員 消 費 合 社 印 製 申請專利範圍 封包型態給該組節點集合各者。 π.如申請專利範圍第丨項 時間I^ 法,其中上述廣播共用 呻間基礎暫存器數值 rWTn, ,, ^ - 發出一個寫入時間基礎 、匕型怨給該組節點集合各者。 14.-種非均勾性記憶體架構系統,該系統至少包本. -:節點集合’其中各節…至少—個二 基蛟暫存态的處理器,以 、 暫存器數值之介接器; 、-取和寫入時間基礎 -連接於各個節點介接器的中央切換器;以及 巾央切換益係經組態設定以根據該組節點各 者所收到的時間基礎暫存器數值,來同步該組節點各者 的時間基礎暫存器。 15.如申請專利範圍第14項所述之系统,其中上述中央切 換器係經組態設定,從各時間基礎暫存器讀取出數值、 根據所獲得的數值決定出一個共用時間基礎數值,以及 將該共用時間基礎數值廣播到諸節點各者,藉此來同步 該組節點各者的時間基礎暫存器。 16.如申請專利範圍第14項所述之系统,其中上述各個節 點控制器發出一中斷給至少一處理器,且其中該處理器 係經組態設定以回應於該中斷而將該處理器的時間基 第21頁 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 1220200 、 經濟部智慧財產局員工消費合作社印製 A8 B8 C8 __ D8 申M專利範圍 礎暫存器數值回返給該介接器。 17.如申請專利範圍第14項所述之系統,其中上述中央切 換器包括一組對應於該組節點各者的機埠,並進一步兮 組節點包括一機埠暫存器,可存放從對應節點之時間基 礎暫存器所獲取的數值。 1 8 ·如申請專利範圍第1 7項所述之系統’其中上述各個機 埠暫存器的寬度相容於對應節點之時間基礎暫存器ν的 寬度。 1 9.如申請專利範圍第1 4項所述之系統,其中上述中央切 換器進一步包括一減數暫存器,而當該減數暫存器的數 值觸抵零值時,該中央切換器即啟動時間基礎暫存器的 同步作業。 2 0 ·如申请專利範圍第1 9項所述之系統,其中上述啟動該 同步程序,並得經由調整該減數暫存器之初始值來控制 的頻率,係屬可調整者。 2 1 ·如申請專利範圍第1 4項所述之系統,其中上述中央切 換器作業頻率會因至少一節點的作業頻率而變動,並且 進一步其中該中央切換器包括乘法/除法電路以補償作 業頻率方面的變異性。 第22頁 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) ----^----\·---·----------t------------*---K Γ4先閱讀背面之注意事項再填寫本頁) 1220200 A8 B8 C8 D8 、申請專利範圍 22 · 一種位於非均句性記憶體架構資料處理系統内之中央 切換器,其至少包含: 一組機埠,各機埠對應於該資料處理系統内之一節 點’其中各機埠適可連接到該資料處理系統内之一節 點’且各機蜂包括一機埠暫存器,可適於存放從該節點 之時間基礎暫存器所獲取的數值; 一處理器,連接至各機埠,並足可對該機埠暫存器 讀取與寫入·,以及 、 一儲存裝置,經處理器可執行指令所組態設定,藉 以從各時間基礎暫存器讀取出數值,並且根據所獲得的 數值決定出一共用時間基礎數值,以及將該共用時間基 礎數值廣播到諸節點各者。 23·如申請專利範圍第22項所述之中央切換器,其更包含 一連接於該處理器的切換器暫存器,其中該處理器可將 決定之共用時間基礎數值存放於切換器暫存器内。 經濟部智慧財產局員工消費合作社印?衣 24·如申請專利範圍第22項所述之中央切換器,其更包本 一連接於該處理器的減數暫存器,而當該減數暫存器的 數值觸抵零值時,該切換器即啟動時間基礎暫存器的同 步作業。 第23頁 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐)
TW090110214A 2000-05-25 2001-04-27 Switched-based time synchronization protocol for a NUMA system TWI220200B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/578,740 US6687756B1 (en) 2000-05-25 2000-05-25 Switched-based time synchronization protocol for a NUMA system

Publications (1)

Publication Number Publication Date
TWI220200B true TWI220200B (en) 2004-08-11

Family

ID=24314109

Family Applications (1)

Application Number Title Priority Date Filing Date
TW090110214A TWI220200B (en) 2000-05-25 2001-04-27 Switched-based time synchronization protocol for a NUMA system

Country Status (11)

Country Link
US (1) US6687756B1 (zh)
EP (1) EP1292897B1 (zh)
KR (1) KR100483262B1 (zh)
CN (1) CN1199121C (zh)
AT (1) ATE291758T1 (zh)
AU (1) AU2001258577A1 (zh)
BR (1) BR0102131A (zh)
CA (1) CA2409205A1 (zh)
DE (1) DE60109612D1 (zh)
TW (1) TWI220200B (zh)
WO (1) WO2001090910A2 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10147422A1 (de) * 2001-09-26 2003-04-24 Siemens Ag Kommunikationssystem und Verfahren zur Synchronisation eines Kommunikationszyklus
WO2003073017A1 (en) * 2002-02-22 2003-09-04 Lalit Chordia Means and apparatus for microrefrigeration
US7111195B2 (en) * 2002-02-25 2006-09-19 General Electric Company Method and system for external clock to obtain multiple synchronized redundant computers
DE10241429B4 (de) * 2002-09-06 2007-10-25 Siemens Ag Verfahren zur Synchronisation von Netzwerkknoten eines Teilnetzwerks
US20050254506A1 (en) * 2004-05-11 2005-11-17 Derek Edward Davout Gladding Apparatus and method for transporting data over a ring structure
US20060161647A1 (en) * 2004-12-22 2006-07-20 Waldemar Wojtkiewicz Method and apparatus providing measurement of packet latency in a processor
US7395448B2 (en) * 2006-07-26 2008-07-01 International Business Machines Corporation Directly obtaining by application programs information usable in determining clock accuracy
CN102799212B (zh) * 2012-07-16 2015-05-27 中船重工(武汉)凌久电子有限责任公司 用于多核多处理器并行系统的全局时钟系统及其使用方法
WO2014051615A1 (en) * 2012-09-28 2014-04-03 Hewlett-Packard Development Company, L.P. Synchronizing timestamp counters
WO2014088698A2 (en) * 2012-12-06 2014-06-12 Coherent Logix, Incorporated Processing system with synchronization instruction
US9237093B2 (en) * 2013-03-14 2016-01-12 Silicon Graphics International Corp. Bandwidth on-demand adaptive routing
KR102020358B1 (ko) * 2013-03-14 2019-11-05 삼성전자 주식회사 단말 및 그 단말에서 애플리케이션 동기화 방법
US9274835B2 (en) 2014-01-06 2016-03-01 International Business Machines Corporation Data shuffling in a non-uniform memory access device
US9256534B2 (en) 2014-01-06 2016-02-09 International Business Machines Corporation Data shuffling in a non-uniform memory access device
US9568944B2 (en) * 2014-11-14 2017-02-14 Cavium, Inc. Distributed timer subsystem across multiple devices
US10237198B2 (en) 2016-12-06 2019-03-19 Hewlett Packard Enterprise Development Lp Shared-credit arbitration circuit
US10452573B2 (en) 2016-12-06 2019-10-22 Hewlett Packard Enterprise Development Lp Scripted arbitration circuit
US10721185B2 (en) 2016-12-06 2020-07-21 Hewlett Packard Enterprise Development Lp Age-based arbitration circuit
US10944694B2 (en) 2016-12-06 2021-03-09 Hewlett Packard Enterprise Development Lp Predictive arbitration circuit
US10693811B2 (en) 2018-09-28 2020-06-23 Hewlett Packard Enterprise Development Lp Age class based arbitration

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4591977A (en) * 1983-03-23 1986-05-27 The United States Of America As Represented By The Secretary Of The Air Force Plurality of processors where access to the common memory requires only a single clock interval
US5250943A (en) 1991-03-29 1993-10-05 International Business Machines Corporation GVT-NET--A Global Virtual Time Calculation Apparatus for Multi-Stage Networks
US5390216A (en) * 1991-11-02 1995-02-14 Robert Bosch Gmbh Synchronization method for a mobile radiotelephone
US5600822A (en) * 1994-04-05 1997-02-04 International Business Machines Corporation Resource allocation synchronization in a parallel processing system
JP2908739B2 (ja) * 1994-12-16 1999-06-21 インターナショナル・ビジネス・マシーンズ・コーポレイション 多重プロセッサ・システムにおけるcpuのモニタリング・システム及び方法
DE69621725T2 (de) * 1995-03-29 2003-01-30 Koninkl Philips Electronics Nv System zur bereitstellung eines vorgegebenen zeitbezugs zwischen eingabe und ausgabe von daten sowie sender und empfänger für ein solches system
US5822381A (en) * 1995-05-05 1998-10-13 Silicon Graphics, Inc. Distributed global clock system
US5905869A (en) 1996-09-27 1999-05-18 Hewlett-Packard, Co. Time of century counter synchronization using a SCI interconnect
US5896524A (en) * 1997-02-06 1999-04-20 Digital Equipment Corporation Off-line clock synchronization for multiprocessor event traces
EP0971282B1 (en) 1998-07-09 2006-03-22 Bull S.A. Multi-processor system with synchronized system time

Also Published As

Publication number Publication date
EP1292897A2 (en) 2003-03-19
KR100483262B1 (ko) 2005-04-15
DE60109612D1 (de) 2005-04-28
ATE291758T1 (de) 2005-04-15
CA2409205A1 (en) 2001-11-29
AU2001258577A1 (en) 2001-12-03
WO2001090910A3 (en) 2003-01-09
US6687756B1 (en) 2004-02-03
EP1292897B1 (en) 2005-03-23
CN1326150A (zh) 2001-12-12
KR20030005332A (ko) 2003-01-17
WO2001090910A2 (en) 2001-11-29
CN1199121C (zh) 2005-04-27
BR0102131A (pt) 2001-12-26

Similar Documents

Publication Publication Date Title
TWI220200B (en) Switched-based time synchronization protocol for a NUMA system
CN111737175B (zh) 一种高速spi主从机通信方法、终端设备及存储介质
KR101247247B1 (ko) 클락 신호의 출력을 제어할 수 있는 컨트롤러 및 상기 컨트롤러를 구비하는 시스템
JP4452690B2 (ja) 電子装置、その制御方法、ホスト装置及びその制御方法
WO2020015670A1 (zh) 文件发送方法、文件接收方法和文件收发装置
JPH09212447A (ja) Pcmciaカード上の割り込み共有技術
WO2017143857A1 (zh) 数据传输的方法、扩展装置、外围设备及系统
JPWO2020059139A1 (ja) 通信装置、通信システム、通信方法および通信プログラム
EP1011041B1 (en) Data transfer apparatus, data transfer system and recording medium
US20090010157A1 (en) Flow control in a variable latency system
US20150074316A1 (en) Reflective memory bridge for external computing nodes
CN110928952A (zh) 基于区块链的数据同步方法及装置
CN107621994B (zh) 一种数据快照创建的方法及装置
WO2001078408A2 (en) A method of generating timestamps for isochronous data
WO2024103898A1 (zh) 数据库集群管理的方法和装置
JP3523181B2 (ja) 非同期バスインタフェース回路及びマイクロコンピュータ
JP2017016285A (ja) 複数のデータ処理部でバッファを共有するデータ制御装置、制御方法
JP2005085079A (ja) データ転送制御装置
JP3461363B2 (ja) ビデオインタフェース
US7085948B2 (en) Method, apparatus, and computer program product for implementing time synchronization correction in computer systems
WO2016095340A1 (zh) 数据发送成功的确认方法及装置
WO2017005009A1 (zh) 外部设备扩展卡及输入输出外部设备的数据处理方法
TW480406B (en) Two-way cache system of peripheral device interface and its operating method
JP4135374B2 (ja) 拡張カードおよび拡張カードの記憶部へのデータ書き込み方法
Ciuffoletti Using simple diffusion to synchronize the clocks in a distributed system

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees