TWI690789B - 圖形處理器系統 - Google Patents

Abstract

本發明提供一種圖形處理器系統，包括：一中央處理器，一第一PCIE交換機與中央處理器相連，一第二PCIE交換機與第一PCIE交換機相連，下行連接複數個圖形處理器，一第三PCIE交換機與第一PCIE交換機相連，下行連接複數個圖形處理器，一管理板與第一PCIE交換機、第二PCIE交換機和第三PCIE交換機分別相連，進行管理設置。本發明實現了多主機和多終端之間的靈活通信，解決了GPU相互之間的P2P通信頻寬偏低的問題。

Description

圖形處理器系統

本發明屬於資料處理技術領域，涉及一種資料處理系統，特別是涉及一種圖形處理器系統。

隨著虛擬實境和人工智慧技術的快速發展，對具有海量資料計算和處理能力的系統的需求逐漸攀升。圖形處理器（Graphics Processing Unit，GPU）正是以高計算性能著稱，近年來顯得格外受歡迎。

GPU又稱顯示核心、視覺處理器、顯示晶片，其是一種專門在個人電腦、工作站、遊戲機和一些移動設備（如平板電腦、智慧手機等）上執行圖像運算工作的微處理器。GPU的用途是將電腦系統所需要的顯示資訊進行轉換驅動，並向顯示器提供行掃描信號，控制顯示器的正確顯示，是連接顯示器和個人電腦主機板的重要元件，也是“人機對話”的重要設備之一。

在實際應用中，採用多GPU系統來增強圖形處理能力是常用手段，但由於GPU與CPU（中央處理器）之間通信介面的限制，以及GPU與GPU之間通信頻寬的限制，多GPU系統的圖形處理能力也是受限的，並不能隨著GPU數量的增多而呈現指數增強的效果。

本鑒於以上所述現有技術的缺點，本發明的目的在於提供一種圖形處理器系統，用於解決現有多GPU系統的通信速率低的問題。

為實現上述目的及其他相關目的，本發明提供一種圖形處理器系統，所述圖形處理器系統包括：一中央處理器；一第一快捷外設互聯標準交換機，與所述中央處理器相連；一第二快捷外設互聯標準交換機，與所述第一快捷外設互聯標準交換機相連；所述第二快捷外設互聯標準交換機下行連接複數個圖形處理器；一第三快捷外設互聯標準交換機，與所述第一快捷外設互聯標準交換機相連；所述第三快捷外設互聯標準交換機下行連接複數個圖形處理器；一管理板，與所述第一快捷外設互聯標準交換機、第二快捷外設互聯標準交換機和第三快捷外設互聯標準交換機分別相連，對所述第一快捷外設互聯標準交換機、第二快捷外設互聯標準交換機和第三快捷外設互聯標準交換機進行管理設置。

於本發明的一實施例中，所述第一快捷外設互聯標準交換機包括：至少一第一主機埠，用於與所述中央處理器通信相連；至少二個第一光纖通信埠，用於分別與所述第二快捷外設互聯標準交換機和所述第三快捷外設互聯標準交換機通信相連；至少一第一上行埠，用於與所述管理板通信相連。

於本發明的一實施例中，所述第二快捷外設互聯標準交換機包括：至少一第二光纖通信埠，用於與所述第一快捷外設互聯標準交換機的一第一光纖通信埠通信相連；至少一第二上行埠，用於與所述管理板通信相連；至少一第二下行埠，用於與圖形處理器通信相連。

於本發明的一實施例中，所述第三快捷外設互聯標準交換機包括：至少一第三光纖通信埠，用於與所述第一快捷外設互聯標準交換機的另一第一光纖通信埠通信相連；至少一第三上行埠，用於與所述管理板通信相連；至少一第三下行埠，用於與圖形處理器通信相連。

於本發明的一實施例中，所述第二快捷外設互聯標準交換機下行連接的一圖形處理器發出一傳輸線脈衝時，所述第二快捷外設互聯標準交換機的對應第二下行埠接收所述傳輸線脈衝，並向上發出第二匯流排彙報；所述第二快捷外設互聯標準交換機的其他第二下行埠監聽所述第二匯流排彙報，若所述第二匯流排彙報包含的位址屬於所述第二快捷外設互聯標準交換機的其他第二下行埠之一，則所述第二快捷外設互聯標準交換機對應的第二下行埠接收所述傳輸線脈衝；若所述第二匯流排彙報包含的位址不屬於所述第二快捷外設互聯標準交換機的其他第二下行埠之一，則所述第二快捷外設互聯標準交換機的第二光纖通信埠向上轉發所述傳輸線脈衝至所述第一快捷外設互聯標準交換機。

於本發明的一實施例中，所述第一快捷外設互聯標準交換機對應的一第一光纖通信埠接收所述傳輸線脈衝，並向上發出第一匯流排彙報；所述第一快捷外設互聯標準交換機的另一第一光纖通信埠監聽所述第一匯流排彙報，若所述第一匯流排彙報包含的位址屬於所述第一快捷外設互聯標準交換機的另一第一光纖通信埠，則所述第一快捷外設互聯標準交換機的另一第一光纖通信埠接收所述傳輸線脈衝，並向下轉發所述傳輸線脈衝。

於本發明的一實施例中，所述第三快捷外設互聯標準交換機的第三光纖通信埠接收所述傳輸線脈衝，並向下轉發第三匯流排彙報；所述第三快捷外設互聯標準交換機的第三下行埠監聽所述第三匯流排彙報，若所述第三匯流排彙報包含的位址屬於所述第三快捷外設互聯標準交換機的第三下行埠之一，則所述第三快捷外設互聯標準交換機對應的第三下行埠接收所述傳輸線脈衝，並向下轉發所述傳輸線脈衝；與所述第三快捷外設互聯標準交換機對應的第三下行埠相連的圖形處理器接收所述傳輸線脈衝。

於本發明的一實施例中，所述第二快捷外設互聯標準交換機下行連接的複數個圖形處理器彼此間通過NVLink埠通信或通過所述第二快捷外設互聯標準交換機通信。

於本發明的一實施例中，所述第三快捷外設互聯標準交換機下行連接複數個圖形處理器彼此間通過NVLink埠通信或通過所述第三快捷外設互聯標準交換機通信。

於本發明的一實施例中，所述管理板對所述第一快捷外設互聯標準交換機、第二快捷外設互聯標準交換機和第三快捷外設互聯標準交換機進行動態管理。

於本發明的一實施例中，所述第二快捷外設互聯標準交換機的一第二下行埠與網卡相連；或/和所述第三快捷外設互聯標準交換機的一第三下行埠與網卡相連。

如上所述，本發明所述的圖形處理器系統，具有以下有益效果。

本發明所述的快捷外設互聯標準交換機的光纖通信模式主要用於多交換機組網，利用管理埠對交換機的動態管理，可以實現多主機（CPU中央處理器）和多終端（GPU圖形處理器）之間的靈活通信。

本發明可以解決GPU相互之間的P2P通信頻寬偏低的問題，可以給GPU和CPU之間提供高頻寬，最多可以提供六組X16 PCIE（快捷外設互聯標準）通信頻寬。

本發明將二級快捷外設互聯標準交換機通過網卡接入網路中後，可實現同一網路中的不同GPU系統間的資料直接交換，而不需要經過CPU及其記憶體，極大地提高了GPU系統間的資料交換能力。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下通過特定的具體實例說明本發明的實施方式，本領域技術人員可由本說明書所揭露的內容輕易地瞭解本發明的其他優點與功效。本發明還可以通過另外不同的具體實施方式加以實施或應用，本說明書中的各項細節也可以基於不同觀點與應用，在沒有背離本發明的精神下進行各種修飾或改變。需說明的是，在不衝突的情況下，以下實施例及實施例中的特徵可以相互組合。

需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本發明的基本構想，遂圖式中僅顯示與本發明中有關的組件而非按照實際實施時的元件數目、形狀及尺寸繪製，其實際實施時各元件的型態、數量及比例可為一種隨意的改變，且其元件佈局型態也可能更為複雜。

多圖形處理器（Graphics Processing Unit，GPU）系統除了對GPU與中央處理器（Central Processing Unit Processor，CPU）之間有高頻寬性能有需求之外，還要求GPU之間有很高的頻寬能力，即P2P（Peer to Peer，點對點）頻寬。

為便於描述，後續說明書和附圖中將採用業內英文縮寫簡稱來描述，中央處理器為CPU，圖形處理器為GPU，快捷外設互聯標準為PCIE。

為了提高多GPU系統的頻寬，本發明提供一種圖形處理器系統，如圖1所示，所述圖形處理器系統100包括：一中央處理器（CPU）110，一第一快捷外設互聯標準（Peripheral Component Interconnect Express，PCIE）交換機120，一第二快捷外設互聯標準（Peripheral Component Interconnect Express，PCIE）交換機130，一第三快捷外設互聯標準（Peripheral Component Interconnect Express，PCIE）交換機140，或/和一管理板170。

所述第一PCIE交換機120與所述CPU110相連。

參見圖2所示，於本發明一實施例中，所述第一PCIE交換機120包括：至少一第一主機埠121，至少二個第一光纖通信埠122，或/和至少一第一上行埠123。所述至少一第一主機埠121用於與所述CPU通信相連；所述至少二個第一光纖通信埠122用於分別與所述第二PCIE交換機和所述第三PCIE交換機通信相連；所述至少一第一上行埠123用於與所述管理板通信相連。

所述第二PCIE交換機130與所述第一PCIE交換機120相連；所述第二PCIE交換機130下行連接複數個GPU150。所述第二PCIE交換機130下行連接的複數個GPU150彼此間通過NVLink埠通信或通過所述第二PCIE交換機130通信。

參見圖3所示，于本發明一實施例中，所述第二PCIE交換機130包括：至少一第二光纖通信埠131，至少一第二上行埠132，或/和至少一第二下行埠133。所述至少一第二光纖通信埠131用於與所述第一PCIE交換機的一第一光纖通信埠122通信相連；所述至少一第二上行埠132用於與所述管理板170通信相連；所述至少一第二下行埠133用於與GPU150通信相連。所述第二PCIE交換機的一第二下行埠133可與網卡相連。

所述第三PCIE交換機140與所述第一PCIE交換機120相連；所述第三PCIE交換機140下行連接複數個GPU160。所述第三PCIE交換機140下行連接複數個GPU160彼此間通過NVLink埠通信或通過所述第三PCIE交換機140通信。

參見圖4所示，于本發明一實施例中，所述第三PCIE交換機140包括：至少一第三光纖通信埠141，至少一第三上行埠142，或/和至少一第三下行埠143。所述至少一第三光纖通信埠141用於與所述第一PCIE交換機的另一第一光纖通信埠122通信相連；所述至少一第三上行埠142用於與所述管理板170通信相連；所述至少一第三下行埠143用於與GPU160通信相連。所述第三PCIE交換機的一第三下行埠143可與網卡相連。

所述管理板170與所述第一PCIE交換機120、第二PCIE交換機130和第三PCIE交換機140分別相連，對所述第一PCIE交換機、第二PCIE交換機和第三PCIE交換機進行管理設置。于本發明一實施例中，所述管理板可對所述第一PCIE交換機、第二PCIE交換機和第三PCIE交換機進行動態管理。

于本發明一實施例中，若所述第二PCIE交換機下行連接的一GPU與所述第三PCIE交換機下行連接的一GPU之間需要進行通信，則通信過程可參見圖5所示，包括：

S501，所述第二PCIE交換機下行連接的一GPU發出一傳輸線脈衝；

S502，所述第二PCIE交換機的對應第二下行埠接收所述傳輸線脈衝，並向上發出第二匯流排彙報；

S503，所述第二PCIE交換機的其他第二下行埠監聽所述第二匯流排彙報；

S504，若所述第二匯流排彙報包含的位址屬於所述第二PCIE交換機的其他第二下行埠之一，則所述第二PCIE交換機對應的第二下行埠接收所述傳輸線脈衝；

S505，若所述第二匯流排彙報包含的位址不屬於所述第二PCIE交換機的其他第二下行埠之一，則所述第二PCIE交換機的第二光纖通信埠向上轉發所述傳輸線脈衝至所述第一PCIE交換機；

S506，所述第一PCIE交換機對應的一第一光纖通信埠接收所述傳輸線脈衝，並向上發出第一匯流排彙報；

S507，所述第一PCIE交換機的另一第一光纖通信埠監聽所述第一匯流排彙報；

S508，若所述第一匯流排彙報包含的位址屬於所述第一PCIE交換機的另一第一光纖通信埠，則所述第一PCIE交換機的另一第一光纖通信（fabric）埠接收所述傳輸線脈衝，並向下轉發所述傳輸線脈衝；

S509，所述第三PCIE交換機的第三光纖通信埠接收所述傳輸線脈衝，並向下轉發第三匯流排彙報；

S510，所述第三PCIE交換機的第三下行埠監聽所述第三匯流排彙報；

S511，若所述第三匯流排彙報包含的位址屬於所述第三PCIE交換機的第三下行埠之一，則所述第三PCIE交換機對應的第三下行埠接收所述傳輸線脈衝，並向下轉發所述傳輸線脈衝；

S512，與所述第三PCIE交換機對應的第三下行埠相連的GPU接收所述傳輸線脈衝。

本發明中，NVLink是英偉達（NVIDIA）開發並推出的一種匯流排及其通信協定。NVLink採用點對點結構、串列傳輸，用於GPU與GPU之間的連接，也可用於CPU與GPU之間的連接。NVLink埠是GPU與GPU之間或者CPU與GPU之間的點對點通訊連接埠。

如圖6所示，NVLink埠實現了GPU與GPU之間的直接通信，但每個GPU只有六組NVLink，當系統中的GPU數量達到八個時，NVLink就無法涵蓋所有GPU的通信。

如圖7所示，在八GPU系統中，CPU端至少要提供兩組X16的PCIE埠，然後利用PCIE 交換機擴展出八組X16的PCIE埠；當只有一級PCIE交換機時，左右兩半部分的GPU只能透過CPU做P2P通信。當有兩級PCIE交換機時，可以利用PCIE交換機同一橋下兩個不同下行埠之間可以P2P通信的特性，但僅限於只有一個上行埠的基本模式。這種拓撲結構下，GPU系統與CPU之間只有一組X16 PCIE埠，頻寬遠遠不夠。因此，將三個PCIE交換機的工作模式調整為光纖通信（fabric）模式，向下八組PCIE埠和八個GPU相連，向上兩組PCIE埠和CPU相連，一級PCIE交換機分別和兩個二級PCIE交換機相連，三個PCIE交換機各有一個管理埠通過PEX8608掛在一個管理板（mCPU）上，如圖8所示。

圖8所示的三個PCIE交換機（PEX9797）均設置為光纖通信（fabric）模式，第一個PCIE交換機的port0和port4設置為主機埠（host port），與CPU的兩個根埠（root port）相連，如果CPU的PCIE資源充足，另外可以將第一個PCIE交換機的port16和port20也設置為主機埠（host port）和CPU相連，這樣可以給GPU和CPU的通信提供最大的頻寬性能。第一個PCIE交換機的port8和port12分別與第二、三個PCIE交換機的port0相連，均設置為光纖通信埠（fabric port）；三個PCIE交換機的port24均設置為管理埠（management port），作為上行埠，通過PEX8608與管理板（mCPU）相連；其餘均為下行埠和PCIE設備相連，包括八個GPU。如果接網卡的話，插在第二、三個PCIE交換機的下行埠上即可。

圖8所示的系統啟動順序如下：

1）啟動GPU板子；

2）啟動mCPU系統，並啟動mCPU fabric driver（光纖驅動器），分配GPU0-3給Host port 0，分配GPU4-7給Host port 4；

3）啟動Host系統。

以GPU0與GPU4通信為例，TLP（Transmission Line Pulse，傳輸線脈衝）傳輸過程為：

1）GPU0發出TLP，switch 2的port4接收該TLP，並向上發出匯流排事物；

2）Switch2（即第二PCIE交換機）上的其它port監聽，發現沒有port的Address Trap（位址陷阱）包含這個位址，於是由該switch2的upstream port（上行埠port 0）向上轉發；

3）Switch1的port 8收到TLP，並向上發出匯流排事物，switch1的port 12包含這個位址，所以port 12接收這個TLP，並向下轉發該TLP；

4）Switch 3的upstream port（上行埠）接收該TLP，並向下發出匯流排事物，switch 3的port4包含該TLP的位址，將接收該TLP，並向下發TLP；

5）GPU4接收該TLP。

本發明所述的PCIE交換機的光纖通信模式主要用於多交換機組網，利用管理埠對交換機的動態管理，可以實現多主機（CPU）和多終端（GPU）之間的靈活通信。

本發明可以解決GPU相互之間的P2P通信頻寬偏低的問題，可以給GPU和CPU之間提供高頻寬，最多可以提供六組X16 PCIE通信頻寬。

本發明將二級PCIE交換機通過網卡接入網路中後，可實現同一網路中的不同GPU系統間的資料直接交換，而不需要經過CPU及其記憶體，極大地提高了GPU系統間的資料交換能力。

綜上所述，本發明有效克服了現有技術中的種種缺點而具高度產業利用價值。

上述實施例僅例示性說明本發明的原理及其功效，而非用於限制本發明。任何熟悉此技術的人士皆可在不違背本發明的精神及範疇下，對上述實施例進行修飾或改變。因此，舉凡所屬技術領域中具有通常知識者在未脫離本發明所揭示的精神與技術思想下所完成的一切等效修飾或改變，仍應由本發明的權利要求所涵蓋。

100:圖形處理器系統

110:中央處理器

120:第一快捷外設互聯標準交換機

121:第一主機埠

122:第一光纖通信埠

123:第一上行埠

130:第二快捷外設互聯標準交換機

131:第二光纖通信埠

132:第二上行埠

133:第二下行埠

140:第三快捷外設互聯標準交換機

141:第三光纖通信埠

142:第三上行埠

143:第三下行埠

150，160:圖形處理器

170:管理板

S501~S512:步驟

圖1顯示為本發明實施例所述的圖形處理器系統的一種示例性實現結構示意圖。 圖2顯示為本發明實施例所述的第一快捷外設互聯標準交換機的一種示例性埠結構示意圖。 圖3顯示為本發明實施例所述的第二快捷外設互聯標準交換機的一種示例性埠結構示意圖。 圖4顯示為本發明實施例所述的第三快捷外設互聯標準交換機的一種示例性埠結構示意圖。 圖5顯示為本發明實施例所述的第三快捷外設互聯標準交換機的一種示例性圖形處理器之間的通信流程示意圖。 圖6顯示為本發明實施例所述的GPU與GPU之間的一種示例性通信結構示意圖。 圖7顯示為本發明實施例所述的GPU與CPU之間的一種示例性通信結構示意圖。 圖8顯示為本發明實施例所述的GPU與CPU之間的另一種示例性通信結構示意圖。

100:圖形處理器系統

110:中央處理器

120:第一PCIE交換機

130:第二PCIE交換機

140:第三PCIE交換機

150，160:圖形處理器

170:管理板

Claims (11)

1. 一種圖形處理器系統，其特徵在於，所述圖形處理器系統包括：一中央處理器；一第一快捷外設互聯標準交換機，與所述中央處理器相連；一第二快捷外設互聯標準交換機，與所述第一快捷外設互聯標準交換機相連；所述第二快捷外設互聯標準交換機下行連接複數個圖形處理器；一第三快捷外設互聯標準交換機，與所述第一快捷外設互聯標準交換機相連；所述第三快捷外設互聯標準交換機下行連接複數個圖形處理器；以及一管理板，與所述第一快捷外設互聯標準交換機、第二快捷外設互聯標準交換機和第三快捷外設互聯標準交換機分別相連，對所述第一快捷外設互聯標準交換機、第二快捷外設互聯標準交換機和第三快捷外設互聯標準交換機進行管理設置。
2. 根據請求項1所述的圖形處理器系統，其特徵在於，所述第一快捷外設互聯標準交換機包括：至少一第一主機埠，用於與所述中央處理器通信相連； 至少二個第一光纖通信埠，用於分別與所述第二快捷外設互聯標準交換機和所述第三快捷外設互聯標準交換機通信相連；以及至少一第一上行埠，用於與所述管理板通信相連。
3. 根據請求項2所述的圖形處理器系統，其特徵在於，所述第二快捷外設互聯標準交換機包括：至少一第二光纖通信埠，用於與所述第一快捷外設互聯標準交換機的一第一光纖通信埠通信相連；至少一第二上行埠，用於與所述管理板通信相連；以及至少一第二下行埠，用於與圖形處理器通信相連。
4. 根據請求項3所述的圖形處理器系統，其特徵在於，所述第三快捷外設互聯標準交換機包括：至少一第三光纖通信埠，用於與所述第一快捷外設互聯標準交換機的另一第一光纖通信埠通信相連；至少一第三上行埠，用於與所述管理板通信相連；以及至少一第三下行埠，用於與圖形處理器通信相連。
5. 根據請求項4所述的圖形處理器系統，其特徵在於：所述第二快捷外設互聯標準交換機下行連接的一圖形處理器發出一傳輸線脈衝時，所述第二快捷外設互聯標準交換機的對應 第二下行埠接收所述傳輸線脈衝，並向上發出第二匯流排彙報；所述第二快捷外設互聯標準交換機的其他第二下行埠監聽所述第二匯流排彙報，若所述第二匯流排彙報包含的位址屬於所述第二快捷外設互聯標準交換機的其他第二下行埠之一，則所述第二快捷外設互聯標準交換機對應的第二下行埠接收所述傳輸線脈衝；若所述第二匯流排彙報包含的位址不屬於所述第二快捷外設互聯標準交換機的其他第二下行埠之一，則所述第二快捷外設互聯標準交換機的第二光纖通信埠向上轉發所述傳輸線脈衝至所述第一快捷外設互聯標準交換機。
6. 根據請求項5所述的圖形處理器系統，其特徵在於：所述第一快捷外設互聯標準交換機對應的一第一光纖通信埠接收所述傳輸線脈衝，並向上發出第一匯流排彙報；所述第一快捷外設互聯標準交換機的另一第一光纖通信埠監聽所述第一匯流排彙報，若所述第一匯流排彙報包含的位址屬於所述第一快捷外設互聯標準交換機的另一第一光纖通信埠，則所述第一快捷外設互聯標準交換機的另一第一光纖通信埠接收所述傳輸線脈衝，並向下轉發所述傳輸線脈衝。
7. 根據請求項6所述的圖形處理器系統，其特徵在於：所述第三快捷外設互聯標準交換機的第三光纖通信埠接收所 述傳輸線脈衝，並向下轉發第三匯流排彙報；所述第三快捷外設互聯標準交換機的第三下行埠監聽所述第三匯流排彙報，若所述第三匯流排彙報包含的位址屬於所述第三快捷外設互聯標準交換機的第三下行埠之一，則所述第三快捷外設互聯標準交換機對應的第三下行埠接收所述傳輸線脈衝，並向下轉發所述傳輸線脈衝；與所述第三快捷外設互聯標準交換機對應的第三下行埠相連的圖形處理器接收所述傳輸線脈衝。
8. 根據請求項1所述的圖形處理器系統，其特徵在於：所述第二快捷外設互聯標準交換機下行連接的複數個圖形處理器彼此間通過NVLink埠通信或通過所述第二快捷外設互聯標準交換機通信。
9. 根據請求項1所述的圖形處理器系統，其特徵在於：所述第三快捷外設互聯標準交換機下行連接複數個圖形處理器彼此間通過NVLink埠通信或通過所述第三快捷外設互聯標準交換機通信。
10. 根據請求項9所述的圖形處理器系統，其特徵在於：所述管理板對所述第一快捷外設互聯標準交換機、第二快捷外設互聯標準交換機和第三快捷外設互聯標準交換機進行動態管理。
11. 根據請求項4所述的圖形處理器系統，其特徵在於：所述第二快捷外設互聯標準交換機的一第二下行埠與網卡相連；或/和所述第三快捷外設互聯標準交換機的一第三下行埠與網卡相連。

Images