TWI534629B - 資料傳輸方法及資料傳輸系統 - Google Patents

資料傳輸方法及資料傳輸系統 Download PDF

Info

Publication number
TWI534629B
TWI534629B TW104125264A TW104125264A TWI534629B TW I534629 B TWI534629 B TW I534629B TW 104125264 A TW104125264 A TW 104125264A TW 104125264 A TW104125264 A TW 104125264A TW I534629 B TWI534629 B TW I534629B
Authority
TW
Taiwan
Prior art keywords
data
node
pcie
nodes
network interface
Prior art date
Application number
TW104125264A
Other languages
English (en)
Other versions
TW201640360A (zh
Inventor
趙茂贊
施青志
Original Assignee
廣達電腦股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 廣達電腦股份有限公司 filed Critical 廣達電腦股份有限公司
Application granted granted Critical
Publication of TWI534629B publication Critical patent/TWI534629B/zh
Publication of TW201640360A publication Critical patent/TW201640360A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/36Handling requests for interconnection or transfer for access to common bus or bus system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4063Device-to-bus coupling
    • G06F13/4068Electrical coupling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/42Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Small-Scale Networks (AREA)
  • Information Transfer Systems (AREA)

Description

資料傳輸方法及資料傳輸系統
本揭露一般而言係指一種在計算機系統中的資料傳輸。
隨著網際網路服務以及雲端運算的成長普及化,企業及個人更加仰賴資訊科技。為了處理大量的計算需求,大型資料中心(data centers)變為更強大和更有效率。典型的資料中心包含一大群的網路伺服器和節點,以用於遠端儲存、處理或分佈大量資料。舉例而言,資料中心可包含大量的機架單元,每一機架單元容置許多節點。此些節點可經由網路介面層和通訊協定層傳輸資料。
對於資料傳輸的骨幹網路而言,網路設計為資料中心拓樸之一重要方面。特別地,高速資料傳輸通訊協定優選於網路效率的最佳化上。
本技術的一些方面揭露使用PCIe(Peripheral Component Interconnect Express;快速週邊組件互連,下稱PCIe)技術來實現高頻寬和低延遲資料傳輸的技術。在各個實施例中,藉由從一或多個節點去耦接(decoupling)乙太網路介面控制器(Ethernet Network Interface Controllers;Ethernet NICs)本技術可達成用於機架內部(intra-rack)資料傳輸的資料傳輸效果。
根據一些實施例,本技術可藉由使用PCIe來提供高速,以用於機架內部資料傳輸。根據一些實施例,本技術可將乙太網路介面控制器與從交換器設備實體分離的PCIe設備耦接,消除由任何內嵌網路介面控制器至交換器設備之矽中所導致的彈性缺乏。
根據一些實施例,在機架內的每一節點具有與其相關的專用乙太網路介面控制器。網路介面控制器可實施網路介面,例如區域網路(local area network;LAN),以用於網路設備之間的資料傳輸。舉例而言,根據乙太網路通訊協定,藉由辨別在封包標頭中的來源網際網路通訊協定位址和目的地網際網路通訊協定位址,乙太網路介面控制器可自一來源節點傳輸資料至一目的地節點。
根據一些實施例,基於與節點有關的網路負載,節點可從網路介面控制器設備池而被動態分配乙太網路介面控制器。根據一些實施例,基於節點的儲存分配,節點可被分配其他週邊設備,例如儲存卡。
根據一些實施例,本技術可利用PCIe交換器以提供彈性和動態的網路管理。舉例而言,PCIe交換器可分配一或多個網路介面控制器至節點A。PCIe交換器可重新分配從節點A至節點B的網路介面控制器。另外,PCIe交換器可管理其他PCIe設備,例如快速非揮發性記憶體(Non-Volatile Memory Express;NVMe)控制器或儲 存設備。此外,其他輸入輸出擴展技術(I/O expansion technology)交換器可用於提供動態網路管理。
根據一些實施例,服務控制器,例如基板管理控制器(Baseboard Management Controller;BMC),可與PCIe交換器通訊以用於配置。基板管理控制器為獨立且內嵌的微控制器,在一些實施例中,負責管理及監控主要中央處理單元和在主機板上的週邊設備。根據一些實施例,基板管理控制器可經由其網路介面控制器所實施的專用介面提供區域網路(local area network;LAN)存取至PCIe交換器。此外,其他服務控制器,例如機架管理控制器(Rack Management Controller;RMC),可管理PCIe交換器,亦可與交換器通訊。
雖然在此敘述許多關於利用PCIe之高速資料傳輸容量的示例,應理解的是,本技術並不侷限在此些示例。更確切地說,任何輸入輸出擴展匯流排技術都可使用。
此外,即使本揭露使用PCIe交換器作為如何動態分配網路介面控制器的例示方法,本技術可應用至其他可處理高速資料傳輸和提供交換功能的交換器設備。
本揭露的額外特徵和優點將在隨後的說明中闡述,且部分的額外特徵和優點從說明來看將為顯而易見,或者可藉由實踐所揭露的原理而得知。可採用後附申請專利範圍中所具體提出的手段及組合來實現和獲知本揭露的特徵和優點。此些特徵和優點以及其他特徵將根據後續的說明和 後附申請專利範圍而變得更為充分明顯,或者可以透過實踐本揭露中闡述的原理而獲知。
102、104、202、236、302、336‧‧‧機架
106、108、232、234、332、334‧‧‧架頂式交換器
118‧‧‧通訊鏈結
120‧‧‧整合交換器
206、208、210、212、214、306、308、310、312、314‧‧‧節點
218、318‧‧‧PCIe背板
222、224、226、228、230、322、324、326、328、330‧‧‧網路介面控制器
238、340‧‧‧輸入/輸出設備池
338、402‧‧‧PCIe交換器
404、405‧‧‧上行埠
406、408、410、412‧‧‧下行埠
500、600‧‧‧流程圖
502、504、506、602、604、606‧‧‧步驟
700‧‧‧系統架構
702‧‧‧基板管理控制器
704‧‧‧處理器
706‧‧‧輸入設備
708‧‧‧PCIe設備
710‧‧‧網路介面
712‧‧‧顯示器
714‧‧‧儲存設備
726‧‧‧系統記憶體
為了更完整了解實施例及其優點,現參照結合所附圖式所做之下列描述,其中:〔圖1〕繪示依據一些實施例之一整體系統示意圖,其包含伺服器機架和交換器;〔圖2〕為依據一些實施例之一方塊示意圖,其繪示具專用網路介面控制器之PCIe高頻寬機架系統的一示例;〔圖3〕為依據一些實施例之另一示意方塊圖,其繪示具動態網路介面控制器分配的PCIe高頻寬機架系統之一示例;〔圖4〕為依據一些實施例之一方塊示意圖,其繪示PCIe交換器的一示例;〔圖5〕為依據一些實施例之用於PCIe高頻寬機架系統之示例流程圖;〔圖6〕為依據一些實施例之用於具有PCIe交換器的PCIe高頻寬機架系統之另一示例流程圖;以及〔圖7〕繪示依據一些實施例之一計算機設備之一計算平台。
下面詳細地討論本技術的各實施例。雖然特定的實施方式被討論,但應理解的是,此僅是為了說明的目 的。所屬相關領域的技術人員可了解到,可以使用其他元件及配置而不偏離本技術的精神和範圍。
為了滿足成長的計算需求,計算機系統需要高頻寬和低延遲的資料傳輸。在現代的資料中心拓樸設計中,交換器被建立至機架單元的背板(backplane)中,以互連不同的節點。此些內建的交換器稱為交換器結構(switch fabrics),因為其直接以銅或光纖來連接節點,故可減少網路配線的複雜度。舉例而言,架頂式(Top-of-Rack;ToR)交換器可由內部或外部路由(route)資料至機架。其他種類的內建交換器為整合交換器,其內建於機架單元中間,此機架單元可與其他網路設備通訊。
傳統上,內建的交換器使用乙太網路介面以用於訊號的路由。乙太網路為一廣泛被採用的區域網路技術,其制定於IEEE 802.3中。乙太網路為可靠的網路,且其提供高吞吐容量。舉例而言,十億位元(1Gigabit)或百億位元(10Gigabit)的乙太網路訊號定義速率為每秒十億位元或百億位元的乙太網路訊框。
然而,與在一機架單位中的其他高頻寬系統介面相比較,乙太網路介面具有較低的頻寬和較高的延遲。因此,乙太網路介面或網路介面控制器為高速資料傳輸中的瓶頸。
一種解決方法為從一節點移除乙太網路介面控制器且將網路介面控制器嵌入至一交換器的矽中,例如一晶粒。但是,內嵌的網路介面控制器不容易隨著科技的演進而 升級或改變。舉例而言,當一新的網路介面控制器技術(例如,遠端直接記憶體存取(Remote Direct Memory Access)變成可使用時,管理員需要改變交換器設備,以跟上新的網路介面控制器技術。此外,當嵌入式網路介面控制器失效時,取代失效的網路介面控制器也極為困難。因此,嵌入式網路介面控制器造成網路管理缺乏彈性。
因此,需要提供一種高頻寬和低延遲且不失彈性的資料傳輸介面,以用於網路介面控制器的替換或升級。
PCIe為用於連接安裝至主機板中之週邊設備的高速序列計算機輸入輸出(Input/Output;I/O)匯流排標準。藉由利用點對點序列走線來取代共享的並行匯流排架構,PCIe鏈結可提供高頻寬和低延遲的資料傳輸,例如在每一傳輸方向中的16個通道插槽的速度超過30GB/s。此外,兩個PCIe設備之間的連接為PCIe鏈結,其可包含一或多個通道。
根據一些實施例,本技術可藉由提供互連節點之間的PCIe資料傳輸來實現互連節點的高頻寬低延遲資料傳輸。特別地,本技術的一些方面可藉由,例如允許從與其相關的節點實體分離乙太網路介面控制器,且耦接網路介面控制器與PCIe設備,來增加伺服器的功能。因為PCIe設備從交換器設備(例如架頂式交換器)實體分離,其可消除由在交換器設備中的內嵌網路介面控制器所導致的彈性缺乏。另外,本技術的其他面向將特定於較低頻寬的網路通訊協定所產生的問題,例如機架伺服器系統中的乙太網路。
除了PCIe之外,本技術可利用其它高吞吐量計算機輸入輸出擴展技術,以達到機架內部資料傳輸的高頻寬和低延遲資料傳輸。
根據一些實施例,在機架中的節點可被分配專用的乙太網路介面控制器。網路介面控制器可實施網路介面,例如區域網路,以用於網路設備之間的資料傳輸。舉例而言,根據乙太網路通訊協定,藉由辨別在封包標頭中的來源網際網路通訊協定位址和目的地網際網路通訊協定位址,乙太網路介面控制器可自一來源節點傳輸資料至一目的地節點。
根據一些實施例,基於節點的網路負載,節點可從複數網路介面控制器設備中被動態地分配乙太網路介面控制器。舉例而言,節點A用以主控一網頁應用,其在早上9點至下午5點之尖峰時段處理大量的資料傳輸。為了提供必要的網路流通容量,節點A可被分配具有兩個網際網路位址的兩個乙太網路介面控制器。此外,二或多個節點可共享網路介面控制器。
根據一些實施例,本技術可利用PCIe交換器而提供彈性及動態的網路管理。舉例而言,PCIe交換器可分配一或多個網路介面控制器至節點A,或是改變從節點A至節點B的網路介面控制器。另外,PCIe交換器可管理其他PCIe設備,例如快速非揮發性記憶體控制器或儲存卡。
根據一些實施例,服務控制器,例如基板管理控制器,可與PCIe交換器通訊以用於配置 (configuration)。基板管理控制器為獨立且內嵌的微控制器,在一些實施例中,負責管理及監控主要中央處理單元和在主機板上的週邊設備。基板管理控制器可經由智慧平台管理介面(Intelligent Platform Management Interface;IPMI)規格與其他設備通訊。智慧平台管理介面規格可定義介面,以用於硬體管理。根據一些實施例,基板管理控制器可經由與其相關的網路介面控制器所實施的專用介面提供區域網路(local area network:LAN)存取至PCIe交換器。另外,與多個基板管理控制器通訊的機架管理控制器可藉由與其相關的網路介面控制器所實施的專用介面來管理在機架單元中的PCIe交換器。
圖1繪示依據一些實施例之一整體系統示意圖,其包含伺服器機架和交換器。應理解的是,圖1中的拓樸為一示例,且任何數量的機架、交換器和網路元件可包含在圖1的網路中。
網路系統可包含多數由不同網路介面所連接的機架。舉例而言,系統可包含機架102和機架104。每一機架102和機架104可包含一群伺服器或節點。此些節點可主控不同的客戶端應用,例如電子郵件或網路應用。另外,此些節點可經由交換器結構的階層(layers)傳輸資料,此些交換器結構係建立在機架的架構中。舉例而言,架頂式交換器106通常被放置在機架102的頂部機箱。藉由使用通訊鏈結118,架頂式交換器106可經由架頂式交換器108傳輸資料至機架104中的其他節點。
根據一些實施例,通訊鏈結118可基於由IEEE 802.3所規定的乙太網路通訊協定。乙太網路通訊協定定義用於開放系統互連(Open Systems Interconnection;OSI)模型的配線和訊號標準。乙太網路通訊協定亦定義在資料鏈結層(data link layer)的封包格式和媒體存取控制(Medium Access Control;MAC)格式。
根據一些實施例,本技術可實現PCIe資料傳輸以用於機架內部的網路資料傳輸(network traffic)。就電腦擴充卡的標準而言,PCIe可經由高速鏈結而連接週邊設備至計算機設備。通常,任何兩個PCIe設備之間的連接被稱作鏈結,且可包含一或多個通道。因為PCIe具備點對點序列鏈結,其可在乙太網路傳輸下提供高速資料傳輸之優點。舉例而言,16個通道插槽的PCIe設備之資料傳輸速度可到達超過30GB/s。此外,根據本技術之實施例,其他高速資料傳輸通訊協定可用於機架內部的網路資料傳輸。
根據一些實施例,機架內部的數據通訊(舉例而言,在機架102中節點之間的資料傳輸,或是在機架104中節點之間的資料傳輸)經由高速PCIe背板或匯流排而傳輸。其藉由將乙太網路介面控制器從相關的節點解耦接(decoupling)並移動網路介面控制器至PCIe設備(未繪示)來達成。另外,PCIe設備從乙太網路交換器(例如架頂式交換器106或整合交換器120)分離。因此,只有跨越不同機架(例如,從機架102至機架104)的網路資料傳輸需要通過可導致傳輸延遲的乙太網路介面控制器。
除了架頂式交換器106之外,機架102可包含內嵌在例如節點滑軌(sled)中的整合交換器120。整合交換器120可提供直接路由資料至滑軌中的節點。此外,整合交換器120可經由乙太網路傳輸資料至架頂式交換器106。
此外,網路系統的多個機架可由機架集合交換器(Rack Aggregation Switch)(未繪示)所管理,其可簡化網路以達成機架級架構(Rack Scale Architecture;RSA)。
圖2為依據一些實施例之一方塊示意圖,其繪示具專用網路介面控制器之PCIe高頻寬機架系統的一示例。機架202可包含一組節點,例如節點206、208、210、212和214,其用於不同的功能,例如儲存或計算。根據一些實施例,每一節點與乙太網路介面控制器相關,以實施與其他網路設備的網路介面,例如區域網路。如圖2所示,每一網路介面控制器222、224、226、228和230分別為節點206、208、210、212和214所專用。根據一些實施例,網路介面控制器222、224、226、228和230可被耦接至PCIe設備,其作為節點與架頂式交換器232之間的輸入/輸出設備池(I/O pool)238。
根據一些實施例,PCIe背板218可從此些節點的其中一者接收資料,決定資料的目的地(例如藉由辨別在資料中的控制指令來決定),且經由PCIe通訊協定或是乙太網路通訊協定的其中一者傳輸資料。舉例而言,PCIe背板218可從節點206經由PCIe鏈結接收資料。資料可轉換成 PCIe訊號之形式中傳送。PCIe背板218可決定資料的目的地(例如藉由辨別在封包標頭中的目的地網際網路位址來決定)。
當資料的目的地為在相同機架中的其他節點時,此時之數據通訊被定義是在機架內部(intra-rack),且此定義下可利用點對點高頻寬通訊協定。舉例而言,在決定資料的目的地為節點208後,資料可經由PCIe背板218而被傳輸至節點208的網路介面控制器224。
相反地,當資料的目的地為在其他機架中的節點時,數據通訊被定義是在機架間(inter-rack)的通訊,且在本示例中,此定義下之數據通訊需要乙太網路傳輸。舉例而言,當源自節點206的資料被決定為送至在機架236中的節點,資料將經由乙太網路而被轉送至架頂式交換器232,從而傳送資料至機架236中的架頂式交換器234。根據一些實施例,乙太網路介面控制器222可轉換PCIe訊號為乙太網路訊號。
或者,除了PCIe之外,其他高頻寬互連通訊協定可用於機架內部資料傳輸。舉例而言,InfiniBand可用於機架內部資料傳輸。
圖3為依據一些實施例之另一示意方塊圖,其繪示具動態網路介面控制器分配的PCIe高頻寬機架系統之一示例。機架302可包含一群節點,例如節點306、308、310、312和314,以用於例如儲存或計算等各種功能。
根據一些實施例,網路介面控制器322、324、326、328和330耦接至PCIe背板318,其經由輸入/輸出埠設備池340與PCIe交換器338通訊。根據一些實施例,依據系統的資料傳輸需求,PCIe交換器338可動態分配網路介面控制器322、324、326、328和330中的任何一者經由PCIe鏈結至節點306、308、312和314中的任何一者。
根據一些實施例,PCIe背板318可從此些節點之一者(例如,節點306)接收資料且決定資料的目的地,舉例而言,藉由辨識在標頭中的目的地網際網路位址來決定。當資料的目的地為其他節點(例如,節點310)時,數據通訊為機架內部之通訊。據此,機架內部資料流量可藉由PCIe背板318經由PCIe鏈結傳送。當資料的目的地為機架302外的節點時,數據通訊為機架間的通訊。據此,機架間的資料流量可由乙太網路通訊協定所轉換。
舉例而言,當源自節點306的資料將被送至機架336中的節點時,乙太網路介面控制器322可轉換PCIe訊號至乙太網路訊號。乙太網路訊號中的資料接著經由乙太網路而傳送至架頂式交換器332。架頂式交換器332再經由乙太網路而傳輸資料至架頂式交換器334。
根據一些實施例,PCIe交換器338可經配置以分配網路介面控制器326和網路介面控制器328至節點312。舉例而言,節點312用以主控一網頁應用,其在早上9點至下午5點之尖峰時段須處理大量的資料傳輸,為了在此尖峰時段提供對應網路流通容量,節點312可被分配具有兩 個網際網路位址之兩個乙太網路介面控制器326、328。換句話說,對網路流量較少(inactive)的節點可與其他節點共享網路介面控制器。
根據一些實施例,本技術可利用PCIe交換器以提供彈性和動態網路管理。除了網路介面控制器之外,PCIe交換器可管理其他PCIe設備,例如快速非揮發性記憶體(Non-Volatile Memory Express;NVMe)控制器或儲存卡。
另外,服務控制器,例如基板管理控制器(未繪示),可用以配置PCIe交換器338。管理者可使用管理設備來連接至基板管理控制器,以配置PCIe交換器338。舉例而言,管理者可分配網路介面控制器326與網路介面控制器328至節點312。其他服務控制器,例如機架管理控制器(未繪示),亦可用以配置PCIe交換器。
根據一些實施例,當PCIe背板到達資料傳輸容量時,PCIe橋接器(未繪示)可連接多個PCIe背板以增加容量。
此外,其他可提供高速資料傳輸和交換功能的交換器設備可依據本技術之揭露而被利用。
圖4為依據一些實施例之一方塊示意圖,其繪示PCIe交換器402的一示例。應理解的是,對於繪示於圖4的示例中的元件,PCIe交換器402可包含額外或較少的元件,或是元件的不同組合。舉例而言,雖未繪示於圖4中,PCIe交換器402可包含至少一交換控制器、一記憶體和一PCIe 橋接器。如圖4所繪示,PCIe交換器402可包含多個埠,其包含上行埠404和405以及下行埠406、408、410和412。
根據一些實施例,PCIe交換器402可由服務控制器配置,以提供在機架中的動態網路介面控制器分配。舉例而言,在判斷節點A(圖4未繪示)上所執行應用的數據吞吐量較在相同機架中其他節點為高後,管理者可配置PCIe交換器402,以分配二或多個網路介面控制器至節點A。此外,管理者可配置PCIe交換器402,以從一群網路介面控制器(網路介面控制器設備池)分配任何網路介面控制器至特定節點。根據一些實施例,其他服務控制器可用以配置PCIe交換器402。舉例而言,機架管理控制器可配置多個容置在機架中的PCIe交換器。
此外,PCIe交換器402可耦接至其他PCIe設備,例如可擴展交換器功效的快速非揮發性記憶體控制器。舉例而言,藉由利用快速非揮發性記憶體,節點可經由PCIe而耦接至固態式硬碟(solid-state drives;SSDs)。
圖5為依據一些實施例之用於PCIe高頻寬機架系統之示例流程圖500。應理解的是,除非另有規定,不然在各種實施例的範圍中可以有以類似或替代順序或並行的額外、較少或替代步驟。
在步驟502中,第一機架的計算機輸入輸出擴展背板(computer I/O expansion backplane)可接收由第一機架的第一節點所產生的資料。舉例而言,計算機輸入輸出擴展背板可為PCIe背板。根據一些實施例,資料可透 過PCIe訊號中傳送。根據一些實施例,其他高頻寬低延遲輸入輸出擴展背板可耦接至節點群。
在步驟504中,系統可決定接收的資料的目的地。根據一些實施例,此決定可基於辨別與所接收的資料相關的控制指令。舉例而言,PCIe背板可從封包辨別目的地的ID或位址。
在步驟506中,系統可傳輸資料至與決定的目的地相關的第二節點。根據一些實施例,當決定的目的地與在相同機架中的節點相關時(例如機架內部的網路數據流通),系統可使用PCIe通訊協定來直接傳輸資料至在相同機架中的節點。根據一些實施例,PCIe通訊協定可實現高速資料傳輸,以用於機架內部的網路資料傳輸。根據一些實施例,當第二節點為當前機架外部的節點時(例如機架間的網路資料傳輸),系統可傳輸在PCIe訊號的資料至與PCIe背板相關的網路介面控制器。網路介面控制器可轉換PCIe訊號為乙太網路訊號,且傳輸資料至乙太網路交換器,例如整合交換器或架頂式交換器。整合交換器或架頂式交換器可傳輸資料至其他位於其他機架中的節點。因此,僅藉由使用乙太網路介面控制器以用於機架間的資料傳輸,系統可緩和由乙太網路介面所創造的瓶頸,其可提升系統效能。
圖6為依據一些實施例之用於具有PCIe交換器的PCIe高頻寬機架系統之另一示例流程圖600。應理解的是,除非另有規定,不然在各種實施例的範圍中可以有以類似或替代順序或並行的額外、較少或替代步驟。
在步驟602中,第一機架的PCIe交換器可接收由一機架中的一第一節點所產生的資料。舉例而言,耦接至PCIe背板的PCIe交換器可與一組在機架中的網路介面控制器通訊。根據一些實施例,其他高頻寬低延遲輸入輸出擴展背板可耦接至節點群。根據一些實施例,PCIe交換器可包含在其他多個元件中的交換控制器、記憶體、多重埠和網路介面控制器。PCIe交換器可提供動態網路介面控制器分配至在機架中的一或多個節點。
根據一些實施例,除了網路介面控制器之外,PCIe交換器亦可耦接至其他PCIe設備,其可提供彈性和可擴充性至計算機系統。另外,PCIe交換器可由服務控制器所配置,例如基板管理控制器或機架管理控制器,以管理連接的PCIe設備。
在步驟604中,系統可決定所接收資料的目的地。根據一些實施例,此決定可基於辨別與所接收的資料相關的控制指令。舉例而言,PCIe交換器可從封包辨識目的地的ID或位址。
在步驟606中,系統可傳輸資料至與決定的目的地相關的第二節點。舉例而言,當決定的目的地與在相同機架中的節點相關時,系統可使用高速通訊協定而直接傳輸資料至節點。根據一些實施例,高速通訊協定可以是PCIe通訊協定。舉例而言,當決定的目的地與在機架外的節點相關時,系統首先可傳輸資料至來源節點的網路介面控制器。在轉換PCIe訊號為乙太網路訊號後,網路介面控制器可傳 輸資料至乙太網路交換器,例如整合交換器或架頂式交換器。整合交換器或架頂式交換器可傳輸資料至位於其他機架中的節點。
根據一些實施例,網路介面控制器可經由乙太網路或任何其他適合的通訊協定來傳輸資料至與伺服器網路中多於一個機架通訊的機架集合交換器。
圖7繪示一示例系統架構700,以實施圖1至圖6之系統和流程。計算平台700包含一或多個匯流排,其與子系統和設備互連,例如:服務控制器702、處理器704、儲存設備系統記憶體726、網路介面710和PCIe設備708。處理器704可由一或多個中央處理器單元(central processing units;CPUs)所實施,例如由Intel®公司所生產的中央處理器單元,或者由一或多個虛擬處理器所實施,或者由中央處理器單元與虛擬處理器的組合所實施。計算平台700經由輸入輸出設備706和顯示器712交換代表輸入和輸出的資料,其包含但不限於鍵盤、滑鼠、音訊輸入(例如語音轉文字設備)、使用者介面、顯示器、監視器、游標(cursors)、觸碰感應式顯示器、LCD或LED顯示器,和其他輸入輸出相關設備。
根據一些例子,計算機架構700藉由處理器704來進行特定操作,其執行儲存在系統記憶體726中的一或多個指令的一或多個序列。計算平台700可被實施為在主從式架構(client-server arrangement)或點對點架構(peer-to-peer arrangement)中的伺服器設備或客戶端 設備,或者為行動計算設備,包含智慧型手機和類似者。此類指令或資料可從其他電腦可讀取媒介(例如儲存設備714)而被讀取至系統記憶體726中。在一些例子中,硬體電路可用來取代軟體指令或與軟體指令組合而實施。指令可被內建於軟體或韌體中。「電腦可讀取媒介」一詞指任何參與提供指令至處理器704執行的有形媒介,其包含但不限於非揮發性媒介和揮發性媒介。舉例而言,非揮發性媒介包含光碟或磁碟及類似者。揮發性媒介包含動態記憶體,例如系統記憶體726。
電腦可讀取媒介的常見型式包含例如磁碟、軟碟、硬碟、磁帶、任何其他磁性媒介、CD-ROM、任何其他光學媒介、穿孔卡片(punch cards)、紙帶(paper tape)、任何其他具穿孔圖案的實體媒介、RAM、PROM、EPROM、FLASH-EPROM、任何其他記憶體晶片或記憶體匣,或是任何其他電腦可讀取的媒介。指令可進一步使用傳輸媒介而被傳輸或接收。「傳輸媒介」一詞可包含任何有形或無形的媒介,其可儲存、編碼或攜帶指令,以由機器所執行,且包含數位或類比通訊訊號或是其他無形的媒介,以促進此些指令的通訊。傳輸媒介包含同軸電纜、銅線和光纖,其包含具有用於傳輸計算機資料訊號的匯流排624的走線。
在顯示的示例中,系統記憶體726可包含各種包含可執行指令的模組,以實施在本揭露中所描述的功能。在顯示的示例中,系統記憶體726包含記錄管理器(log manager)、記錄緩衝器(log buffer)或記錄儲存庫(log repository),每一者可被配置以提供在本揭露中所描述的一或多個功能。
雖然為了使本發明被清楚了解而具體描述前述示例的一些細節,但本發明並不侷限於所提供的細節。有許多方式可實作本發明。所揭示的示例僅供示範且非用以限定本發明的範圍。
202、236‧‧‧機架
232、234‧‧‧架頂式交換器
206、208、210、212、214‧‧‧節點
218‧‧‧PCIe背板
222、224、226、228、230‧‧‧網路介面控制器
238‧‧‧輸入/輸出設備池

Claims (20)

  1. 一種資料傳輸方法,包含:在耦接至複數個節點之一計算機輸入輸出(Input/Output;I/O)擴充背板接收由該些節點之一第一節點所產生之一資料;至少部分基於與該資料相關之資訊來決定該資料之一目的地;以及傳輸該資料至與該資料之該目的地相關之一第二節點;其中,該計算機輸入輸出擴充背板係耦接至複數個網路介面控制器(Network Interface Controller;NIC),且每一該些網路介面控制器係與該些節點中之一者相關。
  2. 如申請專利範圍第1項所述之資料傳輸方法,其中該計算機輸入輸出擴充背板包含一PCIe(Peripheral Component Interconnect Express;PCIe)背板。
  3. 如申請專利範圍第2項所述之資料傳輸方法,其中該第二節點係該些節點中之一者,且該資料係基於一PCIe通訊協定來傳輸至該第二節點。
  4. 如申請專利範圍第1項所述之資料傳輸方法,其中該第二節點不是該些節點中之一者,且該資料係 基於一乙太網路(Ethernet)通訊協定來傳輸至該第二節點。
  5. 如申請專利範圍第1項所述之資料傳輸方法,其中該第二節點不是該些節點中之一者,且傳輸該資料至該第二節點更包含:使用一乙太網路(Ethernet)通訊協定來傳輸該資料至該些網路介面控制器中之一網路介面控制器,該網路介面控制器係與該第一節點相關。
  6. 如申請專利範圍第5項所述之資料傳輸方法,其中傳輸該資料至該第二節點更包含:使用該乙太網路通訊協定來傳輸該資料至一架頂式(Top-of-Rack;ToR)交換器,該架頂式交換器係通訊耦接至該些網路介面控制器。
  7. 如申請專利範圍第5項所述之資料傳輸方法,其中傳輸該資料至該第二節點更包含:使用該些網路介面控制器中之一網路介面控制器來轉換該資料至乙太網路訊號,該網路介面控制器係與該第一節點相關。
  8. 一種資料傳輸系統,包含一處理器;以及 一記憶體裝置,包含複數個指令,當該些指令被該處理器執行時,使該系統進行:在與一第一通訊協定相關且耦接至複數個節點之一第一背板接收由該些節點之一第一節點所產生之一資料;至少部分基於在一封包標頭中與該資料相關之資訊來決定該資料之一目的地;以及傳輸該資料至與該資料之該目的地相關之一第二節點;其中,該第一背板係耦接至複數個與一第二通訊協定相關之網路介面控制器,且每一該些網路介面控制器係與該些節點中之一者相關,且該第一通訊協定係操作為以相較於該第二通訊協定之一較高頻寬來傳送該資料。
  9. 如申請專利範圍第8項所述之資料傳輸系統,其中該第二節點係該些節點中之一者,且該資料係基於該第一通訊協定來傳輸至該第二節點。
  10. 如申請專利範圍第8項所述之資料傳輸系統,其中該第二節點不是該些節點中之一者,且該資料係基於該第二通訊協定來傳輸至該第二節點。
  11. 如申請專利範圍第10項所述之資料傳輸系統,其中傳輸該資料至該第二節點更包含: 從該第一通訊協定轉換該資料至該第二通訊協定。
  12. 一種資料傳輸方法,包含:在與一PCIe背板相關之一PCIe交換器接收由該些節點之一第一節點所產生之一資料,該些節點係通訊連接至該PCIe背板;至少部分基於在一封包標頭中與該資料相關之資訊來決定該資料之一目的地;以及傳輸該資料至與該資料之該目的地相關之一第二節點;其中,該PCIe交換器係與複數個網路介面控制器相關,且該PCIe交換器係操作為分配該些網路介面控制器之一或多者至該些節點之一或多者。
  13. 如申請專利範圍第12項所述之資料傳輸方法,其中該第二節點係該些節點中之一者,且該資料係基於一PCIe通訊協定來傳輸至與該目的地相關之該第二節點。
  14. 如申請專利範圍第12項所述之資料傳輸方法,其中該第二節點不是該些節點中之一者,且該資料係基於一乙太網路通訊協定來傳輸至與該目的地相關之該第二節點。
  15. 如申請專利範圍第14項所述之資料傳輸方法,更包含:使用該些網路介面控制器中與該第一節點相關之一或多個網路介面控制器來轉換PCIe訊號至乙太網路訊號。
  16. 如申請專利範圍第14項所述之資料傳輸方法,更包含:傳輸該資料至一架頂式交換器,該架頂式交換器係通訊耦接至該PCIe交換器。
  17. 如申請專利範圍第12項所述之資料傳輸方法,其中該PCIe交換器係操作為由一服務控制器所配置,該服務控制器與該PCIe交換器通訊。
  18. 如申請專利範圍第12項所述之資料傳輸方法,其中該PCIe交換器係操作為分配該些網路介面控制器之一或多者至該些節點之一者。
  19. 如申請專利範圍第12項所述之資料傳輸方法,其中該PCIe交換器係操作為分配該些網路介面控制器之一者至該些節點之一或多者。
  20. 如申請專利範圍第12項所述之資料傳輸方法,其中該PCIe交換器係操作為與一或多個PCIe設備通訊。
TW104125264A 2015-05-11 2015-08-04 資料傳輸方法及資料傳輸系統 TWI534629B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/708,921 US20160335209A1 (en) 2015-05-11 2015-05-11 High-speed data transmission using pcie protocol

Publications (2)

Publication Number Publication Date
TWI534629B true TWI534629B (zh) 2016-05-21
TW201640360A TW201640360A (zh) 2016-11-16

Family

ID=56509381

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104125264A TWI534629B (zh) 2015-05-11 2015-08-04 資料傳輸方法及資料傳輸系統

Country Status (3)

Country Link
US (1) US20160335209A1 (zh)
CN (1) CN106155959A (zh)
TW (1) TWI534629B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223313B2 (en) * 2016-03-07 2019-03-05 Quanta Computer Inc. Scalable pooled NVMe storage box that comprises a PCIe switch further connected to one or more switches and switch ports
US10326696B2 (en) * 2017-01-02 2019-06-18 Microsoft Technology Licensing, Llc Transmission of messages by acceleration components configured to accelerate a service
US10425472B2 (en) 2017-01-17 2019-09-24 Microsoft Technology Licensing, Llc Hardware implemented load balancing
TWI730325B (zh) * 2017-02-14 2021-06-11 美商莫仕有限公司 伺服器盒子
US10088643B1 (en) 2017-06-28 2018-10-02 International Business Machines Corporation Multidimensional torus shuffle box
US10571983B2 (en) 2017-06-28 2020-02-25 International Business Machines Corporation Continuously available power control system
US10356008B2 (en) 2017-06-28 2019-07-16 International Business Machines Corporation Large scale fabric attached architecture
US10169048B1 (en) 2017-06-28 2019-01-01 International Business Machines Corporation Preparing computer nodes to boot in a multidimensional torus fabric network
US10579568B2 (en) * 2017-07-03 2020-03-03 Intel Corporation Networked storage system with access to any attached storage device
US10334330B2 (en) * 2017-08-03 2019-06-25 Facebook, Inc. Scalable switch
US20190068466A1 (en) * 2017-08-30 2019-02-28 Intel Corporation Technologies for auto-discovery of fault domains
US11533271B2 (en) * 2017-09-29 2022-12-20 Intel Corporation Technologies for flexible and automatic mapping of disaggregated network communication resources
CN107911414B (zh) * 2017-10-20 2020-10-20 英业达科技有限公司 数据存取系统
US10523457B2 (en) 2017-12-21 2019-12-31 Industrial Technology Research Institute Network communication method, system and controller of PCIe and Ethernet hybrid networks
CN109951365B (zh) * 2017-12-21 2021-12-28 财团法人工业技术研究院 结合PCIe总线与以太网络的网络通信方法、系统及控制器
JP2019164486A (ja) 2018-03-19 2019-09-26 東芝メモリ株式会社 情報処理システム、情報処理方法及びメモリシステム
US10531592B1 (en) * 2018-07-19 2020-01-07 Quanta Computer Inc. Smart rack architecture for diskless computer system
TWI679861B (zh) 2018-09-06 2019-12-11 財團法人工業技術研究院 控制器、調整封包通信規則的方法及網路通信系統
US11093424B1 (en) * 2020-01-28 2021-08-17 Dell Products L.P. Rack switch coupling system
EP4099173A1 (en) * 2021-05-31 2022-12-07 Ovh System providing a network interface to a plurality of electronic components

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6922722B1 (en) * 1999-09-30 2005-07-26 Intel Corporation Method and apparatus for dynamic network configuration of an alert-based client
US7739485B2 (en) * 2002-10-11 2010-06-15 Hewlett-Packard Development Company, L.P. Cached field replaceable unit EEPROM data
US9264384B1 (en) * 2004-07-22 2016-02-16 Oracle International Corporation Resource virtualization mechanism including virtual host bus adapters
US7688737B2 (en) * 2007-03-05 2010-03-30 International Business Machines Corporation Latency hiding message passing protocol
CN101599837B (zh) * 2008-06-06 2011-11-30 佛山市顺德区顺达电脑厂有限公司 丛集系统的网络切换框架系统
US20110185099A1 (en) * 2010-01-28 2011-07-28 Lsi Corporation Modular and Redundant Data-Storage Controller And a Method for Providing a Hot-Swappable and Field-Serviceable Data-Storage Controller
US8769158B2 (en) * 2011-07-08 2014-07-01 Rockwell Automation Technologies, Inc. High availability device level ring backplane
US20130101289A1 (en) * 2011-10-19 2013-04-25 Accipiter Systems, Inc. Switch With Optical Uplink for Implementing Wavelength Division Multiplexing Networks
US10102170B2 (en) * 2012-05-18 2018-10-16 Dell Products, Lp System and method for providing input/output functionality by an I/O complex switch
US9280504B2 (en) * 2012-08-24 2016-03-08 Intel Corporation Methods and apparatus for sharing a network interface controller

Also Published As

Publication number Publication date
CN106155959A (zh) 2016-11-23
TW201640360A (zh) 2016-11-16
US20160335209A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
TWI534629B (zh) 資料傳輸方法及資料傳輸系統
US11256644B2 (en) Dynamically changing configuration of data processing unit when connected to storage device or computing device
US9043526B2 (en) Versatile lane configuration using a PCIe PIe-8 interface
TWI538450B (zh) 利用串行器/解串器通道來實現50Gb/s乙太網的裝置
US8677023B2 (en) High availability and I/O aggregation for server environments
US7983194B1 (en) Method and system for multi level switch configuration
US11979278B2 (en) Software-based fabric enablement
US8270295B2 (en) Reassigning virtual lane buffer allocation during initialization to maximize IO performance
US9876698B2 (en) Interconnect congestion control in a storage grid
US20120324068A1 (en) Direct networking for multi-server units
US8654634B2 (en) Dynamically reassigning virtual lane resources
Chatzieleftheriou et al. Larry: Practical network reconfigurability in the data center
CN108345555A (zh) 基于高速串行通信的接口桥接电路及其方法
CN105099776A (zh) 云服务器的管理系统
US8089971B1 (en) Method and system for transmitting flow control information
Mohamed et al. On the energy efficiency of MapReduce shuffling operations in data centers
US20120324139A1 (en) Wireless communication for point-to-point serial link protocol
JP2024512302A (ja) 統合されていないコンピュータシステムにおけるジョブターゲットエイリアシング
CN105743819B (zh) 计算装置
US10694270B1 (en) Accelerated monitoring of optical transceivers
CN114584529B (zh) 一种基于nat和虚拟网桥的推理服务器
US20230362519A1 (en) Aggregation of multiplexed optical transceivers in server chassis to establish fabric topology
Baidu et al. A Novel Networking Box System Architecture and Design for Data Center Energy Efficiency
CN114157618A (zh) 一种支持FCoE业务的数据交换模块及交换机
CN115827532A (zh) 一种PCIe HBA IOC内部总线网络互联方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees