TWI668557B - Server system - Google Patents

Server system Download PDF

Info

Publication number
TWI668557B
TWI668557B TW107105540A TW107105540A TWI668557B TW I668557 B TWI668557 B TW I668557B TW 107105540 A TW107105540 A TW 107105540A TW 107105540 A TW107105540 A TW 107105540A TW I668557 B TWI668557 B TW I668557B
Authority
TW
Taiwan
Prior art keywords
ports
switch
passive
mor
cables
Prior art date
Application number
TW107105540A
Other languages
English (en)
Other versions
TW201841094A (zh
Inventor
奧古斯托 帕內拉
丹尼爾Ｂ 麥葛文
雷蒙 馬提卡
葛瑞格利 B. 瓦茲
凱克Ｂ 派洛扎
Original Assignee
美商莫仕有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商莫仕有限公司 filed Critical 美商莫仕有限公司
Publication of TW201841094A publication Critical patent/TW201841094A/zh
Application granted granted Critical
Publication of TWI668557B publication Critical patent/TWI668557B/zh

Links

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/14—Mounting supporting structure in casing or on frame or rack
    • H05K7/1485—Servers; Data center rooms, e.g. 19-inch computer racks
    • H05K7/1498—Resource management, Optimisation arrangements, e.g. configuration, identification, tracking, physical location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00—Details of semiconductor or other solid state devices
    • H01L23/34—Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements
    • H01L23/46—Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements involving the transfer of heat by flowing fluids
    • H01L23/467—Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements involving the transfer of heat by flowing fluids by flowing gases, e.g. air
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/14—Mounting supporting structure in casing or on frame or rack
    • H05K7/1485—Servers; Data center rooms, e.g. 19-inch computer racks
    • H05K7/1488—Cabinets therefor, e.g. chassis or racks or mechanical interfaces between blades and support structures
    • H05K7/1492—Cabinets therefor, e.g. chassis or racks or mechanical interfaces between blades and support structures having electrical distribution arrangements, e.g. power supply or data communications
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/20—Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20536—Modifications to facilitate cooling, ventilating, or heating for racks or cabinets of standardised dimensions, e.g. electronic racks for aircraft or telecommunication equipment
    • H05K7/20554—Forced ventilation of a gaseous coolant
    • H05K7/20572—Forced ventilation of a gaseous coolant within cabinets for removing heat from sub-racks, e.g. plenum
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/20—Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20754—Air circulating in closed loop within cabinets

Landscapes

  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Thermal Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Cooling Or The Like Of Electrical Apparatus (AREA)
  • Mechanical Coupling Of Light Guides (AREA)

Abstract

一種伺服器機架位於包括一脊柱的一設施中，且所述伺服器機架包括豎向地位於所述伺服器機架的中部附近的一機架中部式(MOR)交換器。所述MOR交換器包括多個埠，所述多個埠經由多根無源線纜連接於在所述伺服器機架中設置的多個計算節點。在一實施例中，所述多根無源線纜設置為採用不歸零編碼以56Gbps運行，並且每根線纜可以是大約或小於1.5米長。一光電面板(EOP)能位於相鄰所述伺服器機架的頂部，且所述光電面板包括到所述MOR交換器和所述脊柱的多個連接，因此所述光電面板有助於將所述MOR交換器連接於所述脊柱。

Description

伺服器系統
本發明涉及伺服器架構領域，更具體地涉及伺服器機房中的伺服器的機架的結構。
在一個典型的計算結構中存在有一用戶端和一伺服器。一般來說，用戶端和伺服器可以一起靠近地定位，使得它們位於同一盒子中或者它們間隔開使得用戶端位於一個盒子中而伺服器位於距離一定距離定位的另一盒子中(通常在另一個房間或在不同的建築物中，且有時在不同的城市或國家或大陸)。將用戶端和伺服器一起靠近地定位能夠實現用戶端和伺服器之間的低延遲，但卻使伺服器難以在多個用戶端之間共用，這往往導致伺服器利用率不高。此外，如果伺服器正在執行密集型計算，則本地需要更多功率(這對移動設備而言顯然是一問題)。因此，為了效率和成本，將伺服器放置在伺服器群(server farm)中變得越來越受歡迎。
為了支援透過網路提供更多服務的大趨勢以及支援依賴被服務的計算服務的大量移動設備，伺服器的使用大幅增長。伺服器數量的急劇增加導致更大的計算服務提供者設計和維護充滿伺服器的大型設施。這些設施有時稱為伺服器群，且可能包含數百或數千平方米的伺服器。
能認識到的是，管理這樣的設施是一項具有挑戰性的任務。具有這樣龐大的設施需要使用某種邏輯組織，使得這些伺服器能正確供應、維護和替換。除了機械邏輯外，還必須考慮計算邏輯。各種用戶端向伺服器提供輸入，伺服器將執行一定量的計算工作(例如任務)，而後伺服器將向用戶端提供回應。從架構上講，為了有效管理這些資源，接收輸入的頻寬、執行必要的計算和提供輸出必須配置成總體工作負載平衡。
圖1A和圖1B示出一種常見的這種結構。伺服器的機架設置於所述設施中。在各機架的頂部是一交換器，通常稱為機架頂部式(a top of the rack)交換器或TOR交換器。TOR交換器透過有源光連接的方式連接於能距離100米或更遠的某個輸入點(有時稱為脊柱)。TOR交換器還透過無源銅質線纜連接於計算節點(其可充當伺服器)。
一種常見的結構是在TOR交換器中使用QSFP型插座。例如，QSFP插座構造為在TOR交換器和脊柱之間以及在TOR交換器和計算節點之間通信。對於從TOR交換器到脊柱的QSFP插座，QSFP插座接收將電信號轉換為光信號而後透過光纖傳輸這些信號的有源光模組。由於TOR交換器和計算節點之間的距離要短的多，因此可以在TOR交換器和計算節點之間使用更便宜的無源銅質線纜。每個QSFP連接器具有4個雙向通道，且因此有時將QSFP插頭連接器分成4個SFP型連接器(每個都有1個雙向通道)。因此，對於32埠交換器，8個埠將指向脊柱，而24個埠指向計算節點。能認識到的是，這樣的交換器將導致交換器和脊柱之間的連接的3：1超額認購(oversubscription)。具體地，交換 器和計算節點之間的頻寬是交換器和脊柱之間的頻寬的三倍。在實踐中，這樣的比率往往會使得通信通道的利用相當均衡同時仍然有效地支持計算節點，並因此被廣泛採用。
然而，當前的結構存在著問題。一個問題是，當資料速率從28Gbps增加到56Gbps(採用NRZ碼)和112Gbps(採用PAM4碼)時，當前的TOR交換器在支援當前的結構方面存在著問題。具體地，由於最長電纜的長度預計約為2.5米，所以在不使用前向錯誤更正(forward error correction，FEC)的情況下，從TOR交換器到機架底部的計算節點的無源線纜組件變得難以支援。使用FEC會產生大量額外的能源，因此大幅增加大型伺服器群的能量消耗。此外，當前的QSFP連接可能不足以支援更高速度的無源線纜連結(links)。結果，某些人群會賞識改進的伺服器機架結構。
一種提供多個計算節點的伺服器機架系統包括一機架的多個盒子，每個盒子支持一個或多個計算節點。計算節點(其可以是處理器)連接於機架中部式(MOR)交換器，所述MOR交換器允許減小所述MOR交換器和所述計算節點之間的線纜的長度。所述MOR交換器能直接連接於光纜，或能連接於一光電面板(EOP)以允許將電信號轉換為光信號。所述光電面板與一脊柱通信，而且在一些實施例中，可以與其他光電面板通信。採用MOR交換器與光電面板組合允許改進熱管理，並且還允許在相鄰的伺服器和脊柱之間的通信通 道中提供額外的靈活性。
本發明伺服器系統包括一機架式伺服器，具有一頂部和一底部以及豎向佈置的多個計算節點，所述多個計算節點在所述頂部和所述底部之間間隔開，所述機架式伺服器還包括一機架中部式(MOR)交換機交換器，所述MOR交換機交換器位於所述頂部和所述底部之間大約一半的位置，所述MOR交換機交換器包括一第一組埠以及一第二組埠；多根第一無源線纜，在所述第一組埠和所述多個計算節點之間延伸，其中所述多個計算節點各透過所述多根第一無源線纜中的至少一根連接於所述MOR交換機交換器，且所述多根第一無源線纜設置成採用不歸零(NRZ)編碼支援56Gbps資料速率；一光電面板(EOP)，位於所述機架式伺服器的上部，所述EOP光電面板設置有多個無源埠；以及多根第二無源線纜，在所述多個無源埠和所述第二組埠之間延伸。
在一些實施態樣中，所述光電面板包括多個有源埠，所述多個有源埠各設置成提供電源和高速電信號。
在一些實施態樣中，所述多個無源埠各連接於所述多個有源埠中的其中一個。
在一些實施態樣中，所述多個無源埠各連接於設置在光電面板中的一交換器，且所述多個有源埠各連接於所述交換器，所述交換器設置成引導所述多個有源埠和所述多個無源埠之間的多個信號。
在一些實施態樣中，所述光電面板包括多個光埠，所述多個光埠連接於所述多個無源埠，其中，所述多個光埠各包括一光電收發器，所述光電 收發器設置成將光信號轉換為電信號且進一步將光信號轉換為電信號。
在一些實施態樣中，所述多個光埠是朗訊連接器/物理接觸連接。
在一些實施態樣中，所述多根無源線纜中的各無源線纜不超過約1.5米長。
本發明伺服器盒子包括一盒子，具有一前表面，所述前表面包括一空氣入口以及位於遠離所述空氣入口的多個埠；一電路板，大體與所述前表面平行地對齊，所述電路板具有一對接側和一晶片側以及與所述空氣入口對準的一孔，其中，多個連接器安裝於所述對接側且與所述多個埠對齊，且一交換機交換器晶片安裝於所述晶片側；一熱模組，熱結合於所述交換機交換器晶片；以及一氣流歧管，與所述空氣入口對準，所述氣流歧管設置成將來自所述空氣入口的空氣穿過一空氣通道引導到所述熱模組上，所述空氣通道改變從所述空氣入口進入的空氣的方向。
在一些實施態樣中，一控制台安裝於所述電路板並且設置成所述熱模組位於所述控制台和所述氣流歧管之間，從而所述空氣通道將經過所述熱模組的空氣引導到所述控制台上。
在一些實施態樣中，一電源面板安裝於所述電路板並且設置成所述熱模組位於所述電源面板和所述氣流歧管之間，從而所述空氣通道將經過所述熱模組的空氣引導到所述電源面板上。
在一些實施態樣中，所述交換器晶片距離所述多個埠中的各埠不超過10cm。
在一些實施態樣中，所述多個埠佈置於所述交換器晶片的兩側。
在一些實施態樣中，所述多個埠佈置於所述交換器晶片的四側。
30‧‧‧線纜室
35‧‧‧光纜
40‧‧‧伺服器機架
50‧‧‧計算節點
55‧‧‧線纜
57‧‧‧無源線纜
70‧‧‧MOR交換器
140‧‧‧伺服器機架
140a‧‧‧頂部
140b‧‧‧底部
170‧‧‧MOR交換器
170'‧‧‧交換器
180‧‧‧光電面板
240‧‧‧機架式伺服器
255‧‧‧線纜
257‧‧‧線纜
270‧‧‧MOR交換器
280‧‧‧光電面板
310‧‧‧晶片
312‧‧‧散熱器
315‧‧‧晶片封裝
320‧‧‧電路板
330‧‧‧前表面
332‧‧‧側壁
334‧‧‧後表面
335‧‧‧埠
400‧‧‧盒子
400a‧‧‧側
407‧‧‧空氣入口
408‧‧‧氣流歧管
409‧‧‧空氣通道
410‧‧‧交換器晶片
415‧‧‧熱模組
420‧‧‧電路板
420a‧‧‧對接側
420b‧‧‧晶片側
421‧‧‧孔
430‧‧‧前表面
435‧‧‧埠
436‧‧‧連接器
440‧‧‧控制台
450‧‧‧電源面板
510‧‧‧晶片
520‧‧‧電路板
530‧‧‧前表面
560‧‧‧連接器
570‧‧‧應變消除塊
575‧‧‧線纜
580‧‧‧連接器
630‧‧‧前表面
632‧‧‧前部元件
633‧‧‧槽
670‧‧‧應變消除塊
675‧‧‧線纜
732‧‧‧前部元件
734‧‧‧槽
770‧‧‧應變消除塊
775‧‧‧線纜
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1A示出一現有技術的伺服器機架結構的一示意圖。
圖1B示出圖1A所示的現有技術的伺服器機架結構的另一示意圖。
圖2A示出具有一機架中部式(MOR)交換器的一伺服器機架的一實施例的一示意圖。
圖2B示出圖2A所示的伺服器機架結構的另一示意圖。
圖3A示出具有一MOR交換器和一光電面板(EOP)的一伺服器機架的一實施例的一示意圖。
圖3B示出圖3A所示的伺服器機架結構的另一示意圖。
圖4A示出具有一MOR交換器和一光電面板的一伺服器機架的另一實施例的一示意圖。
圖4B示出圖4A所示的伺服器機架結構的另一示意圖。
圖5示出一MOR交換器的一實施例的一示意圖。
圖6示出一光電面板的一實施例的一示意圖。
圖7示出一現有技術的交換器結構的一實施例的特徵
圖8示出一現有技術的交換器結構的一實施例的特徵。
圖9示出一現有技術的電路板結構的特徵。
圖10示出一MOR交換器的一實施例的一示意圖。
圖11示出圖10所示的實施例的另一示意圖。
圖12示出圖11所示的實施例的另一示意圖。
圖13示出連接器安裝在與一交換器晶片相鄰的一電路板上的一示意圖。
圖14示出連接器安裝在與一交換器晶片相鄰的一電路板上的另一示意圖。
圖15示出具有降低的插入損耗的一MOR交換器的一實施例的一示意圖。
圖16示出具有降低的插入損耗的一交換器的一實施例的一示意圖。
圖17A示出一應變消除結構的一實施例的一示意圖。
圖17B示出一應變消除結構的另一實施例的一示意圖。
圖18示出一光電面板的一實施例的一示意圖。
圖19示出具有一交換器的一光電面板的一實施例的一示意圖。
圖20示出兩個相鄰的機架式伺服器的一實施例的一示意圖。
圖21示出兩個相鄰的機架式伺服器的一實施例的一示意圖。
圖22示出兩個相鄰的機架式伺服器的另一實施例的一示意圖。
圖23示出兩個相鄰的機架式伺服器的另一實施例的一示意圖。
圖24示出兩個相鄰的機架式伺服器的另一實施例的一示意圖。
下面的詳細說明描述多個示範性實施例且公開的特徵不意欲限制到明確公開的組合。因此，除非另有說明，本文所公開的各種特徵可以組合在一起而形成出於簡明目的而未示出的多個另外組合。
從圖2A和圖2B能認識到的是，公開了一伺服器機架40的一實施例。伺服器機架40包括多個盒子(通常採用1U或2U尺寸，但是其他尺寸也適用)且每個盒子提供多個計算節點。計算節點本質上可以是異構的或同構的並且可包括各種公知的結構，諸如但不限於一個或多個FPGA、CPU、控制器、ASIC、DSP和/或GPU。各計算節點構造為提供某類計算能力並且不同的計算節點能根據預期的用途具有不同的能力。
能認識到的是，圖2A中示出的結構與圖1A中的現有技術的設計類似但是包括一機架中部式(a middle of the rack,MOR)交換器70。已經確定的是，採用這種結構可縮短MOR交換器70和計算節點50之間延伸的線纜55(其優選地為無源銅質線纜)，使得線纜55的最長長度大約為1.5m。預計這樣的最大長度將允許伺服器機架在沒有前向錯誤更正(FEC)的情況下工作。
MOR交換器70透過通常與TOR交換器一起使用的一根或多根光纜35(各光纜包括一根或多根光纖)連接於線纜室30(cable plant)，有時稱為脊柱，並且根據特定設施的組織方式可以具有大範圍的結構)。一個潛在的問題是，如果光纜35在TOR交換器的位置附近沒有足夠的鬆弛(slack)，那麼難以將光纜35延伸到MOR交換器70，並且可能需要拉新的光纜。當然，拉新的光纜往往會降低這樣的設計的成本收益。然而，預計在某些情況下，圖2A中的結 構將是可行的。如果需要，附加特徵諸如圖16中示出的(後面公開)元件也可以附加到MOR交換器70中。
應該注意的是，除了能夠去除FEC(其可以為伺服器群提供顯著的功率降低)之外，淨效果是減小線纜的總長度。因此所示的設計應該為線纜部分提供成本降低。
圖3A和圖3B示出具有一頂部140a和一底部140b的一伺服器機架140(即機架式伺服器)的另一實施例，其包括一MOR交換器170。MOR交換器170位於頂部140a和底部140b之間且優選地位於頂部140a和底部140b之間大約一半的位置。在所示的實施例中，MOR交換器170不包括光電交換器。而是在機架的頂部上設置有一光電面板(electrical to optical,EOP)180。應注意的是，儘管預計光電面板180最理想地位於機架的頂部，但也可以考慮將光電面板180定位在機架的頂部附近(例如，設置於機架式伺服器但相鄰機架的頂部)。MOR交換器170使用比2米短(應該不超過約1.5米)的線纜55連接於計算節點50。MOR交換器170透過無源線纜57(其長度可以約為1.5米)連接於光電面板180，而後光電面板180透過一根或多根光纜35連接於線纜室30。從圖3B能認識到的是，有時計算節點50比MOR交換器170上的埠多。為了管理該問題，線纜55可在MOR交換器170處包括一4X介面且在計算節點50處包括一1X介面。根據計算節點50和埠的數量，該比率可能會改變為與QSFP連接器與SFP連接器的4：1比率不同。
能認識到的是，圖3A中示出的所示的設計的一些益處與能量消 耗有關。無源線纜的長度的縮短使系統能夠在沒有FEC的情況下支援高資料速率，優選地能夠支援每個雙向通道至少56Gbps且更優選地支援每個雙向通道112Gbps。此外，因為光模組往往會引起大量的熱能，所以光電面板180的使用能夠改進熱管理。透過將光模組和MOR交換器170分開，從熱角度考慮，確保所有元件都得到適當管理變得更加容易。
圖4A和圖4B示出具有與圖3A和3B所示的結構類似的機架式伺服器240的另一實施例。與圖3A所示的實施例類似，線纜室30透過一光纜35連接於一光電面板280。光電面板280繼而透過一線纜257連接於一MOR交換器270。MOR交換器270然後透過線纜255連接於計算節點250。能認識到的是，主要區別之一是QSFP和SFP連接器被替換為下一代連接器且因此使用線纜255和線纜257。雖然QSFP和SFP連接器已經使用多年，但其基本結構對於高資料速率並不理想，且因此更希望使用更適合支持採用不歸零(non-return to zero NRZ)編碼的56Gbps資料速率和採用PAM4編碼的112Gbps資料速率。
圖5示出諸如MOR交換器170的一MOR交換器的一框圖。通常MOR交換器構造為1U盒子，並且這樣的結構是可考慮的但不是所有情況下都是必需的。雖然可以附加很多特徵，但是如上所述，該設計的一個潛在益處是光電轉換被移出MOR交換器。這大大減少了廢熱並且使MOR交換器的冷卻更加有效。所示的實施例具有通向光電面板180的8個連接器埠，而且包括通向計算節點50的24個連接器埠，但是一些其他數量的連接是可能的，特別是如果使用比現有的QSFP型連接器更緊湊的下一代連接器。
圖6中示出諸如光電面板180的一示意圖。光電面板180能相對有效地製成，但是一個顯著的益處是能夠將廢熱能從MOR交換器移出。在標準交換器體系結構中，所有埠都通電，因為不知道哪些埠將收容收發器模組。然而，使用光電面板180時，能收容收發器模組的埠是已知的，且因此可以透過不對不接受收發器的埠供電來避免一些電力浪費。此外，能認識到的是，在機架結構中集中的熱量變得難以冷卻，並且將光收發器直接放置在交換器旁邊會增加單個盒子中的熱負載。所示的光電面板180可依然包括QSFP埠，QSFP埠接受將電信號轉換的光信號的適合於更長轉換長度的產生廢熱的光電模組。然而，透過將QSFP埠放置在遠離MOR交換器的位置，使得管理熱負載變得更容易。當然，將熱量從MOR交換器移出應該也能夠提高MOR交換器的可靠性並且改善MOR交換器的性能。應注意的是，光電面板180可以直接將電信號轉換為光信號，從而不需要單獨的電/光收發器模組。在這種情況下，光電面板180可包括諸如朗訊連接器/物理接觸(LC/PC)連接器的標準光纖連接器，標準光纖連接器代替諸如QSFP插座這樣更傳統的埠以使光電面板連接於線纜室或脊柱。
圖7至圖9示出一常規的交換器架構。具體地，多個埠335設置於一盒子的前表面上或前表面處並且由安裝於一電路板320的多個連接器形成，電路板320提供與晶片封裝315的連接，晶片封裝315包括執行交換任務的一晶片310。在操作時，空氣通常被導入一前表面330和一後表面334之間(經過側壁332)。這樣的設計允許空氣透過安裝於晶片310上的一散熱器312(由此解決散熱問題)，但由於晶片310和這些外部的埠335之間的物理距離而為這些外 部的埠335創建了長的跡線路徑。眾所周知，電路板在過長的長度上路由(rounting)高頻率信號不是最佳的，而且所示的設計由於更長距離延伸的跡線而降低了系統的信號完整性。結果，這些外部的埠335的性能限制整個元件的性能。
圖10至圖14示出能夠改善性能同時保持採用低成本電路板材料的一替代實施例。具體地，採用更小的下一代連接器使利用連接器436的埠435僅在一盒子400的前表面430的一部分上成組。更小的連接器436可以豎向地安裝於具有一對接側420a和一晶片側420b的一電路板420，並且電路板420佈置成它大致平行於前表面430。在這樣的結構下，電路板420直接阻擋從前向後的氣流。然而，由於連接器436的尺寸，可以使對埠435成組，並且還在盒子400的一側上設置一空氣入口407，空氣入口407的尺寸足夠大並且與電路板420上的一孔421對準。空氣入口407允許空氣流動到一氣流歧管408，氣流歧管408繼而將空氣穿過一空氣通道409引導到用於說明冷卻一交換器晶片410的一熱模組415(例如一散熱器)上。能認識到的是，空氣通道409提供了在空氣入口407中被引導的空氣的方向的改變，並且在一實施例中，方向的改變大約為90度。電路板420的一側可設置有一控制台(control plane)440和一電源面板(power plane)450(均可設置為小電路板)，使得在熱模組415上通過的空氣也可以對各自的板上的可能採用冷卻的任何元件進行冷卻。在一實施例中，當從盒子400的一側400a觀察時，電源面板450和控制台440中的其中一個可以位於熱模組415的上方，而電源面板450和控制台440中的另一個可以位於熱模組415的下方 (從圖12能認識到)。
由於盒子400的前表面430上的埠435的尺寸和朝向，所以可能使交換器晶片410位於與每個埠435更加等距，並且可能的佈置在圖13至圖14中示出。根據多個埠435的結構，交換器晶片410可定位成多個埠435位於交換器晶片410的兩側或者可能多達四側(如圖13所示)。總距離可以從20cm(或更多)減少到大約10cm(或更少)。因此，所示的設計潛在地使得否則將不適合的板材料(由於與在現有技術設計的交換器晶片和對應的連接器之間延伸超過10cm的跡線相關的損耗)變得更適合於高資料速率。
圖15至圖17B示出可用於以另一方式解決電路板損耗問題的一交換器系統(其可以是MOR交換器或者TOR交換器)的一實施例中的特徵。一交換器170'包括一電路板520(電路板520可以由任何所需的且適合的材料形成)，電路板520支援構造為發送和接收信號的一晶片510。一連接器560位於相鄰晶片510。線纜575從一前表面530延伸且線纜575終止於連接器580(連接器580可以是任何所需的結構)。能認識到的是，因此，不是試圖將晶片510移動更靠近埠，而是使連接器560位於相鄰晶片510，並且連接器560直接連接於一線纜元件。在這樣的實施例中，可能具有從電路板520(或基板，如果連接器560直接安裝於基板以進一步改善性能)到一線纜575(直接或經由採用非可拆卸地安裝於電路板上的一連接器中的端子)的第一轉換。線纜575從交換器170'的前表面530延伸出，並且能夠透過連接器580直接連接於計算節點。
能認識到的是，這樣的結構避免晶片510和插入盒子前部的線纜 575之間至少兩次轉換。每次轉換自然地會引入一些插入損耗，且因此與常規設計相比，所示的設計能夠減少晶片510與線纜575的一端的連接器580之間的損耗。這樣的實施例可以因此顯著減少整個系統的損耗。
然而，這樣的結構具有需要確保線纜575具有適當的應變消除保護的問題(或施加到線纜575上的任何力施加到連接器560上可能會破壞系統的問題)。透過使一應變消除塊570防止線纜575的移位超過盒子的前表面530，能保護線纜575避免過度移位通過前表面530。所示的實施例因此允許一晶片510(晶片510可以是晶片封裝)和一電路板520(電路板520可以是基板)之間、一電路板520和連接器560中的一端子之間、連接器560中的端子和線纜575中的一導體之間以及線纜575中的導體和連接器580中的一端子之間的轉換，顯著減少轉換次數。當然，連接器560也可以構造成安裝在位於相鄰晶片510的一板安裝連接器，僅損耗略有增加，但顯著改善柔性。
應變消除塊570可以具有各種結構。例如，圖17A中示出一實施例，其中一應變消除塊670模製成形於線纜675上，並且應變消除塊670插入一前部元件632上的一槽633(前部元件632能提供對應的盒子的前表面630或者可以設置於前表面630的內部)中並且固持於槽633中。可以透過設置槽633來提供固持，使得應變消除塊670只能從一個方向插入，而後可以提供一蓋體以防止應變消除塊570脫出槽633。能認識到的是，這樣的設計允許移除特定的線纜(或一組線纜，如果多根線纜共用同一應變消除塊的話)，從而交換器仍可修復，同時提供更高級別的性能。
參閱圖17B，在另一實施例中，多根線纜775能模製成形於一應變消除塊770中，應變消除塊770構造為放置在前部元件732後面。在這樣的實施例中，前部元件732中的槽734將允許線纜775延伸穿過前部元件732。當然，單根線纜775也能模製成形於一單獨的應變消除塊770中，使得每根線纜775成形於單獨的塊中。主要要求是，對應的塊足夠大並且足夠牢固地固定於線纜775以確保施加在線纜775的末端的力有效地傳遞到應變消除塊770。在圖17A和圖17B提供的實施例中，提供應變消除的應變消除塊670、770可以由導電塑膠形成，或可以鍍覆以有助於提供合適的EMI保護。
應注意的是，應變消除的替代實施例可以構造成使兩個元件夾住線纜。例如，在另一實施例(未示出)中，盒子的兩相反側可以一起壓制並固持一根或多根導線。因此，用於應變消除的各種可能的結構是可能的且是可以考慮的。
圖18至圖19示出光電面板的實施例的示意圖。圖18中各電氣埠直接連接於構造為收容電/光收發器的埠。應注意的是，儘管示出了QSFP型連接器(並且相對受歡迎)，但是可以提供任何合適的外形因素。還應注意的是，如果光纜元件是標準光連接器(諸如但不限制於LC/PC連接器)，那麼光埠可以是標準光連接器埠，且圖18中的交換器可以包括構造為將各光連接器與對應的電氣埠結合的一光電收發器(或者一組收發器)。
能認識到的是，圖18和圖19中的實施例之間的主要區別是圖19中的實施例包括允許如圖23中所示的功能的交換器。此外，可以設置若干光電 面板東/西(EOP E/W)埠以允許兩個光電面板之間的通信。預計光電面板東/西埠將是電氣的且不需要供電，因為大多數伺服器機架與其他伺服器機架相對較近，且因此短的連接線纜就足夠。在對於特定的工作負載有意義地使兩個相隔較遠的光電面板之間的連接的情況下，則光電面板東/西連接器可以構造成為電/光收發器模組提供供電埠(或者甚至作為諸如帶內部光電信號轉換器的LC/PC連接器的純光連接器)。
可以從圖20中認識到的一個問題是，進行橫向通信(例如，兩個相鄰的伺服器機架之間的通信)需要6跳(hops)，其中一跳是兩個介質之間(諸如光信號到電信號)和/或透過一晶片(諸如交換器晶片)的轉換。在需要在相鄰機架中的伺服器之間進行橫向通信的情況下，這種結構會造成顯著的延遲。圖21至圖23示出解決這個問題的方法。圖21取到脊柱的其中一個連結且將其路由(route)到相鄰的光電面板。這能夠減少一個跳(儘管以增加超額認購成本為3.4：1的比率為代價)。圖22示出超額認購仍然是3.4：1的實施例，但是在相鄰的機架上的計算節點之間僅有三跳。能認識到的是，這樣的結構能夠減少相鄰的伺服器之間的延遲，並且在計算任務受益於高級並行處理的情況下或者用於兩個機架都在一計算專案上工作並且不可能將所有任務都放在一個伺服器機架上的情況可能是可取的。
圖23提供額外的靈活性，但確實增加了光電面板的複雜性。透過在光電面板中併入交換器(即圖中的EOP_SW)，相鄰的伺服器之間的跳數可以保持在6，同時仍保持需要的3：1超額認購比率。圖23中的實施例的一個潛在的 重要的益處是它允許更靈活的信號路由。例如，如果一個伺服器機架具有大量的回應要提供，則可以將一些回應指向相鄰的光電面板，這潛在地將超額認購比率(至少在短時間內)降低至2：1。當然，這樣的架構對於具有足夠靈活性程式設計到光電面板/MOR中和/或工作負荷從此受益的系統是最有利的。
[0063]圖24示出能提供額外的靈活性的另一實施例。能認識到的是，伺服器和MOR交換器之間的連接數量仍然等於計算節點的數量(因為每個計算節點直接與MOR通信是合理的)，但是相鄰的MOR交換器也能互相通信。此外，相鄰的光電面板能相互通信。預計在大多數情況下，要麼使用M連結要麼使用P連結(通常不需要使用兩者)，但如果需要最大的連線性和靈活性，則能使用兩者。
此外，兩個相鄰的機架式伺服器的計算節點能使用單跳直接互相通信，並且能改變連接N、M、B、P和C的數量，從而各種情況能夠產生。能認識到的是，這樣的系統在靈活性上具有顯著的益處。透過將伺服器直接連接在一起，可以使用額外的計算能力以最小的延遲(單跳)解決任務。因此，結果是一種靈活的結構，其中計算節點能夠組合，而後可以通過路徑的組合將資訊發送回脊柱，以確保最大限度地使用可利用的頻寬。
在一實施例中，2N可以等於A，使得一個伺服器機架中的每個計算節點基本上能夠透過連結到相距單跳的相鄰伺服器中的計算節點而使其性能加倍(假設機架式伺服器在兩側被類似的機架式伺服器包圍)。由於A連結的數量通常大於B連結的數量(通常為3：1的比率)，所以所示的結構允許資訊 經由M連結(M連結可以是與存在的B連結一樣多的連結，但在給定預期的在MOR交換器上空間限制下，M連結更可能會數量少些)從MOR交換器傳播到相鄰的MOR交換器。如果M和P連結的數量保持較低以便於MOR交換器和/或光電面板中的可利用的空間，則可以使用M連結和P連結的組合來基本上提供1：1的比率(且因此將不存在超額訂購)。然而，應注意的是，當增加額外的頻寬時，這樣的結構確實向計算節點和脊柱之間的路徑增加一個跳或多跳，且因此希望這種增加額外頻寬將取決於應用對用戶端(可以在脊柱外部)和計算節點之間的延遲的敏感度與在計算節點處的額外性能的需求。
本文給出的本發明以其優選實施例及示範性實施例說明了各個特徵。本領域技術人員將作出處於隨附申請專利範圍和其精神內的許多其他的實施例、修改以及變形。

Claims (5)

  1. 一種伺服器系統，包括：一機架式伺服器，具有一頂部和一底部以及豎向佈置的多個計算節點，所述多個計算節點在所述頂部和所述底部之間間隔開，所述機架式伺服器還包括一機架中部式(MOR)交換器，所述MOR交換器位於所述頂部和所述底部之間大約一半的位置，所述MOR交換器包括一第一組埠以及一第二組埠；多根第一無源線纜，在所述第一組埠和所述多個計算節點之間延伸，其中所述多個計算節點各透過所述多根第一無源線纜中的至少一根連接於所述MOR交換器，且所述多根第一無源線纜設置成採用不歸零(NRZ)編碼支援56Gbps資料速率；一光電面板(EOP)，位於所述機架式伺服器的上部，所述光電面板設置有多個無源埠；以及多根第二無源線纜，在所述多個無源埠和所述第二組埠之間延伸，其中，所述光電面板包括多個有源埠，所述多個有源埠各設置成提供電源和高速電信號，所述多個無源埠各連接於所述多個有源埠中的其中一個。
  2. 一種伺服器系統，包括：一機架式伺服器，具有一頂部和一底部以及豎向佈置的多個計算節點，所述多個計算節點在所述頂部和所述底部之間間隔開，所述機架式伺服器還包括一機架中部式(MOR)交換器，所述MOR交換器位於所述頂部和所述底部之間大約一半的位置，所述MOR交換器包括一第一組埠以及一第二組埠；多根第一無源線纜，在所述第一組埠和所述多個計算節點之間延伸，其中所述多個計算節點各透過所述多根第一無源線纜中的至少一根連接於所述MOR交換器，且所述多根第一無源線纜設置成採用不歸零(NRZ)編碼支援56Gbps資料速率；一光電面板(EOP)，位於所述機架式伺服器的上部，所述光電面板設置有多個無源埠；以及多根第二無源線纜，在所述多個無源埠和所述第二組埠之間延伸，其中，所述光電面板包括多個有源埠，所述多個有源埠各設置成提供電源和高速電信號，其中，所述多個無源埠各連接於設置在光電面板中的一交換器，且所述多個有源埠各連接於所述交換器，所述交換器設置成引導所述多個有源埠和所述多個無源埠之間的多個信號。
  3. 一種伺服器系統，包括：一機架式伺服器，具有一頂部和一底部以及豎向佈置的多個計算節點，所述多個計算節點在所述頂部和所述底部之間間隔開，所述機架式伺服器還包括一機架中部式(MOR)交換器，所述MOR交換器位於所述頂部和所述底部之間大約一半的位置，所述MOR交換器包括一第一組埠以及一第二組埠；多根第一無源線纜，在所述第一組埠和所述多個計算節點之間延伸，其中所述多個計算節點各透過所述多根第一無源線纜中的至少一根連接於所述MOR交換器，且所述多根第一無源線纜設置成採用不歸零(NRZ)編碼支援56Gbps資料速率；一光電面板(EOP)，位於所述機架式伺服器的上部，所述光電面板設置有多個無源埠；以及多根第二無源線纜，在所述多個無源埠和所述第二組埠之間延伸，其中，所述光電面板包括多個光埠，所述多個光埠連接於所述多個無源埠，其中，所述多個光埠各包括一光電收發器，所述光電收發器設置成將光信號轉換為電信號且進一步將電信號轉換為光信號。
  4. 如請求項3所述的伺服器系統，其中，所述多個光埠是朗訊連接器/物理接觸(LC/PC)連接。
  5. 如請求項1所述的伺服器系統，其中，所述多根無源線纜中的各無源線纜不超過1.5米長。
TW107105540A 2017-02-14 2018-02-14 Server system TWI668557B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762458887P 2017-02-14 2017-02-14
US62/458,887 2017-02-14

Publications (2)

Publication Number Publication Date
TW201841094A TW201841094A (zh) 2018-11-16
TWI668557B true TWI668557B (zh) 2019-08-11

Family

ID=63170453

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108116907A TWI730325B (zh) 2017-02-14 2018-02-14 伺服器盒子
TW107105540A TWI668557B (zh) 2017-02-14 2018-02-14 Server system

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108116907A TWI730325B (zh) 2017-02-14 2018-02-14 伺服器盒子

Country Status (5)

Country Link
US (3) US11184991B2 (zh)
JP (1) JP6880242B2 (zh)
CN (1) CN110337838B (zh)
TW (2) TWI730325B (zh)
WO (1) WO2018152166A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6880242B2 (ja) 2017-02-14 2021-06-02 モレックス エルエルシー ブレークアウトモジュールシステム
JP6611203B2 (ja) * 2017-10-20 2019-11-27 Ｎｅｃプラットフォームズ株式会社 モジュール、サーバ
US20220405216A1 (en) * 2021-06-16 2022-12-22 Dell Products L.P. Systems and methods for dual connectivity on an optical port

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120008945A1 (en) * 2010-07-08 2012-01-12 Nec Laboratories America, Inc. Optical switching network
WO2015051023A1 (en) * 2013-10-03 2015-04-09 Coadna Photonics Inc. Distributed optical switching architecture for data center networking
TW201534198A (zh) * 2014-02-18 2015-09-01 Quanta Comp Inc 伺服器裝置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912800A (en) * 1997-09-03 1999-06-15 International Business Machines Corporation Electronic packages and method to enhance the passive thermal management of electronic packages
US20060114907A1 (en) 2004-11-30 2006-06-01 Broadcom Corporation Cut-through switching in a network device
JP2007128498A (ja) * 2005-10-07 2007-05-24 Nec Corp コンピュータシステム
US7791890B2 (en) * 2005-10-07 2010-09-07 Nec Corporation Computer system
US7452236B2 (en) * 2007-02-01 2008-11-18 Aprius, Inc. Cabling for rack-mount devices
JP2008251067A (ja) * 2007-03-29 2008-10-16 Hitachi Ltd ディスクアレイ装置
CN201138463Y (zh) * 2007-12-27 2008-10-22 鸿富锦精密工业（深圳）有限公司 具有导风罩的电脑系统
US8103137B2 (en) * 2009-04-01 2012-01-24 Fusion-Io, Inc. Optical network for cluster computing
US8351192B2 (en) * 2010-08-10 2013-01-08 International Business Machines Corporation Cable-free power distribution in a rack
TWM401282U (en) * 2010-08-13 2011-04-01 Datavan Int Corp Improved structure for the main engine
DE102011004746B4 (de) 2011-02-25 2023-09-28 Osram Gmbh Halbleiter-Leuchtmodul und Fahrzeugleuchte
JP5574279B2 (ja) 2011-04-22 2014-08-20 日立金属株式会社 伝送装置の管理システム
CN102546813B (zh) * 2012-03-15 2016-03-16 北京思特奇信息技术股份有限公司 一种基于x86 PC架构的高性能集群计算系统
US8983293B2 (en) * 2012-04-25 2015-03-17 Ciena Corporation Electro-optical switching fabric systems and methods
CN103677100A (zh) * 2012-09-21 2014-03-26 英业达科技有限公司 服务器
JP6162979B2 (ja) 2013-03-01 2017-07-12 特定非営利活動法人光ファイバー普及推進協会 集合施設用光通信システム
US9454501B2 (en) * 2013-07-30 2016-09-27 Leviton Manufacturing Co., Inc. Intelligent patch panel port monitoring system
US9285558B2 (en) * 2013-10-07 2016-03-15 All Systems Broadband, Inc. System for mounting a plurality of fiber optic cassettes to a high density cassette shelf
US9183104B2 (en) * 2013-12-20 2015-11-10 International Business Machines Corporation Validating connection, structural characteristics and positioning of cable connectors
JP6334183B2 (ja) * 2014-01-31 2018-05-30 株式会社日立製作所 光伝送回路
US9553670B2 (en) * 2014-03-03 2017-01-24 Inphi Corporation Optical module
JP2016096225A (ja) 2014-11-13 2016-05-26 日立金属株式会社 電子機器
CN105792515A (zh) * 2014-12-25 2016-07-20 台达电子工业股份有限公司 电路板组合及其组装方法
JP6387835B2 (ja) 2015-01-07 2018-09-12 富士通株式会社 伝送装置および伝送方法
US20160335209A1 (en) * 2015-05-11 2016-11-17 Quanta Computer Inc. High-speed data transmission using pcie protocol
US20160337041A1 (en) * 2015-05-15 2016-11-17 Futurewei Technologies, Inc. Polarization Independent Reflective Modulator
US20170099190A1 (en) * 2015-10-02 2017-04-06 Seagate Technology Llc Data center rack flexplane
US9838138B1 (en) * 2015-12-30 2017-12-05 Juniper Networks, Inc. Self-calibration of pluggable optical module
US10034407B2 (en) * 2016-07-22 2018-07-24 Intel Corporation Storage sled for a data center
US20180150256A1 (en) * 2016-11-29 2018-05-31 Intel Corporation Technologies for data deduplication in disaggregated architectures
JP6880242B2 (ja) 2017-02-14 2021-06-02 モレックス エルエルシー ブレークアウトモジュールシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120008945A1 (en) * 2010-07-08 2012-01-12 Nec Laboratories America, Inc. Optical switching network
WO2015051023A1 (en) * 2013-10-03 2015-04-09 Coadna Photonics Inc. Distributed optical switching architecture for data center networking
TW201534198A (zh) * 2014-02-18 2015-09-01 Quanta Comp Inc 伺服器裝置

Also Published As

Publication number Publication date
US11576276B2 (en) 2023-02-07
CN110337838B (zh) 2021-06-04
TWI730325B (zh) 2021-06-11
WO2018152166A1 (en) 2018-08-23
JP6880242B2 (ja) 2021-06-02
TW201841094A (zh) 2018-11-16
TW201933029A (zh) 2019-08-16
JP2020507874A (ja) 2020-03-12
US11184991B2 (en) 2021-11-23
CN110337838A (zh) 2019-10-15
US20220061183A1 (en) 2022-02-24
US20200053904A1 (en) 2020-02-13
US20230180424A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
US10474460B2 (en) Technologies for optical communication in rack clusters
JP6294838B2 (ja) 高密度に実装された光インターコネクトを有するチップアセンブリ構成
JP4687621B2 (ja) スイッチ機能付通信モジュール及び通信装置
US11576276B2 (en) Break out module system
CN110753473B (zh) 电路板组合以及电子设备
WO2017118388A1 (zh) 一种光背板子架装置
JP6605747B2 (ja) ラインカードシャーシ、マルチシャーシクラスタルータおよびパケット処理
US9170386B2 (en) Opto-electronic device assembly
US11323787B1 (en) Multi-chip photonic node for scalable all-to-all connected fabrics
US20230308787A1 (en) Hybrid optoelectrical switches
US11561352B2 (en) High density optical I/O inside a data center switch using multi-core fibers
US10791385B2 (en) Optical to electrical conversion module
US11630274B2 (en) High-density optical communications using multi-core fiber
CN116263527A (zh) 光模块连接组件、共封装光学结构和网络设备
JP2009224951A (ja) 光結合システム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees