TW200917763A - Method, system, and apparatus for reliable data packet recovery in a link layer of a data center ethernet network - Google Patents

Description

200917763 九、發明說明： 【發明所屬之技術領域】 本發明概言之係關於資料封包恢復，且特定而言係關於 恢復丟失之資料封包。 【先前技術】 資料中心乙太網路（DCE)(亦稱為增強型乙太網路或低延 時乙太網路）係一新興工業標準，其提議對現有網路進行 修改，嘗試將乙太網路定位為所有類型之資料中心訊務之 較佳會聚結構。一當前研究已發現，乙太網路係其中於一 資料中心處具有I/O合倂之會聚結構，如圖1中顯示。此合 倂意欲簡化平臺架構並降低總平臺成本。關於合倂之提議 之更多細節係闡述於「http://www.ieee802.Org/l/files/ public/docs2005/new-wadekar-virtual%20-links-03 05.pdf」 上可見之「關於乙太網路中之訊務差別之提議」中。 已提議關於DCE之主要變化，包含在鏈結層處添加基於 信用之流控制、阻塞偵測及資料率節流、及添加具有服務 品質差別之虛擬路徑。注意到此等功能並不影響存在於 DCE位準之上的傳輸控制協定/網際網路協定（TCP/IP)係重 要的。亦應注意，DCE意欲在不使得TCP/IP之開銷成為必 需之前提下運作。此提供一種不要求卸載處理或加速器之 文間勿、欣本之力忒。 乙太網路標準之先前版本依賴於TCP來偵測丟棄或丟失 之封包以針對端對端恢復來起始資料之恢復或重傳輸。此 等鏈路之位元錯誤率（BER)已成為設計具有許多交換器之 133656.doc 200917763 大型網路之限定因素，因為在大型網路中，每一資料封包 需要橫穿更多鏈路以到達其目的地。此外，隨資料率增加 (例如，自10-40-100 Gbit/s) ’ BER亦增加。舉例而言，一 32節點之交換結構中之1〇 Gbhs/s乙太網路鏈路可需要各 自具有8個琿之！2個交換器，且一典型封包在到達$目的 地之前經受交換器之間的至少4個躍程。鏈路越多，每一 封包對鏈路位元錯誤越敏感。此外，BER隨資料率増加而 增加’因為許多鏈路功率損失與資料率成正比。 為解決此等問題，已針對乙太網路堆棧之層2提議一端 對端鏈路恢復機制。然而，此方法取決於正確地設置網路 逾時值，其會產生數個實際問題。舉例而言，逾時值趨於 在較大網路中增大，以克服局域交換阻塞問題◦過分縮短 逾時會導致不必要之重試嘗試及放慢通過量。此實際上增 加阻塞且可能導致一級聯網路崩潰。將逾時設置地過長會 放丨又恢復時間，導致更低之通過量。更複雜之恢復方案 (例如前向糾錯（FEC)代碼）需要大量開銷且僅恢復某些類型 之錯誤。因此’其在高BER環境中不能良好作用。 【發明内容】 本文提供一種用於在一資料中心乙太網路（DCE)中恢復 所丟棄封包之方法、系統及設備。用於傳輸之資料封包儲 存於一傳輸器中之重傳緩衝器中。每一資料封包包含一標 頭，其具有一包含指示該資料封包經格式化以用於在鏈結 層處之可靠恢復之資料之攔位。跨越DCE網路中之鏈結層 將該等資料封包傳輸至一接收器。該接收器接收跨越該鏈 133656.doc 200917763 結層傳輸之資料封包。確定—資料封包是否被丢棄。若確 定-資料封包已被丟棄，則跨越鏈結層在另一資料封包中 將一未確認信號自該接收器發送至傳輪器，該未確認信號 指示傳輸至該接收器之該資料封包已被去棄。若確定一資 料封包尚未被吾棄，則跨越鏈結層在另一資料封包中將一 確認信號自該接收器發送至傳輸器，該確認信號指示已接 ‘ ㈣自該傳輸器傳輸之f料封包。若在—逾時週期之後未 Γ: #收到確認信號，則假設傳輸至該接收器之資料封包或在 資料封包中傳輸至該傳輸器之確認信號已被丢棄。回 應於在傳輸器處接收該未確認信號或回應於在該逾時週期 之後未在傳輸器處接收到確認信號，則自傳輸器内之重傳 緩衝器内擷取該資料封包，並跨越鏈結層將該資料封包重 新發送至接收器。 根據-例示性實施例，為每一資料封包指配一封包序 號。藉由比較一所接收封包與一期望之序號來確定一資料 〇 封包是否被丢棄°若所接收封包之序號與所期望序號不 同，則假設該資料封包已被丟棄。 ^ 【實施方式】 • 根據-例示性實施例，本文介紹於一大型DCE網路中在 冑結層處之可靠性。如熟f此項技術者將瞭解，隨封包被 傳輸至接收器，可出現各種錯誤，例如位元翻轉、在鍵路 上引入雜訊等°循環冗餘校驗（CRC)可m貞測此等錯 誤，如下文進一步闡釋。本文提議一種技術，其中丢棄： 有錯誤（例如位元翻轉、在鏈路上引入雜訊等）之資料= 133656.doc 200917763 序號及逾知機制之組合在網路之鏈路位準處偵測 ^、封L因此，將偵測及恢復添加至DCE鏈結層。此 也：時週』足夠長以將由於結構阻塞而導致之錯誤重試 *、最Η匕1^實施方案能夠針對分群及I/O為極大之交 換結構處理恢復。 、根據例示性實施例，可藉由添加傳輸側上之-個或-個 、傳緩衝器以重新傳輸丟棄封包來修改現有之硬體結 構及鏈路協疋。用於重新傳輸之重傳緩衝器獨立於接收側 ^堇用於人埠資料之DCE虛擬路徑或通道擴展流控制緩衝 器重傳緩衝器僅需足夠大以容納鍵路距離、八似趾之 處理時間（於此處介紹並在下文閣述）、及最大傳輸單元 (MTU)傳輸及接收時間。卿係指—通信協定之給定層可 向=傳送之最大封包之大小（以位元組為單位）。然而，應 庄思，一完整資料封包必須在其可被檢驗及發送一 Ack/Nak指示之前被接收。根據一例示性實施例，可使用 一低成本、多寫入/少讀取緩衝器。舉例而言，一 米長 具有4K有效負載之；[〇 Gbit/S鏈路可使用一約2K之緩衝器。 參照圖2，其圖解說明於一 〇(；^網路中透過一可靠之鏈 路位準之資料封包流，自—傳輸器（發送側）22()傳輸之每一 資料封包具有一封包序號（PSN)。萬一所傳輸之資料封包 被丟棄，其亦存儲於一重傳緩衝器230中，且需重傳輸。 封包在其自傳輸器跨越鏈結層而到達時由_接收器（接 收側）210接收及確認/未確認。接收器21〇包含一控制機構 215，其藉由比較一所傳輸封包内之CRC攔位與一所接收 133656.doc 200917763 封包内之CRC攔位來確定是否已接收錯誤資料。該crc搁 位在-資料封包末端（在有效負载之後）包含相位元組。在 傳輸器產生-封包時，藉由對封包之標頭及有效負載執行 計算並隨後將結果（已知為CRC)附襄於封包之末端來產生 CRC。在接收H接收—封包時，其對標頭及有效負載執行 相同之計算。將接收器產生之CRC與在自傳輸器22〇接收 - t封包末端處之CRC進行比較，且若料㈣相同，則接 V:收器210認為已無誤差地接收該封包。若該接收器因為 CRC*相㈣確定該封包存在錯誤，則其*能信任該封包 之任-部分。事實上，接收器21〇甚至不能區別所接收資 料是否為資料封包。所接收資料可能僅為雜訊。因此，接 收器21 0將此資料作為一壞封包摒棄。 若接收器210所接收之資料通過該CRC，則接收器210比 較該資料封包之PSN與-期望刚。削係詳細闊述於一 般指定之同在中請之美國專利中請案第i i /4 2 6，4 2 i號中， ϋ ㈣以引用的方式倂人本文中。封包係基於PSN之比較來 驗證。若-具有-期望PSN之封包並未到達，則假設一錯 誤發生，且-或多個封包被丢棄。因此，若無序接收一封 • & ’則假設-或多個封包被丟棄。相依於PSN比較結果， - 接收器210在一資料封包之標頭内傳回- Ack(確認）位元或 一Nak(未確認）位元，如圖4所示。接收器21〇亦指示最後 正確接收之PSN。作為一初始化過程之一部分，控制機構 215分析來自接收器2丨〇之如Ack/Nak封包中供應之指示開 始PSN之資訊，並將此資訊傳回至傳輸器220。 133656.doc 200917763 根據一例示性實施例，若傳輸器220自接收器2ι〇接收一

Nak，則傳輸器22〇自重傳緩衝器重新發送資料封包。若未 接收到一 Nak信號，則傳輸器22〇等待接收一指示該資料封 包已接收之Ack信號。若由於（例如）一封包被丟棄或一 Ack 信號丟失而使傳輸器在一逾時週期之後未自接收器2丨〇接 收到一 Ack信號，則傳輸器22〇自重傳緩衝器23〇重新發送 忒貝料封包。重新發送之資料封包可被視為資料封包 N+1，其中N係由傳輸器22〇最後接收一 Ack所針對之資料 封包之PSN。 根據一例示性實施例，接收器21〇無需針對所接收之每 資料封包來發送—Ack，因為接收器可能忙於其他任 務。因此，接收器可針對接收之最後一封包發送一 ΑΑ。 此稱為封包之併合（coalescing of packets)」。若傳輸器 在接收到一 Ack信號之前「逾時」，則其重新發送自接收 之最後一Ack起發送之彼等封包。 儘官為簡化說明之目的而在圖2中未顯示，但應瞭解， 在交換結構中可存在許多鏈路、節點及交換器，通過此等 鏈路、節點及交換器將資料封包自傳輸器22〇發送至接收 器210。作為一非限制性實例，可跨越一節點交換結構來 傳輸該等資料封包，該節點交換結構包含32個或更多個各 自ι έ 12個父換器（各自具有8個埠）之節點。上述特徵可實 ^於該結構中之所有鏈路上，或其可被綁定至dcE服務位 準且僅影響該結構中之某些鏈路。 出於圖解說明之目的，圖3顯示一當前存在之DCE資料 133656.doc 200917763 封包300。該封包包含一標頭，該標頭包含目的地及源欄 位305與一 2位元組控制欄位。該2位元組控制攔位含有指 示封包類型之資訊。該資料封包亦包含額外標頭及有效負 載3 20，後接一 CRC攔位330。 圖4圖解說明一根據一例示性實施例修改之D(：E資料封

包400，以包含指示該增強Dce可靠性鏈結層特徵是否用 於該封包中之資訊。其允許可靠及標準封包之混合。彼等 「可靠」之包含有指示在該封包中使用DCE可靠性鏈結層 特徵之資訊。參照圖4，資料封包包含一包含目的地及源 攔位405之標頭，其類似於圖3所示欄位3〇5。根據一例示 性實施例，資料封包400亦包含一 2位元組控制攔位41〇， 其經修改以包含指示該封包是否為DCE標準格式、或其是 否經格式化以與一如上文所述之DCE可靠鏈結層一起作用 之資訊。此㈣欄位410亦包含一代碼，其指示其後存在 - PSN攔位415且之後存在—經正常界定之控制欄位418。 最後’封包400包含額外標頭及有效負載42〇及一crc攔位 430。此格式化允許藉助先前8〇2 3 ieee乙太網路標準之回 溯能力。 文指示，在傳輸器與接收器之間可存在許多交換器 及鏈路。可根據f要在傳輸器與接收器之間的交換結構中 任&點處修改—標準DCE封包，以指示已針對該封包啓用 可靠性特徵，如圖4中顯示。舉例而言，此可有利於—資 料封包k穿一習知為不可靠之鏈路。而且，亦可在任一點 處根據要修改—已啓用可靠性特徵之資料封包，以使得 133656.doc -12- 200917763 其採取一標準DCE封包之形式。此可有利於-封包橫穿〆 習知為可靠之鏈路，以使得彼鏈路無需可靠性特徵。 如圖5中圖解說明，—自接收器發送至傳輸器之資料封 包500類似於圖4中所示資料封包，其中其包含源及目的地 攔位505 2位元組控制欄位51 0、一 PSN攔位51 5及〆 CRC攔位530。根據一例示性實施例’ 2位元組控制攔位 510之單個代碼指示該封包係一 dce可靠性鏈結層

Ack/Nak/Init封包。資料封包5〇〇亦包含一含有本文介紹及 闡述之Ack/Nak及init 〇p代碼資料之攔位518。

Ack/Nak/Ill丨t攔位5〗8顯示為在PSN欄位515之後，以使得 PSN攔位針人埠及出埠封包位於封包内之相同位置處。 然而，應瞭解，若需要，則可交換攔位518及515之位置。 根據例示性實施例，在傳輸器側使用一小型低成本重傳 緩衝器在DCE鏈結層處引入恢復。此導致比其他所提議之 替代物（例如端對端恢復及FEC代碼）更快且更穩健，且可

回應於任一類型之鏈路降級，包含不常見之高ber。psN 比較可用於偵測吾失之資料封包。可透過一 DCE訊框内之 經修改標頭來實施此恢復特徵，因此使得此特徵回溯相 容。 儘管已參考例示性實施例來闡述本發明，但熟習此項技 術者應瞭解，可在不背離本發明範疇之前提下做出各種修 改且可針對其要素來替代等價物。另外，在不背離其本質 範疇之前提下可做出許多修改以適應本發明教示之特定情 況或材料。因此，本文並非意欲將本發明限於所揭示之作 133656.doc 13- 200917763 為實施本發明最佳設想模式之特定實施例，而係意欲使本 發明包含所有屬於隨附申請專利範圍範疇内之實施例。 【圖式簡單說明】 參照例示性圖示，其中在數個圖示中為相同元件做出相 同編號： 圖1圖解說明一資料中心乙太（DCE)網路中所提議之訊務 合倂。 圖2圖解說明根據一例示性實施例在具有一增強型鏈結 層之DCE構架中丢棄封包恢復之流程。 圖3圖解說明一現有DCE乙太網路封包。 圖4圖解說明一根據一例示性實施例包含一指示恢 復能力之欄位之經修改DCE乙太網路資料封包。 圖5圖解說明一根據一例示性實施例包含一指示封包接 收之確認或未確認之攔位之經修改DCE乙太網路資料封 包。 r, 【主要元件符號說明】 210 接收側 215 控制：封包驗證、序號及初始化 220 發送側 225 控制：序號、逾時及初始化 230 重傳緩衝器（-2K*) 300 DCE資料封包 305 目的地及源攔位 310 2位元組控制攔位 133656.doc -14- 額外標頭及有效負載 CRC欄位 經修改之DCE資料封包 目的地及源欄位 2位元組控制欄位 PSN攔位 經正常界定之控制欄位 額外標頭及有效負載 CRC搁位 資料封包 源及目的地欄位 2位元組控制欄位 PSN攔位

Ack/Nak/Init 攔位 CRC欄位 -15-

Claims (1)

1. 200917763 十、申請專利範圍： 1. 一種用於在一資料中心乙太（DCE)網路中恢復所丢棄資 料封包之方法，其包括： 將用於傳輸之資料封包儲存在一傳輸器中之重傳緩衝 器中’其中每一資料封包包含一標頭，該標頭具有一包 含指示該資料封包經格式化以用於在鏈結層處之可靠恢 復之貧料之搁位； 跨越該DCE網路中之一鏈結層將該等資料封包傳輸至 一接收器； 接收跨越該鏈結層所傳輸之該等資料封包； 確定是否已丟棄一資料封包； 若確定一資料封包已被丟棄，則跨越該鏈結層在另一 資料封包中將一指示該資料封包已被丟棄之未確認信號 自該接收器發送至該傳輸器；及 右確定一貧料封包尚未被丟棄，則跨越該鏈結層在該

   2. 另貝料封包中將—指示已接收到該資料封包之確認信 號自該接收器發送至該傳輸器，其中若在一逾時週期之 後未接收到確認㈣’驗設該資料封包或該確認信號 已被吾棄；及 s回應於在該傳輸器處接收到該未確認信號或回應於在 “逾寺週期之後未在該傳輸器處接收到—確認信號， S重傳緩衝器操取該資料封包；及 Μ 4鏈#層將該資料封包重新發送至該接收器。 &請求項1 $ t ^ 乃法，其中該指示該資料封包經格式化以 I33656.doc 200917763 用於在該鏈結層處之可查 接收器之該資料封包包含於傳輸至該 位中。 T之該貧科封包標豆員之2位元組欄 3. 如請求項1之方法，龙中盔夂 ^ "中為母一貧料封包指配一封包序 唬，且該確定步驟包 望序號，其中若該所接收^ =㈣包之序號與一期 ，π 4 接收責枓封包之該序號與該期望序 號不相同，則假設該資料封包已被丢棄。 4, 2請求項i之方法，其中該逾時週期與下列時間—樣 資料封包自該傳輸器至該接收器並返回地橫穿該 鏈路所花費之時間；比 ° 华父貝科封包序號與一期望序號 —確§忍信號或-未確認信號所花費之時間；以及 最大傳輸單元（MTU)傳輸與接收時間。 133656.doc 200917763 等資料封包’其中每一資料封包皆包含一標頭，該標頭 具有一包含指示該資料封包經格式化以用於在該鏈結層 處之可靠恢復之資料之攔位；及 一接收器，其用於接收跨越該鏈結層所傳輸之該等資 料封包，及確定一資料封包是否已被丟棄，其中若確定 一資料封包已被丟棄，則該接收器跨越該鏈結層在另一 資料封包甲將-指示該資料封包已被丢棄之未確認信號 自該接收器發送至該傳輸器’且若確定—資料封包尚未 被丟棄，則該接收器跨越該鏈結層在該另一資料封包中 將—指示已接㈣該資料封包之確認信號發送至該傳輸 器； …二中右纟逾時週期之後未接收到確認信號，則假設 及資料封包或該確認信號已被丟棄，且 其中回應於在該傳輸器處接收到該未確認信號或回應 缺^逾時週期之後未在該傳輸器處接收到一確認信 雜a s 得緩衝益擷取該資料封包並跨越該 鍵結層將該資料封包重 置新發达至該接收器。 9·如請求項8之系統，其+ & & ™ ^ ^ ^ 丹中該私示該資料封包經格式化以 傳铪 了罪恢復之資料係包含於一包含在 專輪至s亥接收器之該 位元組欄位中。貝枓封包中之該資料封包標頭之2 10.如請求項8之系統，政 ψ , B ^ ^ ^中為每—資料封包指配一封包序 琥，且該接收器藉由 望序號來確封~ θ較—所接收封包之—序號與一期 、匕疋否已被丟棄’其中若該所接收封 I33656.doc 200917763 匕乂序號與該期望序號不相同，則假設該資料封包已 被去棄。 月求員8之系統，其中該逾時週期與下列時間一樣 長二#包自該傳輸器至該接收器並返回地橫穿該鏈路 所化費之時間；將—資料封包序號與—期望序號進行比 較f產生一確認信號或一未確認信號所花費之時間；以 及最大傳輸單元（MTU)傳輸與接收時間。 12_如請求項"之系統，其中一刪包含—通信協定之一給 定鏈結層可向前傳送之最大資料封包之大小， 為單位。 Α如請求項8之系統’其中該確認信號係在該接收器接收 到一或多個資料封包之後予以發送。 14. 如請求項8之系統’其中該系統係一具有一高位元錯誤 率（BER)及大量節點及交換器之網路之—部分以使得 該等資料封包橫穿大量鏈路。 、 Lj 15. —種用於在—資料中 、 乙太（DCE)網路中恢復所丟棄封 包之設備，其包括： ’ 重傳緩衝H，其用於儲存f料封包，其中每一資料 封包皆包含-標頭，該標頭具有一包含指示該資料封包 經格式化以用於在該鏈結層處之可靠恢復之資料 位；及 * :傳輸器’其用於跨越該DCE網路中之一鏈結層將該 等資料封包傳輸至一接收器，其中 回應於自該接收器接收到—跨越該鏈結層在另一資料 133656.doc 200917763 封包中傳輸之指示-發送至該接收器資料封包已被 丢棄之未確認信號，或回應於在一逾 ^ 4週期之後尚未接 卜跨越該鏈結層在該另-資料封包中傳輸至該接收 :之指示已接收到-資料封包之確認信號，據此假設該 貧料封包或該確認信號已被*棄’該傳輸器自該重傳緩 衝㈣取該封包並跨越該鏈結層將該資料封包重新發送 至該接收器。

   16.如請求項15之設備，以該指示該資料封包經格式化以 用於在該鏈結層處之可靠恢復之資料係包含於一包含在 傳輸至該接收器之該資料封包中之該資料封包標頭3之2 位元組欄位中。 17·如請求項15之設備，其中每一資料封包皆具有一序號， 且藉由比較一所接收封包之序號與一期望序號來確定一 資料封包已被錢，其巾㈣所純封包之該序號與該 期望序號不相同，則假設該資料封包已被丟棄。 18. 如請求項15之設備，其中該逾時週期與下列時間一樣 長：一封包自該傳輪器至該接收器並返回地橫穿該鏈路 所花費之時間H料封包序號與—期望序號進行比 較並產生一確認信號或一未確認信號所花費之時間；以 及最大傳輸單元（MTU)傳輸與接收時間。 19. 如請求項15之設備，其中該確認信號係在該接收器接收 到一或多個資料封包之後予以發送。 2〇·如請求項15之設備，其中該設備係一具有一高位元錯誤 率（BER)及大量節點及交換器之網路之一部分，以使得 該等資料封包橫穿大量鏈路。 133656.doc