TWI665554B - 熱插拔控制電路及相關儲存伺服器系統 - Google Patents

Abstract

一種熱插拔控制電路，用來偵測一NVMe儲存器模組的操作狀態，以產生一偵測報告至一儲存伺服器，其中該偵測報告指示一熱移除事件及一熱新增事件中的至少一者。當該NVMe儲存器模組中的至少一NVMe硬碟被移除時，表示有熱移除事件發生，因此該熱插拔控制電路可透過該偵測報告來回報熱移除事件給該儲存伺服器。此外，當有新的NVMe硬碟新增到該NVMe儲存器模組時，表示有熱新增事件發生，因此該熱插拔控制電路可透過該偵測報告來回報熱新增事件給該儲存伺服器。

Description

熱插拔控制電路及相關儲存伺服器系統

本發明係指一種熱插拔控制電路及相關儲存伺服器系統，尤指一種用於非揮發記憶體傳輸硬碟的熱插拔控制電路及相關儲存伺服器系統。

開放硬體計畫（Open Compute Project，OCP）是以開放硬體架構設計為目標的開源標準組織，其致力於研發高效率的大型資料中心硬體設計，用來簡化系統操作、提升系統可靠度以及維護、改善能源效率並降低電源消耗。開放硬體計畫對儲存伺服器系統（storage server system）制定了模組化的硬體設計規格。因此，當有新的控制晶片、硬碟（例如，硬碟（Hard Disk Drive，HDD）、固態硬碟（Solid State Drive，SSD））、伺服器卡、硬碟控制卡以及相關功能元件上市時，工程人員可直接從儲存伺服器系統取下舊模組並更換新模組，再搭配相關韌體更新程序，即可進行系統升級。

目前市面上的儲存伺服器系統，多半使用序列連接小型計算機系統介面（Serial Attached Small Computer System Interface，又稱Serial Attached SCSI，簡稱SAS）或序列先進技術附件（Serial Advanced Technology Attachment，SATA）介面等傳輸介面。然而，有越來越多的系統使用非揮發記憶體傳輸（Non-Volatile Memory Express，簡稱NVMe）及週邊組件互連傳輸（Peripheral Component Interconnect Express，簡稱PCIe）等傳輸介面的硬碟。

在實際應用中，儲存伺服器系統的中央處理器（或伺服器）無法直接讀取SAS／SATA 硬碟的資料，因此需額外建置SAS控制器來間接讀取資料；反之，中央處理器可透過PCIe介面來直接讀取NVMe硬碟的資料。因此，當系統建置的儲存器或硬碟的數量越多，相較於使用SAS／SATA 硬碟，使用NVMe硬碟可大幅減少資料讀取的遞延（latency）時間，以提高中央處理器的資料處理效能及讀寫速度。此外，NVMe硬碟的訊號頻寬比SAS／SATA 硬碟寬，NVMe硬碟的消耗功率比 SAS／SATA 硬碟低，也不會有SAS／SATA 硬碟的壞軌現象發生。如此可預期，未來NVMe硬碟會慢慢地取代SAS／SATA 硬碟。

進一步地，若欲在儲存伺服器系統增加NVMe儲存器模組（包含多個NVMe硬碟），則需將擴充卡（Add in card）安裝在伺服器主機板上，並透過擴充卡上的重定時器（Re-timer）加強PCIe訊號強度，再由外接纜線傳遞PCIe訊號到NVMe儲存器模組。

然而，申請人注意到上述架構的缺失是無法進行熱插拔（Hot swap），例如重定時器及外接纜線皆不具備熱插拔控制功能，導致工程人員在進行與NVMe硬碟或整台模組有關的系統升級與維修時，需先關閉儲存伺服器系統後才可進行相關工作。因此，實有必要設計一種用於NVMe硬碟的熱插拔控制電路及相關儲存伺服器系統，讓使用NVMe硬碟的儲存伺服器系統具備便利的操作性及維護性。

因此，本發明的主要目的即在於提供一種用於非揮發記憶體傳輸硬碟的熱插拔控制電路及相關儲存伺服器系統。

本發明揭露一種熱插拔控制電路，用於一儲存伺服器系統，包含一第一控制器、一週邊組件互連傳輸（Peripheral Component Interconnect Express，簡稱PCIe）擴展器以及一第二控制器。該第一控制器用來偵測該儲存伺服器系統的一非揮發記憶體傳輸（Non-Volatile Memory Express，簡稱NVMe）儲存器模組的一熱移除事件及一熱新增事件中的至少一者，以產生一第一控制訊號。該PCIe擴展器耦接於該第一控制器，用來根據該第一控制訊號，產生一偵測報告至該儲存伺服器系統的一中央處理器，以回報該熱移除事件及該熱新增事件中的至少一者，並產生一第二控制訊號，其中該第一控制訊號、該偵測報告及該第二控制訊號指示該熱移除事件及該熱新增事件中的至少一者。該第二控制器耦接於該PCIe擴展器及該NVMe儲存器模組，用來當該第二控制訊號指示該熱移除事件，產生一禁止讀寫訊號至該NVMe儲存器模組，以及當該第二控制訊號指示該熱新增事件時，產生一啟動讀寫訊號至該NVMe儲存器模組。

本發明另揭露一種儲存伺服器系統，包含上述熱插拔控制電路、一NVMe儲存器模組以及一中央處理器（或一儲存伺服器）。該熱插拔控制電路可偵測NVMe儲存器模組的操作狀態，以產生一偵測報告至該中央處理器，其中該偵測報告指示一熱移除事件及一熱新增事件中的至少一者。當該NVMe儲存器模組中的至少一NVMe硬碟被移除時，表示有熱移除事件發生，因此該熱插拔控制電路可透過該偵測報告來回報熱移除事件給該中央處理器。此外，當有新的NVMe硬碟新增到該NVMe儲存器模組時，表示有熱新增事件發生，因此該熱插拔控制電路可透過該偵測報告來回報熱新增事件給該中央處理器。

因此，本發明的儲存伺服器系統可在開機的狀態下進行熱插拔，如此可提供便利的操作性及維護性。

第1圖為本發明實施例一儲存伺服器系統1的示意圖。儲存伺服器系統1包含一中央處理器（或一儲存伺服器）10、一提升卡（riser card）11、一擴展卡（switch card）12、一外接纜線13、一非揮發記憶體傳輸（Non-Volatile Memory Express，簡稱NVMe）儲存器模組14以及一主機板15。主機板15設置有中央處理器10及一連接器CON1。提升卡11包含一連接器CON2。擴展卡12包含一基板16、一連接器CON3及一熱插拔控制電路120，其中基板16設置有連接器CON2及熱插拔控制電路120。NVMe儲存器模組14包含多個NVMe硬碟14_1～14_N及一連接器CON4。

提升卡11可插入連接器CON1來連接到主機板15，並透過主機板15連接到中央處理器10。擴展卡12可插入連接器CON2來連接到提升卡11，並透過提升卡11及主機板15連接到中央處理器10。外接纜線13可插入連接器CON3來連接到擴展卡12，以及插入連接器CON4來連接到NVMe儲存器模組14。簡言之，提升卡11用來連接中央處理器10與擴展卡12，而外接纜線13用來連接擴展卡12與NVMe儲存器模組14。於一實施例中，擴展卡12可整合於主機板15，讓擴展卡12的熱插拔控制電路120可直接連接到中央處理器10，並讓外接纜線13連接主機板15及NVMe儲存器模組14，如此可減少訊號轉接時造成的衰減程度。

熱插拔控制電路120可偵測NVMe儲存器模組14的操作狀態，以產生一偵測報告D_RPT至中央處理器10，其中偵測報告D_RPT指示一熱移除事件H_RMV及一熱新增事件H_ADD中的至少一者。當NVMe硬碟14_1～14_N中的至少一者（例如NVMe硬碟14_X）被移除時，表示有熱移除事件H_RMV發生，因此熱插拔控制電路120可透過偵測報告D_RPT來回報熱移除事件H_RMV給中央處理器10。此外，當有新的NVMe硬碟14_Y新增到NVMe儲存器模組14時，表示有熱新增事件H_ADD發生，因此熱插拔控制電路120可透過偵測報告D_RPT來回報熱新增事件H_ADD給中央處理器10。

中央處理器10可透過週邊組件互連傳輸（Peripheral Component Interconnect Express，簡稱PCIe）傳輸介面，產生讀寫訊號RW（包含一資料訊號及一時脈訊號），並透過提升卡11、擴展卡12及外接纜線13，將讀寫訊號RW傳送到NVMe儲存器模組14，以讀取、寫入或更新NVMe硬碟14_1～14_N的資料。

假設NVMe硬碟14_1～14_N中的NVMe硬碟14_X被移除時，中央處理器10可根據偵測報告D_RPT指示的熱移除事件H_RMV，停止讀取NVMe硬碟14_X的資料。例如，中央處理器10可根據熱移除事件H_RMV，停止傳送有關NVMe硬碟14_X的讀寫訊號RW，以停止資料讀寫。另一方面，假設NVMe硬碟14_Y新增到NVMe儲存器模組14時，中央處理器10可根據偵測報告D_RPT指示的熱新增事件H_ADD，對NVMe硬碟14_Y進行配置（configuration）程序以讀取NVMe硬碟14_Y的資料。例如，中央處理器10可根據熱新增事件H_ADD，傳送有關NVMe硬碟14_Y的讀寫訊號RW，以進行資料讀取、寫入或更新。

如此一來，儲存伺服器系統1可在開機的狀態下，將NVMe硬碟14_X替換為NVMe硬碟14_Y，以進行熱插拔，如此可提供便利的操作性及維護性。於一實施例中，工程人員可移除NVMe儲存器模組14，以同時移除所有的NVMe硬碟14_1～14_N，再連接新的NVMe儲存器模組，以進行批次熱插拔，如此可進一步提升更換效率。

第2圖為本發明實施例儲存伺服器系統1的功能方塊圖。於本實施例中，提升卡11未繪於第2圖。熱插拔控制電路120（或擴展卡12）包含一PCIe擴展器20、一第一控制器21、一第二控制器22以及連接器CON3。NVMe儲存器模組14包含連接器CON4及NVMe硬碟14_1～14_N，其中外接纜線13可插入連接器CON3及連接器CON4，以連接擴展卡12及NVMe儲存器模組14。

第一控制器21耦接於PCIe擴展器20及連接器CON3，用來偵測熱移除事件H_RMV及熱新增事件H_ADD中的至少一者，以產生一第一控制訊號CTRL1至PCIe擴展器20。PCIe擴展器20耦接於中央處理器10、第一控制器21、第二控制器22及連接器CON3，用來根據第一控制訊號CTRL1，產生偵測報告D_RPT至中央處理器，並產生一第二控制訊號CTRL2至第二控制器22。第二控制器22耦接於PCIe擴展器20及連接器CON3，用來根據第二控制訊號CTRL2，產生一禁止讀寫訊號FBD_RW或一啟動讀寫訊號ACT_RW至連接器CON3，以將禁止讀寫訊號FBD_RW或啟動讀寫訊號ACT_RW傳遞至NVMe儲存器模組14。

假設NVMe硬碟14_1～14_N中的NVMe硬碟14_X被移除時，第一控制器21可產生第一控制訊號CTRL1至PCIe擴展器20，以指示NVMe硬碟14_X已被移除；接著，PCIe擴展器20根據第一控制訊號CTRL1來產生偵測報告D_RPT至中央處理器10，讓中央處理器10停止讀取NVMe硬碟14_X的資料。此外，PCIe擴展器20根據第一控制訊號CTRL1來產生第二控制訊號CTRL2至第二控制器22，以指示NVMe硬碟14_X已被移除；接著，第二控制器22可根據第二控制訊號CTRL2來產生禁止讀寫訊號FBD_RW，以禁止傳送NVMe硬碟14_X的相關讀寫訊號RW到NVMe儲存器模組14。於一實施例中，第一控制訊號CTRL1、第二控制訊號CTRL2及禁止讀寫訊號FBD_RW指示被移除的NVMe硬碟14_X的硬體識別。

另一方面，假設NVMe硬碟14_Y新增到NVMe儲存器模組14時，第一控制器21可產生第一控制訊號CTRL1至PCIe擴展器20，以指示已新增NVMe硬碟14_Y；接著，PCIe擴展器20根據第一控制訊號CTRL1來產生偵測報告D_RPT至中央處理器10，以通報有新的NVMe硬碟14_Y。此外，PCIe擴展器20根據第一控制訊號CTRL1來產生第二控制訊號CTRL2至第二控制器22，以指示已新增NVMe硬碟14_Y；接著，第二控制器22可根據第二控制訊號CTRL2來產生啟動讀寫訊號ACT_RW，以啟動傳送NVMe硬碟14_Y的相關讀寫訊號RW到NVMe儲存器模組14。於一實施例中，第一控制訊號CTRL1、第二控制訊號CTRL2及啟動讀寫訊號ACT_RW指示新增的NVMe硬碟14_Y的硬體識別。

簡言之，熱插拔控制電路120（或PCIe擴展器20）可作為中央處理器10與NVMe儲存器模組14訊號控制介面，用來回報熱移除及熱新增事件給中央處理器10，並同時控制傳送到NVMe儲存器模組14的讀寫訊號RW。

如此一來，儲存伺服器系統1可在開機的狀態下，將NVMe硬碟14_X替換為NVMe硬碟14_Y，以進行熱插拔，如此可提供便利的操作性及維護性。

上述關於熱插拔控制電路120（或PCIe擴展器20）的操作方式可歸納為一熱插拔控制流程3。如第3圖所示，熱插拔控制流程3包含以下步驟。

步驟30：開始。

步驟31：偵測一NVMe儲存器模組的一熱移除事件或一熱新增事件，以產生一偵測報告至一中央處理器。

步驟32：判斷該偵測報告係為該熱移除事件或該熱新增事件，若為熱移除事件，進行步驟33；若為熱新增事件，進行步驟34。

步驟33：產生一禁止讀寫訊號至該NVMe儲存器模組，以禁止讀寫對應於該熱移除事件的NVMe硬碟的資料。

步驟34：產生一啟動讀寫訊號至該NVMe儲存器模組，以啟動讀寫對應於該熱新增事件的NVMe硬碟的資料。

步驟35：結束。

關於熱插拔控制流程3的詳細操作方式可參考第1圖及第2圖的相關說明，於此不贅述。

綜上所述，本發明的熱插拔控制電路（或PCIe擴展器）可作為中央處理器（即伺服器）與NVMe儲存器模組訊號控制介面，用來回報熱移除及熱新增事件給中央處理器，並同時控制傳送到NVMe儲存器模組的讀寫訊號。如此一來，本發明的儲存伺服器系統可在開機的狀態下進行熱插拔，如此可提供便利的操作性及維護性。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

1‧‧‧儲存伺服器系統

10‧‧‧中央處理器

11‧‧‧提升卡

12‧‧‧擴展卡

13‧‧‧外接纜線

14‧‧‧NVMe儲存器模組

14_1～14_N、14_X、14_Y‧‧‧NVMe硬碟

15‧‧‧主機板

16‧‧‧基板

CON1、CON2、CON3、CON4‧‧‧連接器

120‧‧‧熱插拔控制電路

20‧‧‧PCIe擴展器

21‧‧‧第一控制器

22‧‧‧第二控制器

D_RPT‧‧‧偵測報告

H_RMV‧‧‧熱移除事件

H_ADD‧‧‧熱新增事件

CTRL1‧‧‧第一控制訊號

CTRL2‧‧‧第二控制訊號

RW‧‧‧讀寫訊號

FBD_RW‧‧‧禁止讀寫訊號

ACT_RW‧‧‧啟動讀寫訊號

3‧‧‧流程

30、31、32、33、34、35‧‧‧步驟

第1圖為本發明實施例一存儲伺服器系統的示意圖。 第2圖為本發明實施例第1圖的存儲伺服器系統的功能方塊圖。 第3圖為本發明實施例一熱插拔控制流程的流程圖。

Claims (13)

1. 一種熱插拔控制電路，用於一儲存伺服器系統，包含： 一第一控制器，用來偵測該儲存伺服器系統的一非揮發記憶體傳輸（Non-Volatile Memory Express，簡稱NVMe）儲存器模組的一熱移除事件及一熱新增事件中的至少一者，以產生一第一控制訊號； 一週邊組件互連傳輸（Peripheral Component Interconnect Express，簡稱PCIe）擴展器，耦接於該第一控制器，用來根據該第一控制訊號，產生一偵測報告至該儲存伺服器系統的一中央處理器，以回報該熱移除事件及該熱新增事件中的至少一者，並產生一第二控制訊號，其中該第一控制訊號、該偵測報告及該第二控制訊號指示該熱移除事件及該熱新增事件中的至少一者；以及 一第二控制器，耦接於該PCIe擴展器及該NVMe儲存器模組，用來當該第二控制訊號指示該熱移除事件，產生一禁止讀寫訊號至該NVMe儲存器模組，以及當該第二控制訊號指示該熱新增事件時，產生一啟動讀寫訊號至該NVMe儲存器模組。
2. 如請求項1所述的熱插拔控制電路，其中該NVMe儲存器模組包含複數個NVMe硬碟，當該第一控制器偵測該複數個NVMe硬碟的一第一NVMe硬碟被移除時，該第一控制器產生該第一控制訊號至該PCIe擴展器，以指示該第一NVMe硬碟已被移除，且該第一控制訊號、該第二控制訊號及該禁止讀寫訊號指示該第一NVMe硬碟的一第一硬體識別。
3. 如請求項1所述的熱插拔控制電路，其中當該第一控制器偵測一第二NVMe硬碟新增到該NVMe儲存器模組時，該第一控制器產生該第二控制訊號至該PCIe擴展器，以指示該第二NVMe硬碟已新增，且該第一控制訊號、該第二控制訊號及該啟動讀寫訊號指示該第二NVMe硬碟的一第二硬體識別。
4. 如請求項1所述的熱插拔控制電路，其中該中央處理器透過一PCIe傳輸介面，產生一讀寫訊號至該PCIe擴展器，以及透過該PCIe擴展器傳送該讀寫訊號至該NVMe儲存器模組，以讀取該NVMe儲存器模組包含的複數個NVMe硬碟中的至少一者的資料。
5. 如請求項4所述的熱插拔控制電路，其另包含一連接器，用來連接該儲存伺服器系統的一外接纜線，且該外接纜線用來連接該熱插拔控制電路及該NVMe儲存器模組，以及傳遞該讀寫訊號、該禁止讀寫訊號及該啟動讀寫訊號至該NVMe儲存器模組。
6. 如請求項5所述的熱插拔控制電路，其中該第一控制器及該第二控制器耦接於該連接器，以透過該連接器連接到該NVMe儲存器模組。
7. 一種儲存伺服器系統，包含： 一非揮發記憶體傳輸（Non-Volatile Memory Express，簡稱NVMe）儲存器模組； 一中央處理器；以及 一熱插拔控制電路，耦接於該NVMe儲存器模組及該中央處理器，包含： 一第一控制器，用來偵測該NVMe儲存器模組的一熱移除事件及一熱新增事件中的至少一者，以產生一第一控制訊號； 一週邊組件互連傳輸（Peripheral Component Interconnect Express，簡稱PCIe）擴展器，耦接於該第一控制器，用來根據該第一控制訊號，產生一偵測報告至該中央處理器，以回報該熱移除事件及該熱新增事件中的至少一者，並產生一第二控制訊號，其中該第一控制訊號、該偵測報告及該第二控制訊號指示該熱移除事件及該熱新增事件中的至少一者；以及 一第二控制器，耦接於該PCIe擴展器及該NVMe儲存器模組，用來當該第二控制訊號指示該熱移除事件，產生一禁止讀寫訊號至該NVMe儲存器模組，以及當該第二控制訊號指示該熱新增事件時，產生一啟動讀寫訊號至該NVMe儲存器模組。
8. 如請求項7所述的儲存伺服器系統，其中該NVMe儲存器模組包含複數個NVMe硬碟，當該第一控制器偵測該複數個NVMe硬碟的一第一NVMe硬碟被移除時，該第一控制器產生該第一控制訊號至該PCIe擴展器，以指示該第一NVMe硬碟已被移除，且該第一控制訊號、該第二控制訊號及該禁止讀寫訊號指示該第一NVMe硬碟的一第一硬體識別。
9. 如請求項7所述的儲存伺服器系統，其中當該第一控制器偵測一第二NVMe硬碟新增到該NVMe儲存器模組時，該第一控制器產生該第二控制訊號至該PCIe擴展器，以指示該第二NVMe硬碟已新增，且該第一控制訊號、該第二控制訊號及該啟動讀寫訊號指示該第二NVMe硬碟的一第二硬體識別。
10. 如請求項7所述的儲存伺服器系統，其另包含： 一主機板，設置有該中央處理器及一第一連接器； 一提升卡，包含一第一基板及一第二連接器，其中該提升卡插入該第一連接器來連接到該主機板； 一擴展卡，包含一第二基板及一第三連接器，其中該第二基板設置有該熱插拔控制電路及該第二連接器，且該擴展卡插入該第二連接器來連接到該提升卡，並透過該提升卡及該主機板連接到該中央處理器；以及 一外接纜線，其中該外接纜線插入該第三連接器來連接到該擴展卡，以及用來連接該熱插拔控制電路及該NVMe儲存器模組。
11. 如請求項7所述的儲存伺服器系統，其中該中央處理器透過一PCIe傳輸介面，產生一讀寫訊號至該PCIe擴展器，以及透過該PCIe擴展器傳送該讀寫訊號至該NVMe儲存器模組，以讀取該NVMe儲存器模組包含的複數個NVMe硬碟中的至少一者的資料。
12. 如請求項11所述的儲存伺服器系統，其中該熱插拔控制電路另用來傳遞該讀寫訊號、該禁止讀寫訊號及該啟動讀寫訊號至該NVMe儲存器模組。
13. 如請求項7所述的儲存伺服器系統，其中該第一控制器及該第二控制器耦接於一第三連接器，以透過該第三連接器連接到該NVMe儲存器模組。