TWI796211B

TWI796211B - 連接埠的設定方法

Info

Publication number: TWI796211B
Application number: TW111116394A
Authority: TW
Inventors: 劉穎杰; 楊硯翔
Original assignee: 神雲科技股份有限公司
Priority date: 2022-04-29
Filing date: 2022-04-29
Publication date: 2023-03-11
Also published as: TW202343269A

Abstract

一種連接埠的設定方法包含：藉由兩個外殼服務管理器在初始化階段，分別決定為一主動者及一被動者；藉由每一該外殼服務管理器根據預先儲存的一連接埠對應關係，產生並傳送一控制指令至對應的交換器；當任一該交換器接收到對應的該外殼服務管理器的該控制指令時，執行對應該連接埠對應關係所包含要綁定的每一實體連接埠的綁定設定及要解綁定的其餘每一實體連接埠的解綁定設定。

Description

連接埠的設定方法

本發明是有關於一種連接埠的設定方法，特別是指一種用於PCIe交換器(Switch)的連接埠的設定方法。

現有的叢集式儲存系統通常包含多個固態硬碟模組(SSD module)、兩個控制板(I/O module，IOM)，及設置在每一該控制板上用以監控該等固態硬碟模組的運作狀態的一外殼服務管理器(Enclosure service management，ESM)。該兩個控制板及其元件互為備援，每一該外殼服務管理器用於協調各個周邊裝置的開機程序、監控周邊裝置上各個元件的運作狀態(例如監控硬碟的運作狀態)、監控與各個周邊裝置運作環境相關的共用元件之狀態(例如:環境溫度、風扇狀態及電源供應器運作狀態等)。在系統初始化階段(即開機程序中)，該兩個控制板上的該兩個外殼服務管理器會在其初始化完成後分別電連接各個該固態硬碟模組而與各個該固態硬碟模組的實體連接埠組(設置在讀寫驅動板上)中的每一該實體連接埠全部綁定(Binding)完成。

如此一來，在固態硬碟模組插入作安裝時，於測試階段沒有連接固態硬碟單元而不需要被建立連線的實體連接埠也會因為外殼服務管理器是與固態硬碟模組對接的，而在固態硬碟模組插入後自動地建立連線。為避免測試系統根據被建立連線的每一實體連接埠為多個固態硬碟模組上本來不需要連接固態硬碟模組的實體連接埠啟動執行了過多的未連接固態硬碟單元而無法成功的完成測試的不必要的啟動測試程式的動作，例如具有單埠固態硬碟單元的固態硬碟模組，僅會連接對應的實體連接埠組的其中一實體連接埠，若測試系統藉由外殼服務管理器根據未連接單埠固態硬碟單元的另一實體連接埠啟動執行測試程式，則會因為無法經由未連接單埠固態硬碟單元的另一實體連接埠取得單埠固態硬碟單元對測試程式的回應而無法成功完成對應的測試，最終宣告測試失敗，於啟動該等不必要的測試程式後，測試系統還要再逐一的停止執行未連接固態硬碟單元的實體連接埠所對應的測試程式，而造成對應的測試程式在執行與操作上的不方便及不必要的耗時。

因此，本發明的目的，即在提供一種解決先前技術所發生的問題的連接埠的設定方法。

於是，本發明之一觀點，提供一種連接埠的設定方法，適用於一儲存系統，該儲存系統包含多個固態硬碟模組、兩個控制板、及分別設置在該兩個控制板上的兩個交換器與兩個外殼服務管理器(Enclosure service management，ESM)。該連接埠的設定方法包含步驟(A)~(D)。

於步驟(A)，藉由該兩個外殼服務管理器在初始化階段，決定其中一者及另一者分別作為一主動者(Active)及一被動者(Passive)。

於步驟(B)，藉由每一該外殼服務管理器根據預先儲存的一連接埠對應關係，產生並傳送一控制指令至對應的該交換器。該連接埠對應關係包含對應該交換器與每一實體連接埠的對應設定。

於步驟(C)，當任一該交換器接收到對應的該外殼服務管理器的該控制指令時，執行對應該連接埠對應關係所包含要綁定的每一該實體連接埠的綁定設定，以與對應的該至少一固態硬碟模組建立連線(Link-up)，且執行對應該連接埠對應關係所包含要解綁定的每一該實體連接埠的解綁定設定，以與對應的該至少一固態硬碟模組不建立連線(Link-down)。

在一些實施態樣中，其中，在步驟(B)中，每一該外殼服務管理器還根據是作為該主動者或該被動者，產生並傳送該控制指令。在步驟(C)中，當任一該交換器接收到作為該主動者的該外殼服務管理器的該控制指令時，執行與全部該等實體連接埠的綁定設定，以與全部該等固態硬碟模組建立連線。當任一該交換器接收到作為該被動者的該外殼服務管理器的該控制指令時，執行與全部該等實體連接埠的解綁定設定，以與全部該等固態硬碟模組不建立連線。

在另一些實施態樣中，其中，在步驟(A)中，該兩個外殼服務管理器是藉由一I2C(Inter-Integrated Circuit)匯流排作溝通，而完成該主動者及該被動者的決定。

在另一些實施態樣中，其中，在步驟(B)中，每一該外殼服務管理器所傳送的該控制指令是符合(Memory-mapped remote procedure call ，MRPC)協議(Protocol)。

在另一些實施態樣中，其中，在步驟(B)中，當每一該外殼服務管理器將該控制指令傳送至對應的該交換器，且未收到來自對應的該交換器的一回應信息時，接著，當該外殼服務管理器再判斷已累積的一傳送次數是小於一預設上限次數時，該外殼服務管理器再次傳送該控制指令，而當該外殼服務管理器再判斷已累積的該傳送次數達到該預設上限次數時，該外殼服務管理器不再傳送該控制指令。

在另一些實施態樣中，該連接埠的設定方法還包含在步驟(A)和(B)之間的(D)，每一該交換器綁定對應的至少一上行埠(Up-stream ports)，該至少一上行埠適用於電連接一伺服器主機。

在另一些實施態樣中，該連接埠的設定方法還包含在步驟(C)之後的(E)，當另一固態硬碟模組被加入而與其中一個該外殼服務管理器形成電連接時，接著，當該外殼服務管理器判斷該另一固態硬碟模組所電連接的該實體連接埠是已被綁定時，該外殼服務管理器與該另一固態硬碟模組建立連線。

在一些實施態樣中，該連接埠的設定方法還包含在步驟(E)之後的(F)，當該等固態硬碟模組之其中一者被移除而與其中一個該外殼服務管理器由電連接改變成沒有電連接時，接著，該外殼服務管理器與該等固態硬碟模組之其中該者不建立連線。

本發明的功效在於：藉由每一該外殼服務管理器預先儲存該連接埠對應關係，使得該兩個外殼服務管理器在初始化階段能夠根據該連接埠對應關係，將對應的該控制指令傳送至對應的該交換器，使得該交換器執行與實體連接埠的對應綁定或解綁定設定，而能夠避免先前技術所發生的問題。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1，本發明連接埠的設定方法之一實施例，適用於一儲存系統100及一伺服器主機(Host)8。該儲存系統100是一種叢集式儲存系統，並包含一儲存單元9、兩個控制板(IOM)、及分別設置在該兩個控制板上的兩個交換器與兩個外殼服務管理器(ESM)。該兩個控制板及其元件互為備援。以下以每一該交換器是一種PCIe交換器(PCIe Switch，PESW)為例，而在其他的實施例中，也可以是支援其他協定或標準的交換器。

在本實施例中，定義該兩個控制板分別是一第一控制板1及一第二控制板2，定義該兩個PCIe交換器分別是一第一PCIe交換器11及一第二PCIe交換器21，定義該兩個外殼服務管理器分別是一第一外殼服務管理器12及一第二外殼服務管理器22，該儲存單元9包含符合單埠非揮發性記憶體主機控制器介面規範(Single port NVMe)類型的多個固態硬碟模組或符合雙埠非揮發性記憶體主機控制器介面規範(Dual port NVMe)類型的多個固態硬碟模組。舉例來說，每一該固態硬碟模組包括用以儲存資料的固態硬碟單元，及設置在一讀寫驅動板上的兩個實體連接埠(例如為一第一連接埠及一第二連接埠)，使外部可藉由該讀寫驅動板電連接至少其中一實體連接埠以電連接並讀寫該固態硬碟單元，其中，當該固態硬碟模組是符合單埠非揮發性記憶體主機控制器介面規範(Single port NVMe)類型的固態硬碟模組時，則其所包括的固態硬碟單元為單埠固態硬碟，且單埠的該固態硬碟單元具有單一連接埠，因此僅能藉由該第一連接埠及該第二連接埠其中一者電連接該讀寫驅動板，以下以單埠的該固態硬碟單元僅藉由該第一連接埠電連接該讀寫驅動板為例，也就是說，該讀寫驅動板的該第二連接埠不電連接單埠的該固態硬碟單元。更進一步而言，該固態硬碟模組僅提供外部透過電連接該第一連接埠來讀取單埠的該固態硬碟單元，也就是說，就算外部電子元件/模組/裝置電連接單埠的該固態硬碟模組的該第二連接埠，也無法讀取單埠的該固態硬碟單元所儲存的資料。反之，雙埠的該固態硬碟單元會藉由該第一連接埠及該第二連接埠分別電連接該讀寫驅動板，也就是說，外部電子元件/模組/裝置可以藉由電連接雙埠的該固態硬碟模組的該第一連接埠及該第二連接埠其中至少一者來讀寫雙埠的該固態硬碟單元；其中，該等固態硬碟模組的數量最多是24個，但不以此為限。

該第一PCIe交換器11及該第二PCIe交換器21都電連接該伺服器主機8及該儲存單元9，並分別電連接該第一外殼服務管理器12及該第二外殼服務管理器22。該第一外殼服務管理器12與該第二外殼服務管理器22之間是藉由一I2C(Inter-Integrated Circuit)匯流排、或一系統管理匯流排(System Management Bus, SMBus)等溝通介面形成電連接。

再參閱圖2與圖3，該連接埠的設定方法包含步驟S1~S7及S10~S19。

於步驟S1，該儲存系統100上電，並開始執行系統初始化階段(即開機程序中)及該第一外殼服務管理器12及該第二外殼服務管理器22的初始化階段。接著，執行步驟S2。

於步驟S2，該第一外殼服務管理器12及該第二外殼服務管理器22在初始化階段，決定其中一者及另一者分別作為一主動者(Active)及一被動者(Passive)。以下舉例來說，該第二外殼服務管理器22做為該主動者，該第一外殼服務管理器12作為該被動者。接著，其中，該第一外殼服務管理器12及該第二外殼服務管理器22於初始化階段藉由相連的溝通介面互相偵測對方的初始化完成狀態，或是由該伺服器主機8分別偵測該第一外殼服務管理器12及該第二外殼服務管理器22的初始化完成狀態，以先完成初始化的一者作為主動者，後完成初始化的另一者作為被動者；雷同的，當於初始化完成後，被動者或是伺服器主機8與主動者溝通失敗(主動者未於預定時間內回應或無法完成當次溝通的請求)而進行切換主動者程序(由伺服器主機8傳送指示出主動者運作異常之切換通知給被動者)，以觸使該被動者自動切換為主動者，進而取代該主動者所執行的工作，進而電連接該儲存單元9的固態硬碟模組以監控該儲存單元9，執行步驟S3。

於步驟S3，該第二外殼服務管理器22根據作為該主動者及預先儲存的一連接埠對應關係，產生並傳送一控制指令至對應的該第二PCIe交換器21。該第一外殼服務管理器12根據作為該被動者及預先儲存的該連接埠對應關係，產生並傳送另一控制指令至對應的該第一PCIe交換器11。該連接埠對應關係包含對應該主動者及該被動者的該交換器與實體連接埠的對應設定，也就是包括綁定設定及解綁定設定之其中一者。該控制指令符合(MRPC)協議(Protocol)。該第一外殼服務管理器12及該第二外殼服務管理器22還分別根據所產生並傳送的該控制指令，累加(或累減)紀錄一傳送次數，以該第一外殼服務管理器12產生並傳送該控制指令為例，該第一外殼服務管理器12每次產生並傳送該控制指令都會對該傳送次數累加1。接著，執行步驟S4。

於步驟S4，該第二外殼服務管理器22(或該第一外殼服務管理器12)判斷是否在一預設時間內接收到來自對應的該第二PCIe交換器21(或該第一PCIe交換器11)的一回應信息。當該第二外殼服務管理器22(或該第一外殼服務管理器12)在該預設時間內有接收到該回應信息時，執行步驟S5，而當該第二外殼服務管理器22(或該第一外殼服務管理器12)在該預設時間內沒有接收到該回應信息時，執行步驟S6。

於步驟S5，結束流程(在本實施例中，即開機程序結束)。

於步驟S6，該第二外殼服務管理器22(或該第一外殼服務管理器12)判斷該控制指令已累積的該傳送次數是否達到一臨界值，例如使用累加紀錄的方式時該臨界值即為一預設上限次數(或是使用累減紀錄的方式時，則判斷已累減的該傳送次數是不是已達到0)。當該第二外殼服務管理器22(或該第一外殼服務管理器12)判斷該傳送次數達到(即等於)該預設上限次數時，該第二外殼服務管理器22(或該第一外殼服務管理器12)不再傳送該控制指令，且重置該傳送次數為初始值，也就是說當使用累加紀錄的方式，則將傳送次數改為0，若是使用累減紀錄的方式則將該傳送次數改為該預設上限次數，接著，執行步驟S5。而當該第二外殼服務管理器22(或該第一外殼服務管理器12)判斷該傳送次數小於該臨界值(使用累加紀錄的方式時該臨界值即該預設上限次數)時(使用累減紀錄的方式時則判斷該傳送次數大於該臨界值0時)，執行步驟S7。

於步驟S7，該第二外殼服務管理器22(或該第一外殼服務管理器12)在一預定時間長度之後，執行步驟S3，也就是要再次傳送該控制指令。

於步驟S10，該儲存系統100上電之後，該第一PCIe交換器11及該第二外PCIe交換器21依照預先的設定(例如根據該連接埠對應關係)而綁定各自對應的至少一上行埠(Up-stream ports)，該至少一上行埠電連接該伺服器主機8。接著，執行步驟S11。

於步驟S11，該第一PCIe交換器11及該第二PCIe交換器21判斷是否接收到該控制指令以執行綁定設定。在本實施例中，當該第二PCIe交換器21判斷有接收到該控制指令以執行綁定設定時，執行步驟S12，而當該第二PCIe交換器21判斷沒有接收到該控制指令以執行綁定設定時，執行步驟S13。

於步驟S12，該第二PCIe交換器21根據該連接埠對應關係執行對應該主動者時與實體連接埠的綁定設定，以綁定所有的下行埠(Down-stream ports)，而與該等固態硬碟模組建立連線(Link-up)。接著，執行步驟S13。

於步驟S13，該第一PCIe交換器11及該第二PCIe交換器21判斷是否接收到該控制指令以執行解綁定設定。在本實施例中，當該第一PCIe交換器11判斷有接收到該控制指令以執行解綁定設定時，執行步驟S14，而當該第一PCIe交換器11判斷沒有接收到該控制指令以執行解綁定設定時，執行步驟S15。

於步驟S14，該第一PCIe交換器11根據該連接埠對應關係執行對應該被動者時與實體連接埠的解綁定設定，以解綁定所有的下行埠，而與該等固態硬碟模組不建立連線(Link-down)。接著，執行步驟S15。

於步驟S15，該第一PCIe交換器11及該第二PCIe交換器21判斷是否有另一固態硬碟(即另一固態硬碟單元)被加入而與該第一PCIe交換器11或該第二PCIe交換器21形成電連接。當判斷的結果是「是」時，執行步驟S16，而當判斷的結果是「否」時，執行步驟S18。

於步驟S16，該第一PCIe交換器11及該第二PCIe交換器21判斷該另一固態硬碟(即另一固態硬碟單元)所電連接的該實體連接埠是否已被綁定。在本實施例中，假設該另一個固態硬碟有被加入，則該第二PCIe交換器21判斷該另一固態硬碟所電連接的該實體連接埠已被綁定，執行步驟S17。而該第一PCIe交換器11判斷該另一固態硬碟所電連接的該實體連接埠沒有被綁定，則執行步驟S18。

於步驟S17，在本實施例中，該第二PCIe交換器21與該另一固態硬碟(即另一固態硬碟單元)建立連線。接著，執行步驟S18。

於步驟S18，該第一PCIe交換器11及該第二PCIe交換器21判斷該等固態硬碟(即該等固態硬碟單元)之其中一者是否被移除而由電連接改變成沒有電連接。當判斷的結果是「是」時，執行步驟S19，而當判斷的結果是「否」時，執行步驟S11。

於步驟S19，在本實施例中，假設該等固態硬碟(即該等固態硬碟單元)之其中一者有被移除，該第二PCIe交換器21與該等固態硬碟之其中該者不建立連線。接著，執行步驟S11。

另外要特別補充說明的是：在本實施例中，步驟S3中該第一外殼服務管理器12及該第二外殼服務管理器22所儲存的該連接埠對應關係是包含對應該主動者及該被動者的該交換器與實體連接埠的對應設定，也就是步驟S12中對應該主動者的該第二PCIe交換器21綁定所有的下行埠，及步驟S14中對應該被動者的該第一PCIe交換器11解綁定所有的下行埠。

而在其他的實施例中，步驟S3中該第一外殼服務管理器12及該第二外殼服務管理器22所儲存的該連接埠對應關係也可以是包含該交換器與每一實體連接埠對應的實體埠編號(即每一該下行埠的編號)的對應設定，則該第一外殼服務管理器12(或該第二外殼服務管理器22)無論作為該主動者或該被動者，都是根據所儲存的該連接埠對應關係將對應的該控制指令傳送至該第一PCIe交換器11(或該第二PCIe交換器21)，使得步驟S12中該第一PCIe交換器11及該第二PCIe交換器21根據各自所接收到的該控制指令，各自執行對應該連接埠對應關係所包含要綁定的每一該實體埠編號的每一該下行埠的綁定設定，以與對應的該至少一固態硬碟模組建立連線，且使得步驟S14中該第一PCIe交換器11及該第二PCIe交換器21根據各自所接收到的該控制指令，各自執行對應該連接埠對應關係所包含要解綁定的每一該實體埠編號的每一該下行埠的解綁定設定，以與對應的該至少一固態硬碟模組不建立連線。

舉例來說，該等實體埠編號是介於01~24，則其中一個該外殼服務管理器所儲存的該連接埠對應關係是包含該等實體埠編號之其中大於12者要綁定且其中小於或等於12者要解綁定。再另外舉例來說，該等實體埠編號是介於01~24，則其中一個該外殼服務管理器所儲存的該連接埠對應關係是包含該等實體埠編號之其中哪幾者要綁定，且其中另外哪幾者要解綁定。如此一來，該第一PCIe交換器11能夠綁定該等固態硬碟模組之其中部分者，且該第二PCIe交換器21能夠綁定該等固態硬碟模組之其中另外部分者。

綜上所述，藉由本發明連接埠的設定方法能夠達成以下的功效：(1)產線測試時，不需要人工插拔固態硬碟，而改為可程式自動化測試熱插拔功能是否正常，進而簡化測試流程及節省測試時間與成本；(2)能夠藉由作業系統(OS)決定哪一個控制板來綁定或解綁定固態硬碟，以具備支援單一個控制板的實施態樣，而擴充產品的使用範圍；(3)解決單埠NVMe類型的固態硬碟模組所發生的隨機連線的現象；(4)不需要增加額外的硬體設計成本，故確實能達成本發明的目的。

惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。

100:儲存系統

1:第一控制板

11:第一PCIe交換器

12:第一外殼服務管理器

2:第二控制板

21:第二PCIe交換器

22:第二外殼服務管理器

8:伺服器主機

9:儲存單元

S1~S7、S10~S19:步驟

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，說明本發明連接埠的設定方法所適用的一儲存系統；圖2是一流程圖，說明本發明連接埠的設定方法的一實施例；及圖3是一流程圖，說明本發明連接埠的設定方法的該實施例。

S1~S7:步驟

Claims

一種連接埠的設定方法，適用於一儲存系統，該儲存系統包含多個固態硬碟模組、兩個控制板、及分別設置在該兩個控制板上的兩個交換器與兩個外殼服務管理器(Enclosure service management，ESM)，該連接埠的設定方法包含：(A)藉由該兩個外殼服務管理器在初始化階段，決定其中一者及另一者分別作為一主動者(Active)及一被動者(Passive)；(B)藉由每一該外殼服務管理器根據預先儲存的一連接埠對應關係，產生並傳送一控制指令至對應的該交換器，該連接埠對應關係包含該交換器與每一實體連接埠的對應設定，當每一該固態硬碟模組是單埠固態硬碟時，每一該實體連接埠是該等固態硬碟模組之其中每一者的一第一連接埠或一第二連接埠，而當每一該固態硬碟模組是雙埠固態硬碟時，該等實體連接埠包含每一該固態硬碟模組的一第一連接埠及一第二連接埠；(C)當任一該交換器接收到對應的該外殼服務管理器的該控制指令時，執行對應該連接埠對應關係所包含要綁定的每一該實體連接埠的綁定設定，以與對應的該至少一固態硬碟模組建立連線(Link-up)，且執行對應該連接埠對應關係所包含要解綁定的每一該實體連接埠的解綁定設定，以與對應的該至少一固態硬碟模組不建立連線(Link-down)。
如請求項1所述的連接埠的設定方法，其中，在步驟(B)中，每一該外殼服務管理器還根據是作為該主動者或該被動者，產生並傳送該控制指令，在步驟(C)中，當任一該交換器接收到作為該主動者的該外殼服務管理器的該控制指令時，執行與全部該等實體連接埠的綁定設定，以與全部該等固態硬碟模組建立連線，當任一該交換器接收到作為該被動者的該外殼服務管理器的該控制指令時，執行與全部該等實體連接埠的解綁定設定，以與全部該等固態硬碟模組不建立連線。
如請求項1所述的連接埠的設定方法，其中，在步驟(A)中，該兩個外殼服務管理器是藉由一I2C(Inter-Integrated Circuit)匯流排作溝通，而完成該主動者及該被動者的決定。
如請求項1所述的連接埠的設定方法，其中，在步驟(B)中，每一該外殼服務管理器所傳送的該控制指令是符合(Memory-mapped remote procedure call，MRPC)協議(Protocol)。
如請求項1所述的連接埠的設定方法，其中，在步驟(B)中，當每一該外殼服務管理器將該控制指令傳送至對應的該交換器，且未收到來自對應的該交換器的一回應信息時，接著，當該外殼服務管理器再判斷已累積的一傳送次數是小於一預設上限次數時，該外殼服務管理器再次傳送該控制指令，而當該外殼服務管理器再判斷已累積的該傳送次數達到該預設上限次數時，該外殼服務管理器不再傳送該控制指令。
如請求項1所述的連接埠的設定方法，還包含在步驟(A)和(B)之間的(D)，每一該交換器綁定對應的至少一上行埠(Up-stream ports)，該至少一上行埠適用於電連接一伺服器主機。
如請求項1所述的連接埠的設定方法，還包含在步驟(C)之後的(E)，當另一固態硬碟模組被加入而與其中一個該外殼服務管理器形成電連接時，接著，當該外殼服務管理器判斷該另一固態硬碟模組所電連接的該實體連接埠是已被綁定時，該外殼服務管理器與該另一固態硬碟模組建立連線。
如請求項7所述的連接埠的設定方法，還包含在步驟(E)之後的(F)，當該等固態硬碟模組之其中一者被移除而與其中一個該外殼服務管理器由電連接改變成沒有電連接時，接著，該外殼服務管理器與該等固態硬碟模組之其中該者不建立連線。