TWI756007B - 用以進行全快閃記憶體陣列伺服器的高可用性管理的方法與設備 - Google Patents

Abstract

用以進行全快閃記憶體陣列(AFA)伺服器的高可用性管理的方法及AFA伺服器，該方法包含：利用運行在AFA伺服器的多個節點中的任一節點上的多個程式模組中的一監控器和輪詢器模組以監控AFA伺服器的多個類型的資源，其中，運行在任一節點上的多個程式模組包含一硬體管理器，該硬體管理器可用以管理任一節點的一硬體層中的多個硬體組件，以容許藉由該硬體管理器獲得針對該多個類型的資源的相關監控結果的至少一部分；以及控制任一節點依據至少一預定表從分別對應於多個監控信息類型的多個候選操作中選擇合適的候選操作，以進行該合適的候選操作。

Description

用以進行全快閃記憶體陣列伺服器的高可用性管理的方法與設備

本發明係關於記憶體控制，尤指一種用以進行全快閃記憶體陣列(All Flash Array，簡稱AFA)伺服器的高可用性(High Availability, HA)管理的方法以及相關設備(apparatus)諸如AFA伺服器及其控制電路等。

資料儲存伺服器可以被設置為儲存一個或多個用戶的用戶資料，並且在現有技術中已經提出了針對資料儲存伺服器的各種控制方法，以便給用戶帶來良好的用戶體驗。由於快閃記憶體(Flash memory) 已經被廣泛應用於各種資料儲存裝置諸如固態硬碟(solid state drive, SSD)等，現有技術中提出將資料儲存伺服器用快閃記憶體作為其儲存介質的快閃記憶體類型資料儲存伺服器來實現，例如其中安裝有多個SSD的AFA伺服器。但是，可能會出現某些問題。例如，存取該多個SSD中的任一SSD的快閃記憶體的管理會很複雜。為了確保這個SSD中的快閃記憶體的存取控制符合相關規範，這個SSD中的快閃記憶體的控制器通常配備有某些管理機制以妥善地管理其內部操作。雖然SSD製造商可能試著使SSD看起來像是替代硬式磁碟機(HDD)的不錯的解決方案，但是SSD的某些特性與HDD完全不同。如此一來，上述控制方法對於安裝有多個SSD的AFA伺服器可能變得不適合或無效，進而導致AFA伺服器的整體效能下降。因此，需要以在沒有副作用或較不會帶來副作用的情況下提供一種新穎的方法和相關的架構來解決這些問題。

本發明之一目的在於提供一種用以進行一全快閃記憶體陣列(All Flash Array，簡稱AFA)伺服器的高可用性管理的方法與相關設備(例如AFA伺服器及其控制電路等)，以解決上述的問題。

本發明之另一目的在於提供一種用以進行AFA伺服器的高可用性管理的方法與相關設備(例如AFA伺服器及其控制電路等)，以保護AFA伺服器中的資料並且確保其高可用性。

本發明一實施例揭示了一種用以進行一AFA伺服器的高可用性管理的方法，該方法包含：利用運行在該AFA伺服器的多個節點中的任一節點上的多個程式模組中的一監控器和輪詢器(monitor and poller)模組以監控該AFA伺服器的多個類型的資源(multiple types of resources)，其中，運行在該任一節點上的該多個程式模組包含一硬體管理器，該硬體管理器可用以管理該任一節點的一硬體層中的多個硬體組件(component)，以容許該任一節點藉由該硬體管理器獲得針對該多個類型的資源的相關監控結果的至少一部分；依據監控信息檢查是否有任何錯誤發生，其中，該監控信息包含針對該多個類型的資源的所述相關監控結果；以及因應該任何錯誤的發生，在該監控信息已經被分類為多個監控信息類型的情況下，控制該任一節點依據至少一預定表從分別對應於該多個監控信息類型的多個候選操作中選擇至少一合適的候選操作，以進行該至少一合適的候選操作；其中，針對該多個類型的資源的所述相關監控結果的該至少一部分包含一遠端節點的遠端節點信息，其中，該遠端節點代表不同於該多個節點中的任一節點的另一節點。

本發明一實施例揭示了一種AFA伺服器，其可包含多個節點以及複數個固態硬碟(solid state drive, SSD)。尤其，該多個節點的任一節點可包含：至少一處理器，用以在多個程式模組的控制下控制該任一節點的操作；以及多個硬體組件，在任一節點的一硬體層中。該複數個SSD可包含：一第一固態硬碟群組，對應於該任一節點；以及一第二固態硬碟群組，對應於一遠端節點，其中，該遠端節點代表於該多個節點中的異於該任一節點的另一節點。例如：該任一節點利用運行在該AFA伺服器的該多個節點中的該任一節點上的該多個程式模組中的一監控器和輪詢器模組以監控該AFA伺服器的多個類型的資源，其中，運行在該任一節點上的該多個程式模組包含一硬體管理器，且該硬體管理器可用以管理該任一節點的該硬體層中的該多個硬體組件，以容許該任一節點藉由該硬體管理器獲得針對該多個類型的資源的相關監控結果的至少一部分；該任一節點依據監控信息檢查是否有任何錯誤發生，其中，該監控信息包含該多個類型的資源的所述相關監控結果；以及因應該任何錯誤的發生，在該監控信息已經被分類為多個監控信息類型的情況下，該任一節點依據至少一預定表從分別對應於該多個監控信息類型的多個候選操作中選擇至少一合適的候選操作，以進行該至少一合適的候選操作；其中，針對該多個類型的資源的所述相關監控結果的該至少一部分包含該遠端節點的遠端節點信息。

本發明的方法和相關設備(例如AFA伺服器及其控制電路等)可以提高整體效能，並依據該方法的多種控制方案保護資料，尤其是要保證AFA伺服器的高可用性。另外，本發明的方法和相關設備可以在沒有副作用或較不會帶來副作用的情況下解決現有技術所產生的問題。

第1圖是依據本發明一實施例的一全快閃記憶體陣列(All Flash Array，簡稱AFA)伺服器100的示意圖。AFA伺服器100可以包含多個節點，諸如二節點，分別為節點100A和節點100B，其中該多個節點中的任一個(例如節點100A和節點100B的其中一個)可以具有與該多個節點中的另一個(例如節點100A和節點100B中的另一個)相同或相似的架構。例如，節點100A可包含可以被統稱為處理器110A的至少一處理器(例如，一個或多個處理器諸如一個或多個中央處理單元(Central Processing Units. CPU))，並包含一動態隨機存取記憶體(Dynamic Random Access Memory, DRAM)120A、一複製到快閃記憶體(Copy-to-Flash，簡稱C2F)固態硬碟(Solid State Drive，簡稱SSD)122A、包含有一個或多個網路介面(interface, IF)電路諸如網路介面電路132A和134A (分別標示為「網路IF CKT」以求簡明) 的一網路介面(IF)模組130A、一非透明網橋(Non-Transparent Bridge，簡稱NTB)模組(或NTB)諸如一NTB通信電路140A(標示為「NTB CKT」以求簡明)、一主機板管理控制器(Board Management Controller，簡稱BMC)150A、一暫存器(register)電路152A(標示為「REG CKT」以求簡明)其耦接至BMC 150A、一儲存介面(IF)模組160A其包含一個或多個儲存介面電路諸如儲存介面電路162A和164A(分別標示為「儲存IF CKT」以求簡明)以及一備用電源諸如一備用電源單元170A(例如，電池)，其中這些組件的至少一部分(例如，一部分或全部)可以藉由節點100A的總線彼此耦接，但本發明不限於此。依據某些實施例，節點100A的架構可以作不同變化。

相似地，節點100B可包含可以統稱為處理器110B的至少一處理器(例如，一個或多個處理器諸如一個或多個CPU)，並包含一DRAM 120B、一C2F SSD 122B、包含有一個或多個網路介面(IF)電路諸如網路介面電路132B和134B(分別標示為「Network IF CKT」以求簡明) 的一網路介面(IF)模組130B、一NTB模組(或NTB)諸如一NTB通信電路140B標示為「NTB CKT」以求簡明)、一BMC 150B、一暫存器電路152B(標示為「Register CKT」以求簡明)其耦接至BMC 150B、一儲存介面(IF)模組160B其包含一個或多個儲存介面電路諸如儲存介面電路162B和164B(分別標示為「Storage IF CKT」以求簡明)以及一備用電源諸如一備用電源單元170B(例如，電池)，其中這些組件的至少一部分(例如，一部分或全部)可以藉由節點100B的總線彼此耦接，但本發明不限於此。依據某些實施例，節點100B的架構可以作不同變化。

如第1圖所示，AFA伺服器100可以更包含耦接到節點100A和100B的多個SSD，諸如一SSD群組12A和一SSD群組12B，SSD群組12A和12B可以耦接到節點100A和100B，且可以預設分別連接/連線(link)到節點100A和100B，其中節點100A和100B與SSD群組12B和12A之間的虛線可指出多個可選的(optional)連線。舉例來說，節點100A可以利用儲存介面模組160A以啟動儲存介面電路164A和SSD群組12A之間的連線，以存取SSD群組12A中的資料，且節點100B可以利用儲存介面模組160B啟動儲存介面電路164B和SSD群組12B之間的連線，以進一步存取SSD群組12B中的資料。當需要時，節點100A和100B與SSD群組12A和12B之間的連線關係可以改變。例如節點100A可以利用儲存介面模組160A來啟動儲存介面電路162A和SSD群組12B之間的連線，以存取SSD群組12B中的資料，且節點100B可以利用儲存介面模組160B來啟動儲存介面電路162B和SSD群組12A之間的連線，以存取SSD群組12A中的資料。

運行著程式模組112A的處理器110A可用以控制節點100A的操作。DRAM 120A可用以緩衝資料(例如待寫入SSD群組12A的資料)，並且C2F SSD 122A可用以將DRAM 120A中的緩衝後資料(簡稱 “緩衝資料”)複製到C2F SSD 122A中的快閃記憶體中，以在需要時防止緩衝資料的資料遺失(data loss)。舉例來說，C2F SSD 122A可以藉由安裝在節點100A內的主電路板(例如主機板或母板)上的一擴充卡諸如一M.2模組(例如具有符合M.2規範的連接器的電路板) 來實現，其中C2F SSD 122A可以包含一儲存控制器、一個或多個快閃記憶體晶片等，但本發明不限於此。另外，包含有網路介面電路132A和134A的網路介面模組130A可用以將節點100A(例如該主電路板上的處理器110A、DRAM 120A等)藉由至少一網路交換機諸如機架頂(top-of-rack，可簡稱TOR)交換機10A和10B耦接到至少一網路(例如區域網路(Local Area Network, LAN)、廣域網路(Wide Area Network, WAN)、網際網路(Internet)等)。另外，包含儲存介面電路162A和164A的儲存介面模組160A可用以將節點100A(例如該主電路板上的處理器110A、DRAM 120A等)耦接到多個快閃儲存裝置(例如節點100A和100B共享的SSD群組12A和12B)，用以存取(例如讀取或寫入)該多個快閃儲存裝置中的資料。如此一來，AFA伺服器100可用以藉由節點100A提供用戶儲存服務。

相似地，運行著程式模組112B的處理器110B可用以控制節點100B的操作。DRAM 120B可用以緩衝資料(例如待寫入SSD群組12B的資料)，並且C2F SSD 122B可用以將DRAM 120B中的緩衝後資料(簡稱 “緩衝資料”)複製到C2F SSD 122B中的快閃記憶體中，以在需要時防止緩衝資料的資料遺失。舉例來說，C2F SSD 122B可以藉由安裝在節點100B內的主電路板(例如主機板或母板)上的一擴充卡諸如一M.2模組(例如具有符合M.2規範的連接器的電路板) 來實現，其中C2F SSD 122B可以包含一儲存控制器、一個或多個快閃記憶體晶片等，但本發明不限於此。另外，包含有網路電路132B和134B的網路介面模組130B可用以將節點100B(例如該主電路板上的處理器110B、DRAM 120B等)藉由至少一網路交換機諸如TOR交換機10A和10B耦接到至少一網路(例如LAN、WAN、網際網路等)。另外，包含儲存介面電路162B和164B的儲存介面模組160B可用以將節點100B(例如該主電路板上的處理器110B、DRAM 120B等)耦接到多個快閃儲存裝置(例如節點100A和100B共享的SSD群組12A和12B)，用以存取(例如讀取或寫入)該多個快閃儲存裝置中的資料。如此一來，AFA伺服器100可用以藉由節點100B提供用戶儲存服務。

關於節點100A及其對等(peer)節點(例如節點100B)之間的通信，該NTB模組(例如NTB通信電路140A)可用以藉由在節點100A和100B之間的一NTB路徑(標示為「NTB」以求簡明)與對應的NTB模組(例如NTB通信電路140B)通信，使節點100A和100B的資料和儲存狀態同步，並進一步使它們相同。相似地，關於節點100B及其對等節點(例如節點100A)之間的通信，該NTB模組(例如NTB通信電路140B)可用以藉由在節點100A和100B之間的該NTB路徑(標示為「NTB」以求簡明)與對應的NTB模組(例如NTB通信電路140A)通信，使節點100A和100B的資料和儲存狀態同步，並進一步使它們相同。尤其，諸如NTB通信電路140A和140B的NTB模組可以提供節點100A和100B之間一傳輸橋的功能以及分離節點100A和100B的各自的位址域以使節點100A和100B分別有彼此獨立的位址域，以在沒有任何位址衝突的情況下提供/加強節點100A和100B之間的通信。例如，節點100A和100B的各個總線可以符合快捷外設組件互聯(Peripheral Component Interconnect Express, PCIe)標準，並且節點100A和100B中的每一節點的NTB模組可以被認為是該節點的一端點(endpoint)，其中節點 100A和100B可以透過該傳輸橋彼此通信和共享裝置，但本發明不限於此。依據某些實施例，諸如NTB通信電路140A和140B的NTB模組可以透過客制化的網路介面電路來實現，以控制節點100A和100B彼此通信，使得它們就像正在透過網路介面電路進行通信一樣。

在運行著程式模組112A的處理器110A和運行著程式模組112B的處理器110B的控制下，節點100A和100B可維持和監控NTB上的脈搏，以確定對等節點的可用性，以進行高可用性(High Availability, HA)控制。舉例來說，節點100B可用以向節點100A發送脈搏信號，且節點100A可用以檢測並監控來自節點100B的脈搏信號以確定節點100B的可用性，其中來自節點100B的脈搏信號是否存在可以指出節點100B是否可用(或健康程度)。對於另一個例子來說，節點100A可用以向節點100B發送脈搏信號，並且節點100B可用以檢測並監控來自節點100A的脈搏信號以確定節點100A的可用性，其中來自節點100A的脈搏信號是否存在可以指出節點100A是否可用(或健康程度)。依據第1圖所示的架構，如第1圖所示，當節點100A和100B其中一個不可使用時，節點100A和100B其中的另一個可以繼續為用戶提供AFA伺服器100的儲存服務。

需注意的是，AFA伺服器100配備了超過一個的節點間(inter-node)通信路徑(例如節點之間的超過一個的相互通信路徑)。除NTB路徑外，AFA伺服器100還可配置為具有一個或多個其他通信路徑，例如BMC 150A和150B之間的一BMC路徑，其中BMC 150A可用以管理節點100A的硬體層的至少一部分(例如一部分或全部)，而BMC 150B可用以管理節點100B的硬體層的至少一部分(例如一部分或全部)。關於節點100A及其對等節點(例如節點100B)之間的通信，BMC 150A可用以透過該BMC路徑與BMC 150B通信以存取(例如讀取或寫入)暫存器電路152B中的一個或多個暫存器的一個或多個暫存器值，以在節點100B上進行狀態檢查操作等。相似地，關於節點100B及其對等節點(例如節點100A)之間的通信，BMC 150B可用以透過該BMC路徑與BMC 150A通信以存取(例如讀取或寫入)暫存器電路152A中一個或多個暫存器的一個或多個暫存器值，以在節點100A上進行狀態檢查操作等。尤其，BMC 150A與BMC 150B可獨立地管理節點100A與100B的各自的硬體層，而不需要仰賴處理器110A與110B。舉例來說，當處理器110A發生故障時，BMC 150A可以處理節點100A的未完成的工作，而當處理器110B發生故障時，BMC 150B可以處理節點100B的未完成的工作，但本發明不限於此。依據某些實施例，BMC 150A和150B可用以分別接管(take over)節點100A和100B，以進行緊急處理操作來減少資料遺失的機率。

依據本實施例，AFA伺服器100可以被配置為由多個類型的電源供電。節點100A和100B的每一節點可以包含至少一主電源(例如至少一電源供應器)，用以於主電源處於正常電源狀況下提供電力給該節點的其他組件。舉例來說，節點100A的主電源可以供電給節點100A的主電路板，並且節點100B的主電源可以供電給節點100B的主電路板。當檢測到一個或多個節點(例如節點100A及/或節點100B)的異常電源狀況時，AFA伺服器100中的一個或多個相關的備用電源(例如備用電源單元170A及/或備用電源單元170B)可用以提供備用電力。舉例來說，當節點100A的主電源發生電源故障時，備用電源單元170A可以供電給節點100A的主電路板(例如處理器110A、DRAM 120A、C2F SSD 122A、NTB通信電路140A、BMC 150A、暫存器電路152A等)，當節點100B的主電源發生電源故障時，備用電源單元170B可以供電給節點100B的主電路板(例如處理器110B、DRAM 120B、C2F SSD 122B、NTB通信電路140B、BMC 150B、暫存器電路152B等)。

依據某些實施例，節點100A和100B的每一節點(例如節點100A和100B的各自的主電路板中的每一節點)可以更包含多個感測器(sensor)/檢測器(detector)用以至少對該節點的組件進行檢測以產生檢測結果(例如從這些傳感器/檢測器中的任一個所獲得的狀態信息)。舉例來說，這些檢測結果中的一功率檢測結果可以表示該節點的主電源的功率狀態，尤其，可以指出該節點是否發生異常電源狀況，以供觸發該節點啟動備用電源(例如備用電源單元170A或備用電源單元170B)以提供備用電力。

第2圖依據本發明一實施例繪示第1圖所示的AFA伺服器100的某些實施細節，其中，可以將SSD 100S作為第1圖所示實施例中提到的多個SSD的例子。除了節點100A和100B以及SSD 100S，AFA伺服器100可更包含一背板(backplane)電路100R。背板電路100R可用以將諸如SSD群組12A和12B的SSD 100S電氣連接到節點100A和100B。舉例來說，背板電路100R可以藉由具有相關連接器等的背板電路板來實現。另外，可以在背板電路100R內實現NTB通信電路140A和140B之間的該NTB路徑的局部(partial)路徑，以及BMC 150A和150B之間的該BMC路徑的局部路徑。由於該BMC路徑和該NTB路徑中的每一路徑都不通過可能易於損壞的任何電纜，所以節點100A和100B之間的通信路徑很穩健，且因此節點100A和100B可以保持有效的通信以及相關的控制，以確保AFA伺服器100的整體效能及正常運行。

依據某些實施例，SSD 100S中的每一SSD可以是一單埠(single port) SSD，尤其，可以是一單埠的基於裝置的(device-based) SSD。另外，藉助於背板電路100R，AFA伺服器100可以支援SSD 100S中的每一SSD的熱插拔。

依據某些實施例，兩個節點100A和100B中的一個可以在AFA伺服器100的高可用性(High Availability簡稱HA)架構中用來作為一現用節點(active node)，也就是扮演該現用節點的角色，並且兩個節點100A和100B中的另一個可在AFA伺服器100的該HA架構中用來作為一待命節點(standby node)，也就是扮演該待命節點的角色。諸如現用節點和待命節點的兩個節點100A和100B可以彼此互動，尤其，可以藉由至少兩條通信路徑(諸如NTB通信電路140A和140B之間的NTB路徑以及BMC 150A和150B之間的BMC路徑)來交換節點信息，並且可以藉由NTB路徑來同步資料，但本發明不限於此。依據某些實施例，AFA伺服器100可以配備有超過兩個的節點間(inter-node)通信路徑(例如節點之間的超過兩個的相互通信路徑)。

第3圖是依據本發明一實施例所繪示的如第1圖所示的AFA伺服器100的一雙節點架構的示意圖。依據本實施例，節點100A和100B可以被分別配置為該現用節點和該待命節點，但本發明不限於此。舉例來說，節點100A和100B可以在需要時交換它們所扮演的角色。如第3圖所示，除了某些硬體(hardware, HW)組件諸如第1圖或第2圖所示的架構中的部分組件外，還可繪示某些軟體(software, SW)程式/程式，例如HA框架程式、網絡(Web)伺服器程式、資料庫(database)程式、操作於一服務模式的儲存控制模組程式以及操作於一待機模式的儲存控制模組程式(分別標示為「HA框架」、「Web伺服器」、「資料庫」、「於服務模式下的儲存控制模組」以及「於待機模式下的儲存控制模組」以求簡明)以指出AFA伺服器100中的關聯互動，其中，上述程式的名稱分別代表其相關功能。

運行於節點100A上的軟體程式(例如，HA框架程式，Web伺服器程式，資料庫程式和操作於該服務模式的儲存控制模組程式)可作為程式模組112A的例子，並且運行於節點100B上的軟體程式(例如，HA框架程式，Web伺服器程式，資料庫程式和操作於該待機模式的儲存控制模組程式)可作為程式模組112B的例子，但本發明不限於此。另外，網路介面模組130A的該一個或多個網路介面電路可更包含網路介面電路136A，並且網路介面模組130B的該一個或多個網路介面電路可更包含網路介面電路136B。因此，AFA伺服器100可以配備有至少三個節點間(inter-node)通信路徑(例如節點之間的至少三個相互通信路徑)，諸如NTB路徑、BMC路徑以及網路介面電路136A和136B之間的網路路徑。舉例來說，節點100A和100B可用以藉由NTB路徑進行快取鏡像(cache mirroring)操作，並透過BMC路徑檢查本地/遠端控制器狀態，以及藉由網路介面電路136A和136B之間的網路路徑進行額外的通信操作。

第4圖是依據本發明一實施例所繪示的如第1圖所示的多個節點100A與100B的任一(例如每一)節點中的程式模組112的示意圖。例如，程式模組112可以代表運行在節點100A的處理器110A上的程式模組112A或運行在節點100B的處理器110B上的程式模組112B。如第4圖所示，程式模組112可以包含某些主程式模組，例如儲存協定及區塊輸入/輸出(IO)介面模組、儲存快取模組、儲存池模組、儲存服務連續HA模組、儲存功能模組以及儲存管理模組(分別標示為「儲存協定及區塊IO介面」、「儲存快取」、「儲存池」、「儲存服務連續HA」、「儲存功能」以及「儲存管理」以求簡明)，其中這些主程式模組中的任一程式模組可以包含一個或多個子模組。另外，程式模組112中的某些程式模組之間的箭頭指出這些程式模組可以彼此在各自所屬的多個層的程式模組之間互動。舉例來說，儲存協定及區塊IO介面模組可以被視為儲存快取模組上方的一上層(例如一上層程式模組)，儲存池模組可以被視為儲存快取模組下方一下層(例如一下層程式模組)，儲存功能模組和儲存快取模組可被安排在一中間層以作為中間層程式模組，其中儲存協定及區塊IO介面模組以及儲存池模組可用以與客戶端裝置和 SSD群組互動，但本發明不限於此。當需要時，該節點可以觸發其他程式模組與這些程式模組中的一個或多個進行互動。

儲存協定及區塊IO介面模組可以包含某些子模組諸如小型計算機系統介面(Small Computer System Interface，簡稱SCSI)模組、網際網路SCSI(Internet SCSI，簡稱iSCSI)模組和區塊裝置(Block Device)模組(分別標示為「SCSI」、「iSCSI」和「區塊裝置」以求簡明)。儲存快取模組可以包含某些子模組諸如使用軟體實現的永久記憶體(Persistent Memory using SW implementation)模組和寫入緩衝模組(Write Buffer module；也可稱為「寫入緩衝器模組」)，於圖中分別標示為「永久記憶體(軟體實現)」和「寫入緩衝」以求簡明。儲存池模組可以包含一子模組諸如快閃記憶體陣列(Flash Array)模組(為簡便起見標示為「快閃記憶體陣列」)。儲存服務連續HA模組可以包含一子模組諸如HA框架模組(標示為「HA框架」以求簡明)。儲存功能模組可以包含某些子模組諸如卷管理器(Volume Manager)模組和資料減少模組(分別標示為「卷管理器」和「資料減少」以求簡明)，其中資料減少模組可以包含某些子模組諸如壓縮引擎(Compression Engine)模組和重複資料刪除引擎(Deduplication Engine)模組，可以分別稱為「壓縮引擎」和「重複資料刪除引擎」。儲存管理模組可以包含某些子模組諸如網絡(Web)用戶界面(User Interface, UI)模組、應用程式編程介面(Application Programming Interface, API)伺服器模組、請求代理(Request Broker)模組和資料庫模組(分別標示為「網絡UI」、「API伺服器」、「請求代理」和「資料庫」以求簡明)。上列模組的名稱分別指出其相關功能。為了便於理解，對某一模組諸如卷管理器模組、壓縮引擎模組、重複資料刪除引擎模組等而言，某些實施例中所提到的諮詢(consult)該模組的操作可包含對這個模組進行呼叫、查詢等操作以從它取得對應的處理結果，但本發明不限於此。

依據某些實施例，AFA伺服器100(例如，該現用節點，諸如節點100A和100B的其中之一)可用以從AFA伺服器100外部的客戶端裝置接收請求諸如寫入請求、讀取請求等，並分別因應這些請求來操作。

第5圖是依據本發明一實施例所繪示的一種用以進行一AFA伺服器諸如第1圖所示的AFA伺服器100的高可用性管理的方法的一寫入控制方案的示意圖。該方法可以應用於第1圖所示的AFA伺服器100。為了更好地理解，節點100A和100B可以分別用來作為該現用節點和該待命節點，尤其分別扮演該現用節點和該待命節點的角色，但本發明不限於此。因應寫入請求，現用節點(例如節點100A和100B的其中之一，諸如在本實施例中的節點100A)可以利用寫入緩衝模組來接收對應於寫入請求的資料(例如4千位元組(kilobytes, KB)資料，可稱為「4KB資料」以求簡明)，並在步驟S01中將該資料寫入(例如緩衝)至其寫入緩衝器(例如該節點的DRAM)中，且於步驟S02中藉由NTB路徑將該資料諸如4KB資料鏡像到待命節點(例如節點100A和100B中的另一個，諸如在本實施例中的節點100B)，並且於步驟S03中對用戶的客戶端裝置發送與寫入請求相對應的一確認(acknowledgement, Ack)。由於資料已被鏡像到遠端側(例如在本實施例中的DRAM 120B)，所以鏡像的資料由待命節點(例如其寫入緩衝模組)所保護。

針對現用節點的後續操作，在步驟S04中，對於每一4KB資料查詢(query)，寫入緩衝模組可以使用卷管理器模組來為該資料獲取或分配(allocate)一儲存池邏輯區塊位址(storage pool logical block address, SLBA)。在步驟S05中，寫入緩衝模組可以諮詢重複資料刪除引擎以對該資料進行重複資料刪除功能。在步驟S06中，寫入緩衝模組可以諮詢壓縮引擎以對資料進行壓縮功能。在步驟S07中，當該DRAM(例如本實施例中的DRAM 120A)中的緩衝資料(例如待寫入的資料)的資料量達到預定臨界值時，例如，現用節點已經收集了N組壓縮資料，並且該N組壓縮資料的總資料量適合被儲存為一全條帶(full stripe)，現用節點可以利用快閃記體陣列模組將該N組壓縮資料(可以稱為N個壓縮資料以求簡明)聚合(aggregate)成該全條帶。舉例來說，該全條帶可以表示包含預定數量的組塊(chunk)(例如十二個組塊)的一條帶，其中這些組塊可以包含一第一預定數量的資料組塊(例如十個資料組塊)和一第二預定數量的奇偶校驗組塊(例如兩個奇偶校驗組塊)。在步驟S08中，在收集一個或多個條帶諸如一預定數量的條帶(例如：一個條帶、兩個條帶、三個條帶、四個條帶等例子中的任一者，可依據於該方法中的各種控制方案來決定)之後，現用節點可以利用寫入緩衝模組將陣列信息諸如一SLBA陣列(SLBA所組成的陣列)、一壓縮資料陣列(壓縮資料所組成的陣列)等(例如該SLBA陣列與該壓縮資料陣列所組成的一陣列：{SLBA陣列, 壓縮資料陣列})提交給快閃記憶體陣列模組(或儲存池模組)，以供編寫(尤其，寫入)該一個或多個條帶。在步驟S09中，快閃記憶體陣列模組可以對各個碟(例如，現用節點的SSD群組，諸如本實施例中的SSD群組12A)進行條帶寫入操作。舉例來說，由於該壓縮引擎已在步驟S06中進行了壓縮功能，因此4KB空間包含多個SLBA的各自的壓縮資料。

在進行如第5圖所示的步驟S01至S09的操作之後，現用節點可以將相關的管理信息發送到待命節點以更新待命節點中的管理信息，以使待命節點在需要時能夠替換現用節點以繼續為用戶提供AFA伺服器100的儲存服務。舉例來說，在步驟S10中，現用節點的卷管理器模組可以將卷管理器模組的重映射表同步(例如更新和發送)到待命節點記憶體(例如待命節點的記憶體)，以控制(例如產生、更新等)由卷管理器模組所管理的某些映射關係。在步驟S11中，現用節點的快閃記憶體陣列模組可以向待命節點快閃記憶體陣列(例如待命節點的快閃記憶體陣列模組)發出重映射表更新指令，以將快閃記憶體陣列模組的重映射表更新至待命節點記憶體(例如待命節點的記憶體)，以控制(例如產生、更新等)由快閃記憶體陣列模組所管理的某些映射關係。如上所述，現用節點能夠因應寫入請求來進行這些操作；現用節點還能夠因應讀取請求來進行相關操作以復原(recover)該資料，舉例來說，依據分別由卷管理器模組和快閃記憶體陣列模組所管理的映射關係，其中，在後續的某些實施例中將描述針對管理這些映射關係的某些實施細節。

如第5圖的上半部所示，藉助於軟體模擬，節點100A和100B中的任一節點(例如，每一節點)可以包含基於該多個節點中的另一個節點的一模擬永久記憶體(emulated persistent memory；也可以稱為PMem以求簡明)，其中PMem可以操作在NTB路徑上，且因此可被視為基於NTB的PMem。舉例來說，該任一節點諸如節點100A可以扮演現用節點的角色，而另一節點諸如節點100B可以扮演待命節點的角色。當現用節點的主電源的電源故障發生(例如節點100A和100B各自的主電源這兩者的電源故障都發生)時，現用節點可以將其DRAM中的現有信息(例如：緩衝資料、管理表等)刷新到內部非揮發性記憶體(Non-Volatile Memory簡稱NVM)儲存裝置(例如：現用節點的C2F SSD，諸如本實施例中的C2F SSD 122A)和PMem這兩者。尤其，由於這些節點中的每一節點都配備有自己的內部NVM儲存裝置和PMem，待命節點可以將其DRAM中的刷新自現用節點的現有信息(例如，刷新自現用節點的緩衝資料、管理表等)刷新到內部NVM儲存裝置(例如：待命節點的C2F SSD，諸如本實施例中的C2F SSD 122B)中。

對於現用節點，雖然基於NTB的PMem中的DRAM 120A和120B是揮發性記憶體，AFA伺服器100可以藉助於軟體模擬將基於NTB的PMem利用作為永久記憶體，這是因為在其寫入緩衝模組控制下操作的待命節點可以保護刷新自現用節點的任何現有信息。當發生電源故障時，現用節點可以將其DRAM中的現有信息刷新到內部NVM儲存裝置諸如符合M.2規範的多個NVM儲存裝置的其中之一當中，且藉由將現有信息通過NTB路徑發送到待命節點的DRAM，可以將其DRAM(現用節點本身的DRAM)中的現有信息刷新到PMem中。如此一來，待命節點可以將其DRAM中的現有信息刷新到其內部NVM儲存裝置(例如，符合M.2規範的多個NVM儲存裝置的其中之一)當中。

依據某些實施例，節點100A和100B可以從現用節點和待命節點的角色互相交換，並且可以進行如上所述的關於節點100B和100A的相對應的操作。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。

依據某些實施例，在用AFA伺服器100來實現的高可用性(HA)架構中，兩個節點100A和100B諸如現用節點和待命節點可以彼此互動以藉由BMC路徑和NTB路徑交換節點信息。尤其，兩個節點100A和100B中的任一節點(例如，每一節點)可以包含安裝在主電路(例如，主電路板，具有某些硬體(HW)組件於其上，如第1圖所示的實施例和某些相關實施例中所述)上的一或多個儲存裝置，諸如包含NVM(例如快閃記憶體)的一或多個非揮發性記憶體(NVM)儲存裝置。在該一或多個NVM儲存裝置的NVM儲存裝置數量大於一的情況下，該一或多個NVM儲存裝置可以包含多個如上所述的NVM儲存裝置。例如，該一或多個NVM儲存裝置可以符合M.2規範，且可以被實現為這個節點的一或多個內部安裝的擴充卡，但本發明不限於此。另外，當發生電源故障時，該節點的AFA中的一或多個下層諸如SSD可能無法使用，該節點的主電路以及這個主電路的硬體組件(例如，處理器、DRAM、BMC、暫存器等)可以使用該主電路的備用電源(例如電池)作為其電源，且該節點(例如，在處理器上運行的軟體模組，例如程式模組112A或112B)可以進行一C2F操作以保存任何待保護的信息（或任何要保護的信息），諸如暫時儲存在該節點中的DRAM的緩衝資料等以及暫時儲存在該節點的暫存器電路的暫存器中的節點信息等，尤其將該任何待保護的信息存入該一或多個NVM儲存裝置中以防止資料丟失。例如，該節點的C2F SSD可以包含符合M.2規範的該一或多個NVM儲存裝置。

第6圖是依據本發明一實施例所繪示的用於進行該AFA伺服器的高可用性管理的方法的一角色決定控制方案的示意圖。在軟體層(例如，軟體模組，諸如HA框架模組等)的控制下，兩個節點100A和100B中的任一節點(例如每一節點)可用以依據該角色決定控制方案來決定該節點的角色。尤其，該節點的HA框架模組(例如HA框架程式)可以決定該節點的角色是現用節點還是待命節點，但本發明不限於此。舉例來說，該節點的HA框架模組可以進一步控制該服務的啟動和停止順序，並監控組件狀態，並且在發生任何故障時進行錯誤處置，其中該錯誤處置的操作可以包含進行故障轉移控制、進行C2F操作以及產生/輸出警告(例如，一或多個相關的警告消息)。

在步驟S20中，該節點可以檢查(例如讀取)一獨立運轉(standalone)旗標(flag) STANDALONE以產生一檢查結果，其中這個檢查結果可以指出該節點是否處於獨立運轉狀態。

在步驟S21中，該節點可以依據步驟S20的檢查結果來決定該節點是否處於獨立運轉狀態。如果該節點處於獨立運轉狀態(例如，STANDALONE＝True，其中「True」表示旗標的邏輯值諸如1指出邏輯上的「真」)，進入步驟S22；否則(例如STANDALONE= False，其中「False」表示旗標的邏輯值諸如0指出邏輯上的「偽」)，進入步驟S23。

在步驟S22中，該節點可以決定節點的角色是現用節點(標示為「現用」以求簡明)。

在步驟S23中，節點可以檢查針對符合M.2規範的該一或多個NVM儲存裝置的至少一M.2狀態(標示為「檢查M.2」以求簡明)以產生至少一檢查結果(例如一或多個檢查結果)，其中該至少一檢查結果可以指出至少一M.2槽(例如，用於安裝該一或多個NVM儲存裝置的一或多個M.2配對連接器)是否為空的，尤其是對於M.2插槽不是空的之情況，指出該一或多個NVM儲存裝置是處於一待命狀態還是處於一現用狀態。

在步驟S24中，依據步驟S23的上述至少一檢查結果，該節點可以判斷該M.2槽是否為空的(標示為「M.2為空」以求簡明)，尤其是對於該M.2槽不是空的之情況，決定該一或多個NVM儲存裝置是處於待命狀態還是處於現用狀態。如果該M.2槽是空的，進入步驟S33；否則，如果該一或多個NVM儲存裝置處於現用狀態，進入步驟S29；否則(例如該一或多個NVM儲存裝置處於待命狀態)，進入步驟S25。

在步驟S25中，該節點可以檢查(例如讀取)一完成旗標COMPLETE_FLAG以產生一檢查結果，其中這個檢查結果可以指出該節點是否已經完成一C2F操作諸如先前實施例中提到的C2F操作。

在步驟S26中，該節點可以依據步驟S25的檢查結果來判斷該節點是否已經完成了C2F操作。如果該節點已經完成了C2F操作(例如，COMPLETE_FLAG = True)，進入步驟S27；否則(例如COMPLETE_FLAG = False)，進入步驟S28。

在步驟S27中，該節點可以確定該節點的角色是待命節點(標示為「待命」以求簡明)。

在步驟S28中，該節點可以確定該節點的角色是待命節點(標示為「待命」以求簡明)。

在步驟S29中，該節點可以檢查(例如讀取)完成旗標COMPLETE_FLAG以產生一檢查結果，其中這個檢查結果可以指出該節點是否已經完成一C2F操作諸如先前實施例中提到的C2F操作。

在步驟S30中，該節點可以依據步驟S29的檢查結果來判斷該節點是否已經完成了C2F操作。如果該節點已經完成了C2F操作(例如，COMPLETE_FLAG = True)，進入步驟S31；否則(例如COMPLETE_FLAG = False)，進入步驟S32。

在步驟S31中，該節點可以確定該節點的角色是現用節點(標示為「現用」以求簡明)。

在步驟S32中，該節點可以確定該節點的角色是待命節點(標示為「待命」以求簡明)。

在步驟S33中，該節點可以查詢該節點的硬體層的硬體(HW)角色(標示為「查詢硬體角色」以求簡明)，以產生一檢查結果，其中這個檢查結果可以指出該節點為一主節點(master node)或一從屬節點(slave node)。為了更好地理解，假設兩個節點100A和100B已被預先分別定義為主節點和從節點，例如，藉由兩個節點100A和100B的各自的預定設定，但本發明不限於此。如此一來，當滿足至少一預定條件(例如一或多個預定條件)時，兩個節點100A和100B被預設為可分別扮演現用節點及待命節點的角色。

在步驟S34中，該節點可以依據步驟S33的該檢查結果來決定該節點是主節點還是從屬節點。如果該節點是主節點，進入步驟S35；否則(例如，該節點是從屬節點)，進入步驟S36。

在步驟S35中，該節點可以確定節點的角色是現用節點(標示為「現用」以求簡明)。

在步驟S36中，該節點可以確定節點的角色是待命節點(標示為「待命」以求簡明)。

為了更好的理解，該方法可以用第6圖所示的工作流程來說明，但本發明不限於此。依據某些實施例，一個或多個步驟可於第6圖所示的工作流程中增加、刪除或修改。

依據某些實施例，兩個節點100A和100B中的任一節點(例如，每一節點)的BMC可以在軟體層(例如，軟體模組諸如連接器、HW/主機板管理器等)的控制下操作，以在需要時存取上述暫存器中的任何暫存器(例如，讀取或寫入一節點信息)。

舉例來說，可以用一變遷圖來說明角色和狀態的轉變，其中狀態可以藉由該BMC路徑同步，且資料及狀態可以藉由NTB路徑同步。該節點信息可以包含監控信息(例如狀態)，且該節點可以將該監控信息分類為多個類型，以分別進行對應於該多個類型的操作(例如，針對類型A進行輸出警告、針對類型B進行C2F操作、針對類型C進行觸發故障轉移、針對類型D進行設定獨立運轉等)。舉例來說，該監控信息(例如狀態)可以包含經由該節點中(例如主電路中)的感測器/檢測器所檢測到的狀態。為了更好地理解，某些用語諸如UI、DB、SMIStor、PSU、Pmem、FA以及SDR可以分別代表用戶界面（例如，UI軟體/程式模組諸如第4圖右上方所示的Web UI模組）、資料庫(Database，可簡稱DB)（例如DB軟體/程式模組諸如第4圖右上方所示的資料庫模組）、AFA系統（例如AFA軟體/程式模組諸如第3圖所示節點100A和100B中的對應節點的儲存控制模組），電源供應單元(Power Supply Unit)（例如第1圖所示實施例的上述至少一個主電源）、永久記憶體(Persistent memory，可簡稱Pmem)（例如Pmem軟體/程式模組諸如第4圖左側的中間所示的永久記憶體、第5圖的上半部所示的基於NTB的PMem等）、快閃記憶體陣列(Flash Array，可簡稱FA)（例如，FA軟體/程式模組諸如在第4圖的左下方所示的快閃記憶體陣列模組）以及感測器資料記錄(Sensor Data Record)（例如，從節點中的感測器/檢測器所獲得的感測器資料的一或多個記錄）。舉例來說，該DB可以記錄可供該UI使用的用戶動作信息(例如用戶動作的歷史信息)。另外，某些軟體組件(諸如資源)可包含硬體(HW)管理器等。在這些資源的動作中，動作「降級」(demote)可釋放或放棄現用節點的角色，而動作「升級」(promote)可將節點的角色從待命(例如待命節點)更改為現用(例如現用節點)。

第7圖是依據本發明一實施例所繪示的用於進行AFA伺服器的高可用性管理的方法的一角色信息交換控制方案的示意圖。在軟體層(例如軟體模組諸如HA框架模組等)的控制下，兩個節點100A和100B中的任一節點(例如每一節點)可以被配置為依據該角色信息交換控制方案來交換角色信息。舉例來說，兩個節點100A和100B可以藉由上述至少兩個通信路徑諸如在第1圖中所示的NTB通信電路140A和140B之間的NTB路徑(在第1圖和第7圖中標示為「NTB」以求簡明)以及在第1圖中所示的BMC 150A和150B之間的BMC路徑來交換角色信息。在第7圖中未繪示某些硬體組件(諸如NTB通信電路140A和140B以及BMC 150A和150B)以求簡明。

如第7圖所示，在節點100A的處理器110A上運行的程式模組112A可以包含一連接器模組(標示為「連接器」以求簡明)用以控制針對兩個節點100A和100B之間的連接的一部分操作，且在節點100B的處理器110B上運行的程式模組112B可以包含一連接器模組(標示為「連接器」以求簡明)用以控制針對兩個節點100A和100B之間的連接的另一部分操作，其中兩個節點100A和100B的各自的連接器模組中的每一連接器模組可以包含多個子模組，例如一NTB通道模組、一BMC伺服器模組以及一BMC客戶端模組(標示為「NTB通道」、「BMC伺服器」以及「BMC 客戶端」以求簡明)。舉例來說，節點100A的連接器模組可以控制NTB通信電路140A藉由NTB路徑與NTB通信電路140B通信，且節點100B的連接器模組可以控制NTB通信電路140B藉由NTB路徑與NTB通信電路140A進行通信，就如對應於該NTB路徑的某些角色信息交換路徑(例如，節點100A的NTB通道模組和NTB路徑之間的角色信息交換路徑以及節點100B的NTB通道模組和NTB路徑之間的角色信息交換路徑)所展示。如此一來，兩個節點100A和100B可用以藉由NTB路徑交換角色信息(例如，指出節點100A角色的信息和指出節點100B角色的信息)。

在節點100A的處理器110A上運行的程式模組112A可以進一步包含另一個程式模組，諸如其HW管理器模組(在第7圖中所示的節點100A中標示為「HW管理器」以求簡明)用以控制某些HW組件諸如節點100A的BMC 150A、暫存器電路152A等，而在節點100B的處理器110B上運行的程式模組112B可以進一步包含另一個程式模組，諸如其HW管理器模組(在第7圖中所示的節點100B中標示為「HW管理器」以求簡明)用以控制某些HW組件諸如節點100B的BMC 150B、暫存器電路152B等。舉例來說，節點100A的BMC伺服器模組可以藉由節點100A的HW管理器模組控制BMC 150A，以寫入節點100B的暫存器電路152B的至少一暫存器(例如8位元暫存器)，就如針對暫存器寫入的某些角色信息交換路徑(例如，節點100A的BMC伺服器模組和HW管理器模組之間的角色信息交換路徑以及節點100A的HW管理器模組和節點100B的8位元暫存器之間的角色信息交換路徑)所展示。相似地，節點100B的BMC伺服器模組可以藉由節點100B的HW管理器模組控制BMC 150B，以寫入節點100A的暫存器電路152A的至少一暫存器(例如8位元暫存器)，就如針對暫存器寫入的某些角色信息交換路徑(例如，節點100B的BMC伺服器模組和HW管理器模組之間的角色信息交換路徑以及節點100B的HW管理器模組和節點100A的8位元暫存器之間的角色信息交換路徑)所展示。另外，節點100A的BMC客戶端模組可以藉由節點100A的HW管理器模組控制BMC 150A，以讀取節點100A的暫存器電路152A的上述至少一暫存器(例如8位元暫存器)，尤其是當需要時對其進行清除，就如針對暫存器讀取和清除的某些角色信息交換路徑(例如，節點100A的BMC客戶端模組與HW管理器模組之間的角色信息交換路徑以及節點100A的HW管理器模組與8位元暫存器之間的角色信息交換路徑)所展示。相似地，節點100B的BMC客戶端模組可以藉由節點100B的HW管理器模組控制BMC 150B，以讀取節點100B的暫存器電路152B的上述至少一暫存器(例如8位元暫存器)，尤其是當需要時對其進行清除，就如針對暫存器讀取和清除的某些角色信息交換路徑(例如，節點100B的BMC客戶端模組與HW管理器模組之間的角色信息交換路徑以及節點100B的HW管理器模組與8位元暫存器之間的角色信息交換路徑)所展示。

當決定了節點100A的角色時，節點100A可以藉由上述至少二通信路徑(例如，NTB路徑和BMC路徑)中的任一條路徑將指出節點100A的角色的信息發送到節點100B，例如使用對應於NTB路徑的角色信息交換路徑及/或使用針對暫存器寫入的對應的角色信息交換路徑以及針對暫存器讀取和清除的對應的角色信息交換路徑，以將節點100A的角色通知節點100B。相似地，當決定了節點100B的角色時，節點100B可以藉由上述至少二通信路徑(例如，NTB路徑和BMC路徑)中的任一條路徑將指出節點100B的角色的信息發送到節點100A，例如使用對應於NTB路徑的角色信息交換路徑及/或使用針對暫存器寫入的對應的角色信息交換路徑以及針對暫存器讀取和清除的對應的角色信息交換路徑，以將節點100B的角色通知節點100A。如此一來，兩個節點100A和100B可以被配置成藉由BMC路徑交換角色信息(例如，指出節點100A角色的信息和指出節點100B角色的信息)。

依據某些實施例，兩個節點100A和100B的其中之一可用以決定兩個節點100A和100B中的另一個節點的角色。在這種情況下，當決定節點100B的角色時，節點100A可以藉由上述至少二通信路徑(例如，NTB路徑和BMC路徑)中的任何一條路徑將指出節點100B角色的信息發送給節點100B，例如使用對應於NTB路徑的角色信息交換路徑及/或使用針對暫存器寫入的對應的角色信息交換路徑以及針對暫存器讀取和清除的對應的角色信息交換路徑，以將節點100B的角色通知節點100B。相似地，當決定節點100A的角色時，節點100B可以藉由上述至少二通信路徑(例如，NTB路徑和BMC路徑)中的任何一條路徑將指出節點100A角色的信息發送給節點100A，例如使用對應於NTB路徑的角色信息交換路徑及/或使用針對暫存器寫入的對應的角色信息交換路徑以及針對暫存器讀取和清除的對應的角色信息交換路徑，以將節點100A的角色通知節點100A。如此一來，兩個節點100A和100B可被配置成藉由BMC路徑交換角色信息(例如，指出節點100A角色的信息和指出節點100B角色的信息)。

依據某些實施例，如果發生角色衝突，則兩個節點100A和100B中的至少一節點可以利用該UI來輸出一或多個提示以引導用戶手動設定兩個節點100A和100B的各自的角色。 表1

現用	待命
狀態	描述	狀態	描述
運行	系統正常	運行	系統正常
獨立運轉	僅現用節點服務可用	不同步	保留舊資料。需要從現用同步
停止	停止提供服務	異常	發生故障。無法提供服務
降級	發生故障。開始進行故障轉移	升級	接管服務
C2F	將記憶體資料複製到快閃(M.2)	C2F	將記憶體資料複製到快閃(M.2)

表1展示針對兩個節點100A和100B中的任一節點的角色和狀態的某些例子以及有關的描述，其中現用和待命可以分別表示現用節點的角色和待命節點的角色。當該節點正在扮演現用節點的角色時，該節點的狀態的例子可以包含(但不限於)：運行狀態，其中現用節點的系統正常且正確地運行；獨立運轉狀態，其中僅現用節點服務(就是現用節點的服務)可用；停止狀態，其中現用節點的服務正停止；降級狀態，其中當現用節點發生故障時，現用節點開始進行故障轉移以釋放現用節點的角色；以及C2F狀態，其中於現用節點正在進行一C2F操作諸如上述的C2F操作，以將記憶體資料(例如現用節點的DRAM中的資料)複製到現用節點中的符合M.2規範的該一或多個NVM儲存裝置(例如快閃記憶體)（標示為「快閃(M.2)」以更好理解）。當該節點正在扮演待命節點的角色時，該節點的狀態的例子可以包含(但不限於)：運行狀態，其中待命節點的系統正常且正確地運行；不同步(Out of Sync)狀態，其中待命節點僅保留現用節點的舊資料，並且需要從現用節點同步現用節點的最新資料(例如，最新版本的資料)以使儲存在待命節點中的資料等於現用節點中儲存的最新資料；異常狀態，其中當待命節點發生故障時，該待命節點無法提供任何服務(例如，將最新資料從現用節點同步到待命節點的服務)；升級狀態，其中待命節點接管服務以改變其角色；以及C2F狀態，其中於待命節點正在進行一C2F操作諸如上述的C2F操作，以將記憶體資料(例如待命節點的DRAM中的資料)複製到待命節點中的符合M.2規範的該一或多個NVM儲存裝置(例如快閃記憶體)（標示為「快閃(M.2)」以更好理解）。

第8圖是依據本發明一實施例所繪示的用於進行AFA伺服器的高可用性管理的方法的一角色與狀態轉變控制方案的示意圖。在軟體層(例如，軟體模組，例如HA框架模組等)的控制下，兩個節點100A和100B的任一節點(例如，每一節點)可用以依據該角色和狀態轉變控制方案以進行角色和狀態轉變控制。

在步驟S40，該節點可進行初始化(例如該節點的系統的初始化)。

在步驟S41A中，在該節點的角色已被定義為現用節點之後，該節點可以進行現用初始化(例如，有關現用節點的角色的初始化)。

在步驟S41B中，在該節點的角色已被定義為待命節點之後，該節點可以進行待命初始化(例如，有關待命節點的角色的初始化)。

在步驟S42A中，在該節點諸如現用節點已被初始化之後，該節點可以在現用節點的角色的獨立運轉狀態下進行操作(標示為「現用獨立運轉」以求簡明)。

在步驟S42B中，在該節點諸如待命節點已被初始化之後，該節點可以在待命節點的角色的不同步狀態下進行操作(標示為「待命不同步」以求簡明)，這是由於此時待命節點可能與現用節點不同步(標示為「待命已不同步」以求簡明)。

在步驟S43A中，當該節點諸如現用節點已將儲存在現用節點中的最新資料同步到待命節點時，該節點諸如現用節點可以在現用節點的角色的運行狀態下進行操作(標示為「現用運行」以求簡明)。例如，當該節點諸如現用節點不能將儲存在現用節點中的最新資料同步到待命節點時，進入步驟S42A。

在步驟S43B中，當該節點諸如待命節點已同步來自現用節點的最新資料以使儲存在待命節點中的資料等於儲存在現用節點中的最新資料時，該節點可以在待命節點的角色的運行狀態下進行操作(標記為「待命運行」以求簡明)。例如，當待命節點變得相對於現用節點不同步時(標示為「待命已不同步」以求簡明)，進入步驟S42B。

在步驟S44A中，當該節點諸如現用節點檢測到其故障時，該節點可以在現用節點的角色的降級狀態進行操作(標示為「現用降級」以求簡明)。

在步驟S44B中，當檢測到現用節點發生故障(標記為「現用故障」以求簡明)時，該節點諸如待命節點可以在待命節點的角色的升級狀態(標示為「待命升級」以求簡明)進行操作。如第8圖所示，從步驟S44B指向步驟S43A的箭頭指出，當該節點諸如待命節點將其角色更改為現用節點的角色時(標示為「角色更改為現用」以求簡明)，這個節點變為兩個節點100A和100B中最新的現用節點。

在步驟S45A中，當該節點諸如現用節點停止工作時(例如，該節點可以停止其HA框架模組)，該節點可以進入現用節點的角色的停止狀態(標示為「現用停止」以求簡明)，其中該節點停止其服務。然後該節點可以自動重新啟動。

在步驟S45B中，當該節點諸如待命節點停止工作時(例如，該節點可以停止其HA框架模組)，該節點可以進入待命節點的角色的停止狀態(標示為「待命停止」以求簡明)，其中該節點停止其服務。然後該節點可以自動重新啟動。

在步驟S46中，當該節點諸如待命節點檢測到其故障時，該節點可以在待命節點的角色的異常狀態下進行操作(標示為「待命異常」以求簡明)。舉例來說，如果該節點諸如待命節點停止工作(例如，該節點可以停止其HA框架模組)，進入步驟S45B；否則，進入步驟S42B。

依據某些實施例，兩個節點100A和100B中的任一節點(例如每一節點)可被配置成依據第8圖所示的工作流程來監控該節點的狀態，尤其，對該節點的多個類型的資源進行資源管理。為了便於理解，HA框架模組所管理的任何組件(例如軟體組件)可被稱為資源。可應用於資源的動作的例子包含(但不限於)：開始（例如啟用(enable)）、停止（例如禁用(disable)）、降級(例如使資源變為非現用狀態；尤其，對於該節點的整體來說，釋放或放棄現用節點的角色)、升級(例如使資源變為現用；尤其，對於該節點的整體來說，將其角色從待命更改為現用)、C2F (例如進行C2F操作)、設定獨立運轉(例如將該節點諸如現用節點設定為向用戶提供服務，而不將儲存在現用節點中的最新資料同步/複製到待命節點)以及取消獨立運轉(例如，將該節點諸如現用節點設定為向用戶提供服務，且同時能夠將現用節點中儲存的最新資料同步/複製到待命節點)。

依據某些實施例，該多個類型的資源可以包含VIP、MGMT、SMIStor以及HW管理器。該VIP代表AFA伺服器100的虛擬(Virtual)網際網路協定(Internet Protocol，簡稱IP)位址，其中用戶的客戶端裝置可藉由該VIP存取AFA伺服器100，且現用節點可以將在該VIP的請求轉換為在現用節點的真實IP位址的請求。該MGMT代表管理模組，並且可以操作以作為用戶管理的前端，其中，該MGMT可以包含該UI（例如UI軟體/程式模組，諸如第4圖所示的網絡UI模組、第3圖所示的節點100A和100B的其中之一的網絡伺服器程式等）、該DB（例如DB軟體/程式模組諸如第4圖所示的資料庫模組、第3圖所示的節點100A和100B的其中之一的資料庫程式等）以及中介程式(Middleware)（例如，第4圖中所示的API伺服器模組、第3圖中所示的節點100A和100B的其中之一的API中介程式等），其中該UI可被配置成和AFA伺服器100的用戶進行互動，例如，藉助於互動式面板、視窗、時序圖等，該DB可被配置成儲存和管理AFA伺服器100的歷史信息，例如，關於AFA伺服器100的各種功能，且該中介程式可被配置成管理各種請求(例如，來自客戶端裝置、用戶等的請求)，但本發明不限於此。另外，該SMIStor代表SMI儲存模組，且可以操作以作為內部管理的後端，該內部管理例如卷(volume)管理(例如建立卷)、快照(snapshot)管理(例如創建快照)等，其中該SMIStor可以包含AFA軟體/程式模組諸如第3圖中所示的節點100A和100B的其中之一的儲存控制模組。此外，硬體(hardware, HW)管理器代表上述的HW管理器諸如HW管理器模組，其中該硬體管理器可被設置以管理硬體(例如，硬體層中的各種組件，諸如在該節點的主電路板上的BMC、暫存器電路、感測器/檢測器等)。舉例來說，該節點可以利用該硬體管理器從感測器/檢測器獲得感測/檢測結果，以監控該節點中的一或多個類型的狀態。

第9圖是依據本發明一實施例所繪示的用於進行AFA伺服器的高可用性管理的方法的一監控器與輪詢器控制方案的示意圖，以及第10圖是依據本發明一實施例所繪示的如第9圖所示的該監控器與輪詢器控制方案的某些實施細節的示意圖。在軟體層(例如，軟體模組諸如HA框架模組等)的控制下，兩個節點100A和100B中的任一節點(例如每一節點)可用以依據該監控器與輪詢器控制方案來進行監控器與輪詢器控制。如第9圖所示，該節點的一監控器和輪詢器模組包含多個子模組，例如仲裁器(arbiter)、一組輪詢器(poller)（例如A輪詢器、B輪詢器等）以及分別對應於該組輪詢器的相關的監控器(例如A監控器、B監控器、C監控器、D監控器等)，其中該監控器和輪詢器模組(例如其多個子模組)屬於在這個節點的處理器上運行的程式模組(例如，在節點100A的處理器110A上運行的程式模組112A，或是在節點100B的處理器110B上運行的程式模組112B，取決於這個節點是節點100A還是節點100B)。該節點的HA框架模組可以利用在該節點上運行的這些程式模組中的該監控器和輪詢器模組來監控AFA伺服器100的該多個類型的資源，其中，在該節點上運行的這多個程式模組包含硬體(HW)管理器(例如第7圖所示的節點100A和100B的其中之一中的HW管理器模組)，並且該硬體管理器可被配置成管理該任一節點的硬體層中的多個硬體組件，使該任一節點(例如，該監控器和輪詢器模組)藉由硬體管理器可以獲得針對該多個類型的資源的相關監控結果中的至少一部分，諸如至少一部分相關監控結果(例如，A狀態、B狀態程式、事件等)。另外，該節點的HA框架模組可以控制該節點將監控信息分類為多個監控信息類型，以進行分別對應於該多個監控信息類型的多個候選操作中的至少一操作，其中，該監控信息可以包含針對該多個類型的資源的所述相關監控結果，並且針對該多個類型的資源的所述相關監控結果的該至少一部分可以包含一遠端節點的遠端節點信息，其中該遠端節點可以代表於兩個節點100A和100B中的異於該任一節點的另一節點。舉例來說，該節點的HA框架模組可利用仲裁器依據針對該多個類型的資源的所述相關監控結果(例如，A狀態、B狀態程式、事件等)來決定該節點的角色和狀態，利用這些監控器對該多個類型的資源進行監控，並且利用該組輪詢器對這些監控器進行輪詢(polling)。

如第9圖所示的該監控器和輪詢器模組的架構僅用於說明目的，並非作為本發明的限制。例如，對於該多個類型的資源中的每一資源，提供一或多個監控器以監控所述每一資源的資源健康(或健康度)，並且提供對應於該一或多個監控器的一或多個輪詢器以輪詢該一或多個監控器的一或多個監控結果，並將對應於該一或多個監控結果的一或多個事件報告回傳給該仲裁器。尤其，該多個類型的資源中的每一資源可配備一或多個監控器負責監控這個資源的資源健康，並且可配備自己的一或多個輪詢器(例如對應於該一個或多個監控器的該一或多個輪詢器)以供輪詢(例如，依據某些要求週期性地或間歇地查詢)該一或多個監控器的一或多個監控結果，並將對應於該一或多個監控結果的一個或多個事件報告回傳給該仲裁器，並且該組輪詢器中的任一輪詢器可用以輪詢該監控器和輪詢器模組中的這些監控器中的至少一監控器，其中該仲裁器可用來為該HA框架模組決定該節點的最新角色和最新狀態(諸如該節點的上述角色和上述狀態的各自的最新版本)，而這決定可依據針對該多個類型的資源的上述相關監控結果，尤其，依據包含該遠端節點(例如，兩個節點100A和100B中的另一節點)的角色和至少一狀態以及該一或多個事件報告的相關監控結果，以使該HA框架模組控制該節點有效率地進行相關的候選操作諸如接管、故障轉移、C2F、裂腦(split brain)管理等的其中的至少一操作，因此提高了AFA伺服器100的整體效能，但本發明不限於此。依據某些實施例，該HA框架模組可以利用其內的資源管理器來管理(例如，操作；尤其，啟動、停止、重新啟動等)該節點內的資源，並利用該節點的連接器模組，與該遠端節點通信以獲得該遠端節點的狀態。

如第10圖所示，某些虛線的箭頭指出，該節點(例如目前節點)的上述監控器諸如至少一監控器用於監控UI / DB服務狀態、至少一監控器用於監控資料埠鏈接(data port link)、至少一監控器用於監控SMIStor程式、至少一監控器用於監控SMIStor資料鏡像狀態、至少一監控器用於監控FA碟狀態、至少一監控器用於監控BMC SDR、至少一監控器用於監控PSU狀態等可被配置成，為該HA框架模組，分別監控該多個類型的資源諸如UI / DB、資料網路、SMIStor(例如SMIStor程式)、對應於NTB路徑的上述角色信息交換路徑中的至少一角色信息交換路徑(標示為「NTB」以求簡明)、從SMIStor到安裝在背板電路100R上的對應的SSD群組(例如，SSD群組12A或SSD群組12B)（標示為「背板NVMe碟」以更好地理解）的至少一條控制路徑、BMC、PSU等，以及針對故障處置的一些例子指出HA框架模組可被配置成分別進行相關的故障處置操作諸如警告、故障轉移、故障轉移、設定獨立運轉、C2F、警告、C2F等，其中該監控信息可包含該多個類型的資源的各自的狀態信息，諸如系統信息、狀態、事件等。這些監控器所監控的組件的例子可進一步包含：BMC暫存器，諸如藉由BMC 150A和150B來存取的暫存器電路1152A和152B的暫存器。在該HA框架模組的控制下，該節點可被配置成將該監控信息分類為該多個監控信息類型諸如一第一監控信息類型(例如類型A)、一第二監控信息類型(例如類型B)、一第三監控信息類型(例如類型C)、一第四監控信息類型(例如類型D)等，以進行分別對應於該多個監控信息類型的該多個候選操作(例如故障處置操作)中的至少一操作。舉例來說，該多個候選操作可包含：

(a) 輸出警告(標示為「警告」以求簡明)；

(b) 進行C2F操作(標示為「C2F」以求簡明)；

(c) 觸發故障轉移(標示為「故障轉移」以求簡明)；以及

(d) 設定獨立運轉；

其中分別對應於該多個監控信息類型的該多個候選操作(例如分別對應於類型A、B、C、D等的候選操作(a)、(b)、(c)、(d)等)彼此不同。 表2

監控器	描述	故障處置
(#1) 管理連接	藉由查詢API伺服器監控兩個1G 乙太網路狀態	(a) 警告
(#2) 資料連接速度	藉由查詢API伺服器監控四個10G 乙太網路速度	(c) 故障轉移
(#3) 網絡伺服器程式	藉由指令「ps aux」監控網絡伺服器服務程式是否存在	(a) 警告
(#4) API伺服器程式	藉由指令「ps aux」監控API伺服器服務程式是否存在	(a) 警告
(#5) 資料庫程式	藉由指令「ps aux」監控資料庫程式是否存在	(a) 警告
(#6) SMIStor程式	藉由指令「ps aux」監控SMIStor程式是否存在	(c) 故障轉移
(#7) SMIStor Pmem狀態	藉由SMIStor RPC監控SMIStor永久記憶體狀態	(d) 設定獨立運轉
(#8) SMIStor FA碟 SMART信息	藉由SMIStor RPC監控NVMe SMART信息	(b) C2F
(#9) 節點存在	監控節點是否被移除	(e)進一步檢查
(#10) NTB脈搏	藉由NTB記憶體映射每1秒查詢一次遠端節點狀態	(e)進一步檢查
(#11) BMC暫存器	藉由BMC暫存器每1秒查詢一次遠端節點狀態	(e)進一步檢查
(#12) 碟存在	監控NVMe碟是否存在	(b) C2F
(#13) BMC HW 信息	監控HW信息	(a) 警告
(#14) M.2狀態	監控M.2健康	(c) 故障轉移
(#15) 電源供應	監控電源供應狀態	(b) C2F

表2展示該節點(例如目前節點)的上述監控器和對應的故障處置操作的某些例子，其中監控器#1，#2…以及#15可以被配置為分別監控相關資源，如表2的欄位「描述 」所示。舉例來說，監控器#1可以藉由查詢API伺服器來監控兩個1G乙太網路(Ethernet)電路各自的狀態，其中該兩個1G乙太網路電路可作為兩個節點100A和100B（例如，BMC 150A和150B、NTB通信電路140A和140B等）的各自的介面電路的例子，尤其可作為兩個節點100A和100B的各自的用以建立(在兩個節點100A和100B之間的)上述至少二通信路徑的其中之一的介面電路(例如，BMC 150A和150B的各自的用於建立BMC路徑的介面電路、NTB通信電路140A和140B的各自的用於建立NTB路徑的介面電路等)的例子；監控器#2可以藉由查詢API伺服器來監控四個10G乙太網路電路的各自的速度，其中該四個10G乙太網路電路可以作為網路介面電路132A和134A以及網路介面電路132B和134B的例子；監控器#3，#4，#5和#6可以藉由指令「ps aux」分別監控網絡伺服器程式、API伺服器程式(例如API中介程式)、資料庫程式以及SMIStor程式是否存在；監控器#7可以藉由SMIStor RPC(例如SMIStor的RPC模組)來監控SMIStor Pmem狀態(例如在SMIStor的控制下的Pmem的狀態)；監控器#8可以監控SMIStor FA碟(SMIStor FA Disk)自我監控分析和報告技術(Self-Monitoring, Analysis and Reporting Technology，簡稱SMART)信息，諸如在SMIStor的控制下的FA的各個碟的SMART信息；監控器#9可以監控該節點(例如目前節點)是否已被移除，其中對應的故障處置操作可予以變化，尤其，可以是某些候選處置操作諸如警告、C2F、故障轉移、設定獨立運轉等的其中之一，取決於進一步檢查；監控器#10可以監控NTB脈搏(例如通過NTB路徑傳輸的脈搏)，以藉由NTB記憶體映射每秒一次地查詢遠端節點的狀態，其中對應的故障處置操作可予以變化，尤其，可以是某些候選處置操作諸如警告、C2F、故障轉移、設定獨立運轉等的其中之一，取決於進一步檢查；監控器#11可以監控BMC暫存器(例如，藉由BMC 150A和150B存取的該遠端節點的暫存器電路的一或多個暫存器)，每秒一次地查詢該遠端節點的狀態，其中對應的故障處置操作可予以變化，尤其，可以是某些候選處置操作諸如警告、C2F、故障轉移、設定獨立運轉等的其中之一，取決於進一步檢查；監控器#12可以監控某一碟(例如對應的SSD群組的每一SSD) 諸如NVM快捷(NVM Express, NVMe)碟是否存在；監控器#13可以監控BMC硬體信息，例如，藉由BMC從感測器/檢測器獲得的某些硬體組件的硬體信息，其中感測器/檢測器的總量可能很大，尤其，可以大於一百，用以收集各種監控信息；監控器#14可以監控C2F SSD諸如M.2模組，尤其，可以監控M.2模組的狀態(例如健康)；以及監控器#15可以監控目前節點的上述至少一主電源(例如上述至少一電源供應器)。針對監控器#9、#10和#11中的某個監控器，由於基於在監控器#1、#2…和#15中的二或多個監控器(例如這個監控器及至少一其他監控器)的二或多個檢查操作可能是需要的，以確保從多個候選操作諸如(a)、(b)、(c)、(d)等中選擇的一候選操作是適合的，所以可以依據該二或多個檢查操作的一組合以正確地決定出這個候選操作，因此這個候選操作的選擇取決於進一步檢查。依據某些觀點，對應於該二或多個檢查操作的該組合的該進一步檢查可以被視為對應於另一監控信息類型諸如類型E的一候選操作(e)。

為了更好地理解，用於監控如第10圖所示的UI/DB服務狀態的上述的至少一監控器可包含如表2所示的分別用於監控網絡伺服器程式，API伺服器程式(例如API中介程式)以及資料庫程式的監控器#3，#4和#5，用於監控資料埠鏈接的上述至少一監控器可包含如表2所示的用於監控資料連接速度的監控器#2，用於監控SMIStor程式的上述至少一監控器可包含如表2所示的用於監控SMIStor程式的監控器#6，用於監控SMIStor資料鏡像狀態的上述至少一監控器可包含如表2所示的用於監控SMIStor Pmem狀態(例如在SMIStor的控制下的Pmem的狀態)的監控器#7，用於監控FA碟狀態的上述至少一監控器可包含如表2所示的分別用於監控SMIStor FA碟SMART信息以及該碟是否存在的監控器#8以及#12，用於監控BMC SDR的上述至少一監控器可包含如表2所示的用於監控BMC HW信息(例如藉由BMC獲取的HW信息)的監控器#13，並且用於監控PSU狀態的上述至少一監控器可包含如表2中所示的用於監控上述至少一主電源諸如上述至少一電源供應器的監控器#15。

根據某些實施例，表2的內容可予以變化。舉例來說，當需要時，可以改變表2的監控器的監控器計數(monitor count)及/或對應於表2的這些監控器中的任一監控器的故障處置操作。對於另一個例子來說，表2的欄位「描述 」可以被省略，只要不妨礙本發明的實施即可。尤其，由於監控器#1、#2 ...以及#15的各自含義以及對應的故障處置操作相當清楚，因此表2可以進一步被簡化。 表3

監控器	故障處置
(#1)	(a)
(#2)	(c)
(#3)	(a)
(#4)	(a)
(#5)	(a)
(#6)	(c)
(#7)	(d)
(#8)	(b)
(#9)	(e)
(#10)	(e)
(#11)	(e)
(#12)	(b)
(#13)	(a)
(#14)	(c)
(#15)	(b)

表3展示表2的簡化版本，但本發明不限於此。根據某些實施例，表3的內容可予以變化。舉例來說，當需要時，可以改變表3的監控器的監控器計數及/或對應於表3的這些監控器中的任一監控器的故障處置操作。

第11圖是依據本發明一實施例所繪示的用於進行AFA伺服器的高可用性管理的方法的一故障轉移控制方案的示意圖。在軟體層(例如軟體模組諸如HA框架模組等)的控制下，兩個節點100A和100B中的任一節點(例如每一節點)可被配置成依據該故障轉移控制方案來進行故障轉移控制。舉例來說，在第8圖所示的步驟S44B中，當該節點要將其角色從待命角色(例如待命節點的角色)改變為現用角色(例如現用節點的角色)時，該節點可以升級該資料庫且進行碟切換以得到對於一目標SSD群組(例如兩個節點100A和100B中的該另一節點先前存取的SSD群組)的控制；如果有任何插入的碟諸如新SSD，則該節點可以開始處置這個插入的碟，其中該新SSD可以替換SSD群組中的一舊SSD(例如損壞的SSD)；於升級該資料庫的操作完成後，該節點可以在升級API之後建構一區塊裝置(block device可簡稱BDEV)，然後升級該VIP，其中這些垂直線中的任一個可以指出兩個接續執行的操作之間的依賴關係；在完成對插入的碟的處置操作(如果存在插入的碟諸如新碟)並且完成升級該VIP的操作之後，該節點可以升級該SMIStor；以及在完成升級該SMIStor的操作後，該節點可以升級該MGMT。

針對C2F操作的某些實施細節可以進一步描述如下。依據某些實施例，當進行C2F操作時，兩個節點100A和100B中的任一節點(例如每一節點)可以先清除完成旗標COMPLETE_FLAG，尤其，將完成旗標COMPLETE_FLAG重設為一預設邏輯值諸如指出「偽」(False)的邏輯值(例如邏輯值0)，就是COMPLETE_FLAG = False；在清除完成旗標COMPLETE_FLAG之後，該節點可以阻擋來自AFA伺服器100外部的任何輸入/輸出(input/output，簡稱I/O)操作(例如，客戶端裝置對AFA伺服器100進行的任何存取操作)，舉例來說，藉由關閉網路介面電路132A和134A以及網路介面電路132B和134B，以防止由於上述I/O操作所引起的任何錯誤，其中節點可以持續阻擋該任何I/O操作直到該節點重新啟動；於阻擋該任何I/O操作後，該節點可以禁用(disable)任何iSCSI目標；在禁用該任何iSCSI目標之後，該節點可以利用該SMIStor將任何待保護的資料（或要保護的任何資料），諸如記憶體資料(例如待命節點的DRAM中的資料)、暫存器電路的暫存器中的暫存器值等，刷新(flush)至符合M.2規範的該一或多個NVM儲存裝置(例如快閃記憶體)（在表1中標示為「Flash(M.2)」以更好地理解）；利用該SMIStor刷新該任何待保護的資料後，該節點可以停止該DB(例如，DB軟體/程式模組諸如第4圖中所示的資料庫模組、如第3圖中所示的節點100A和100B的其中之一的資料庫程式等)；在停止該DB之後，該節點可以將完成旗標COMPLETE_FLAG設定為另一個邏輯值諸如指出「真」(True)的邏輯值(例如邏輯值1)，就是COMPLETE_FLAG = True；以及在將完成旗標COMPLETE_FLAG設為該另一邏輯值之後，該節點可以關掉(shut down)在該節點上運行的操作系統(Operating System, OS)。舉例來說，當該節點將要進入任一停止狀態諸如現用節點的角色的停止狀態(於第8圖標示為「現用停止」以求簡明)以及待命節點的角色的停止狀態(於第8圖標示為「待命停止」以求簡明)中的任一狀態時，該節點可被配置成進行如上所述的C2F操作。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。

依據某些實施例，兩個節點100A和100B中的任一節點(例如每一節點)可以依據至少一個復原政策(recovery policy)（例如一或多個復原政策）來進行復原。舉例來說，在該節點原本扮演待命節點的角色的情況下，當現用節點發生故障時，該節點諸如待命節點可以進行接管以開始向用戶提供服務，觸發現用節點的電源關閉，並替換故障的現用節點，其中該節點諸如待命節點會變成最新的現用節點。又例如，在該節點扮演現用節點的情況下，當待命節點發生故障時，該節點諸如現用節點可以觸發待命節點的電源關閉，並將其現用節點狀態(例如，現用節點的角色的狀態)改變為獨立運轉，以容許替換故障的待命節點。再例如，當發生C2F時(例如兩個節點100A和100B於發生AFA伺服器100的電源故障時進行其各自的C2F操作)，在兩個節點100A和100B的各自的C2F操作完成後，AFA伺服器100可以保持在一電源關閉狀態，直到再度獲得正常電源為止，其中當獲得正常電源時，AFA伺服器100可以同時自動地重新啟動兩個節點100A和100B。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。

依據某些實施例，第10圖左半部所示的表、表2和表3可被視為監控器故障處置表。舉例來說，藉由借助於至少一監控器故障處置表(例如這三個監控器故障處置表中的至少一個)預先對該監控器和輪詢器模組的這些監控器進行分類，兩個節點100A和100B中的任一節點(例如，每一節點)可以將監控信息對應地分類為該多個類型的監控信息。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。

第12圖是依據本發明一實施例的用於進行該AFA伺服器的高可用性管理的方法的流程圖。舉例來說，兩個節點100A和100B中的任一節點(例如每一節點)可以依據第12圖所示的工作流程進行操作。

在步驟S50中，該節點(例如其HA框架模組)可以利用在該節點上運行的多個程式模組中的該監控器和輪詢器模組(例如其監控器，諸如第10圖左半部所示的表的這些監控器以及表2和3中的任何一個表的監控器#1，#2…和#15)來監控AFA伺服器100的該多個類型的資源。

在步驟S51中，該節點(例如其HA框架模組)可以利用該監控器和輪詢器模組依據監控信息來檢查是否發生了任何錯誤(例如，由該監控器和輪詢器模組的這些監控器中的任一監控器所識別出的錯誤/故障)。如果是，進入步驟S52；如果否，進入步驟S50。該任何錯誤可以代表由該監控器和輪詢器模組的這些監控器中的任一監控器所檢測到的一不健康狀態(例如異常狀態)，諸如AFA伺服器100的各種類型的資源中的對應於該任一監控器的資源的不健康狀態。以表2的監控器#1、#2…和#15中的任一個作為該任一監控器的例子，如欄位「描述 」中所描述的正在被監控的對象可指出對應於該任一監控器的資源。

在步驟S52中，因應步驟S51中提到的該任何錯誤的發生，在該監控信息已被分類為該多個監控信息類型(例如，第一、第二、第三以及第四監控信息類型等諸如類型A、B、C、D等)的情況下，該節點(例如其HA框架模組)可以依據至少一預定表(例如該至少一監控器故障處置表)從分別對應於該多個監控信息類型的該多個候選操作(例如故障處置操作)中選擇至少一合適的候選操作，以進行該至少一合適的候選操作。舉例來說，對於該三個監控故障處置表中的任何一個表的各個監控器中的每一個，由於可以在欄位「故障處置 」中展示該多個候選操作諸如(a)、(b)、(c)、(d)的其中之一以指出對應於某一監控信息類型的候選操作(例如與類型A相對應的候選操作(a)、與類型B相對應的候選操作(b)、與類型C相對應的候選操作(c)、與類型D相對應的候選操作(d)等)，基於該三個監控器故障處置表中的該任何一個表的監控器分類(例如這個表的各個監控器的分類)可以使監控信息被對應地分類為該多個監控信息類型。

依據本實施例，該節點可以多次進行步驟S50至S52的操作的一或多個操作，以動態地決定該節點的最新角色和最新狀態，並且在需要時從該多個候選操作(例如故障處置操作)中選擇該合適的候選操作以進行該合適的候選操作。如此一來，依據該方法來操作的該節點可以實現AFA伺服器100的最佳效能。為了簡明起見，於本實施例中類似的內容在此不重複贅述。

為了更好的理解，可以利用第12圖所示的工作流程來說明該方法，但本發明不限於此。依據某些實施例，一個或多個步驟可於第12圖所示的工作流程中增加、刪除或修改。

依據某些實施例，該遠端節點的該遠端節點信息可以包含分別藉由該任一節點與該遠端節點之間的該至少二通信路徑所獲得的節點信息。舉例來說，該任一節點的該硬體層中的該多個硬體組件可以包含NTB通信電路和BMC，而該至少二通信路徑可以包含該任一節點的該NTB通信電路以及該遠端節點的對應NTB通信電路(例如NTB通信電路140A和140B)之間的NTB路徑，以及該任一節點的該BMC與該遠端節點的對應BMC(例如BMC 150A和150B)之間的BMC路徑。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。

依據某些實施例，針對候選操作(a)諸如輸出該警告，該UI(例如在運行於該任一節點上的該多個程式模組中的UI程式模組)可被配置成輸出該警告。針對候選操作(b)諸如進行該C2F操作，該任一節點的該一或多個NVM儲存裝置可被配置成進行該C2F操作，以在發生電源故障時保存任何待保護的信息，其中，所述任何待保護的信息可以包含暫時儲存在該任一節點的DRAM中的緩衝資料，並且包含暫時儲存在該任一節點的暫存器電路中的節點信息。針對候選操作(c)諸如觸發故障轉移，該任一節點可被配置為停止提供任何服務，並且該遠端節點可被配置為從該待命節點的角色變更為該現用節點的角色。針對候選操作(d)諸如設定獨立運轉，該任一節點可被配置成向用戶提供服務，而不將儲存在該任一節點中的最新資料同步到該遠端節點。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10A,10B:機架頂(TOR)交換機 12A,12B:固態硬碟(SSD)群組 100:全快閃記憶體陣列(AFA)伺服器 100A,100B:節點 100S:固態硬碟(SSD) 100R:背板電路 110A,110B:處理器 112:程式模組 112A,112B:程式模組 120A,120B:動態隨機存取記憶體(DRAM) 122A,122B:複製到快閃記憶體(C2F)固態硬碟(SSD) 130A,130B:網路介面(IF)模組 132A,132B,134A,134B:網路介面(IF)電路 140A,140B:非透明網橋(NTB)通信電路 150A,150B:主機板管理控制器(BMC) 152A,152B:暫存器電路 160A,160B:儲存介面(IF)模組 162A,162B,164A,164B:儲存介面(IF)電路 170A,170B:備用電源單元 S01~S11,S20~S36,S40~S46,S50~S52:步驟

第1圖是依據本發明一實施例的一全快閃記憶體陣列(All Flash Array，簡稱AFA)伺服器的示意圖。 第2圖是依據本發明一實施例中如第1圖所示的該AFA伺服器的某些實施細節的示意圖。 第3圖是依據本發明一實施例所繪示的如第1圖所示的該AFA伺服器的一雙節點架構的示意圖。 第4圖是依據本發明一實施例所繪示的如第1圖所示的多個節點的任一節點中的某些程式模組的示意圖。 第5圖是依據本發明一實施例所繪示的一種用以進行一AFA伺服器諸如第1圖所示的AFA伺服器的高可用性管理的方法的一寫入控制方案的示意圖。 第6圖是依據本發明一實施例所繪示的用於進行AFA伺服器的高可用性管理的方法的一角色決定控制方案的示意圖。 第7圖是依據本發明一實施例所繪示的用於進行AFA伺服器的高可用性管理的方法的一角色信息交換控制方案的示意圖。 第8圖是依據本發明一實施例所繪示的用於進行AFA伺服器的高可用性管理的方法的一角色與狀態轉變控制方案的示意圖。 第9圖是依據本發明一實施例所繪示的用於進行AFA伺服器的高可用性管理的方法的一監控器與輪詢器控制方案的示意圖。 第10圖是依據本發明一實施例所繪示的如第9圖所示的該監控器與輪詢器控制方案的某些實施細節的示意圖。 第11圖是依據本發明一實施例所繪示的用於進行AFA伺服器的高可用性管理的方法的一故障轉移(failover)控制方案的示意圖。 第12圖是依據本發明一實施例的用於進行該AFA伺服器的高可用性管理的方法的流程圖。

10A,10B:機架頂(TOR)交換機

12A,12B:固態硬碟(SSD)群組

100:全快閃記憶體陣列(AFA)伺服器

100A,100B:節點

110A,110B:處理器

112A,112B:程式模組

120A,120B:動態隨機存取記憶體(DRAM)

122A,122B:複製到快閃記憶體(C2F)固態硬碟(SSD)

130A,130B:網路介面(IF)模組

132A,132B,134A,134B:網路介面(IF)電路

140A,140B:非透明網橋(NTB)通信電路

150A,150B:主機板管理控制器(BMC)

152A,152B:暫存器電路

160A,160B:儲存介面(IF)模組

162A,162B,164A,164B:儲存介面(IF)電路

170A,170B:備用電源單元

Claims (11)

1. 一種用以進行一全快閃記憶體陣列(All Flash Array, AFA)伺服器的高可用性管理的方法，該方法包含： 利用運行在該全快閃記憶體陣列伺服器的多個節點中的任一節點上的多個程式模組中的一監控器和輪詢器(monitor and poller)模組以監控該全快閃記憶體陣列伺服器的多個類型的資源(multiple types of resources)，其中，運行在該任一節點上的該多個程式模組包含一硬體管理器，該硬體管理器用以管理該任一節點的一硬體層中的多個硬體組件，以容許該任一節點藉由該硬體管理器獲得針對該多個類型的資源的相關監控結果的至少一部分； 依據監控信息檢查是否有任何錯誤發生，其中，該監控信息包含針對該多個類型的資源的所述相關監控結果；以及 因應該任何錯誤的發生，在該監控信息已經被分類為多個監控信息類型的情況下，控制該任一節點依據至少一預定表從分別對應於該多個監控信息類型的多個候選操作中選擇至少一合適的候選操作，以進行該至少一合適的候選操作； 其中，針對該多個類型的資源的所述相關監控結果的該至少一部分包含一遠端節點的遠端節點信息，其中，該遠端節點代表於該多個節點中的異於該任一節點的另一節點。
2. 如申請專利範圍第1項所述之方法，其中該監控器和輪詢器模組包含多個子模組，且該監控器和輪詢器模組的該多個子模組包含： 一仲裁器，用以依據針對該多個類型的資源的所述相關監控結果以決定該任一節點的一角色及一狀態； 多個監控器，用以對該多個類型的資源進行監控；以及 一組輪詢器，用以於該多個監控器上進行輪詢(polling)，其中該組輪詢器中的任一輪詢器用以輪詢該多個監控器中的至少一監控器。
3. 如申請專利範圍第2項所述之方法，其中，對於該多個類型的資源中的每一資源，提供一或多個監控器，以監控所述每一資源的資源健康；以及對於所述每一資源，提供與該一或多個監控器相對應的一或多個輪詢器，以輪詢該一或多個監控器的一或多個監控結果並且將對應於該一或多個監控結果的一或多個事件報告回傳給該仲裁器。
4. 如申請專利範圍第3項所述之方法，其中，該仲裁器用以依據該遠端節點的一角色和至少一狀態以及該一或多個事件報告來決定該任一節點的一最新角色和一最新狀態，以提高該全快閃記憶體陣列伺服器的整體效能，其中，該任一節點的該最新角色和該最新狀態分別代表該任一節點的所述角色和所述狀態的各自的最新版本。
5. 如申請專利範圍第1項所述之方法，其中，該遠端節點的該遠端節點信息包含分別藉由該任一節點與該遠端節點之間的至少二通信路徑所獲得的節點信息。
6. 如申請專利範圍第5項所述之方法，其中，該任一節點的該硬體層中的該多個硬體組件包含一非透明網橋(Non-Transparent Bridge, NTB)通信電路和一主機板管理控制器(Board Management Controller, BMC)；以及該至少二通信路徑包含該任一節點的該非透明網橋通信電路與該遠端節點的一對應的非透明網橋通信電路之間的一非透明網橋路徑，以及該任一節點的該主機板管理控制器與該遠端節點的一對應的主機板管理控制器之間的一主機板管理控制器路徑。
7. 如申請專利範圍第1項所述之方法，其中，該多個監控信息類型包含一第一監控信息類型、一第二監控信息類型、一第三監控信息類型以及一第四監控信息類型；以及分別對應於該多個監控信息類型的該多個候選操作彼此不同。
8. 如申請專利範圍第7項所述之方法，其中，分別與該多個監控信息類型對應的該多個候選操作包含一觸發故障轉移的候選操作，其中，針對觸發所述故障轉移，該任一節點被配置成停止提供任何服務，且該遠端節點被配置成從一待命節點的角色轉換到一現用節點的角色。
9. 如申請專利範圍第8項所述之方法，其中，分別對應於該多個監控信息類型的該多個候選操作還包含輸出警告、進行一複製到快閃記憶體(Copy-to-Flash, C2F)操作以及設定獨立運轉，其中： 在運行於該任一節點上的該多個程式模組中的一用戶界面(User Interface, UI)程式模組被配置成輸出所述警告； 包含非揮發性記憶體(non-volatile memory, NVM)的一或多個非揮發性記憶體儲存裝置被配置成進行該複製到快閃記憶體操作，以在發生電源故障時保存任何待保護的信息，其中所述任何待保護的信息包含暫時儲存在該任一節點一動態隨機存取記憶體(Dynamic Random Access Memory, DRAM)中的緩衝資料(buffered data)，且包含暫時儲存在該任一節點的一暫存器電路中的節點信息；以及 針對設定獨立運轉，該任一節點被配置成向一用戶提供服務，而不將儲存在該任一節點中的最新資料同步到該遠端節點。
10. 一種全快閃記憶體陣列(All Flash Array, AFA)伺服器，包含： 多個節點，其中該多個節點的任一節點包含： 至少一處理器，用以在多個程式模組的控制下控制該任一節點的操作；以及 多個硬體組件，在該任一節點的一硬體層中；以及 複數個固態硬碟(solid state drive, SSD)，包含： 一第一固態硬碟群組，對應於該任一節點；以及 一第二固態硬碟群組，對應於一遠端節點，其中，該遠端節點代表於該多個節點中的異於該任一節點的另一節點； 其中： 該任一節點利用運行在該全快閃記憶體陣列伺服器的該多個節點中的該任一節點上的該多個程式模組中的一監控器和輪詢器(monitor and poller)模組以監控該全快閃記憶體陣列伺服器的多個類型的資源(multiple types of resources)，其中，運行在該任一節點上的該多個程式模組包含一硬體管理器，且該硬體管理器用以管理該任一節點的該硬體層中的該多個硬體組件，以容許該任一節點藉由該硬體管理器獲得針對該多個類型的資源的相關監控結果的至少一部分； 該任一節點依據監控信息檢查是否有任何錯誤發生，其中，該監控信息包含該多個類型的資源的所述相關監控結果；以及 因應該任何錯誤的發生，在該監控信息已經被分類為多個監控信息類型的情況下，該任一節點依據至少一預定表從分別對應於該多個監控信息類型的多個候選操作中選擇至少一合適的候選操作，以進行該至少一合適的候選操作； 其中，針對該多個類型的資源的所述相關監控結果的該至少一部分包含該遠端節點的遠端節點信息。
11. 如申請專利範圍第10項所述之全快閃記憶體陣列伺服器，其中該監控器和輪詢器模組包含多個子模組，且該監控器和輪詢器模組的該多個子模組包含： 一仲裁器，用以依據針對該多個類型的資源的所述相關監控結果以決定該任一節點的一角色及一狀態； 多個監控器，用以對該多個類型的資源進行監控；以及 一組輪詢器，用以於該多個監控器上進行輪詢(polling)，其中該組輪詢器中的任一輪詢器用以輪詢該多個監控器中的至少一監控器。

Images