TW201828087A - 分布式儲存系統的服務節點切換方法及裝置 - Google Patents

Abstract

本發明實施例提供了一種分布式儲存系統的服務節點切換方法，服務節點包括當前服務節點和備用服務節點，所述方法包括：監控所述服務節點對服務請求的響應狀態；若所述當前服務節點的響應狀態異常，則停止所述當前服務節點與備用服務節點之間的通訊，並觸發當前服務節點的切換處理。通過服務節點檢查邏輯，針對影響服務節點響應狀態的多方面因素進行邏輯判斷和資料統計，在遇到硬體故障或軟體缺陷帶來的服務超時、服務不可用、服務異常等的情況時，實現服務節點的自主切換和恢復，增強了服務可用性。

Description

分布式儲存系統的服務節點切換方法及裝置

本發明涉及互聯網技術領域，特別是涉及一種分布式儲存系統的服務節點切換方法和一種分布式儲存系統的服務節點切換裝置。

在當前大規模分布式儲存系統中，為了實現集中權限認證和配額控制，主要採用集中式元資料管理的方法，即將整個系統中所有資料的元資料集中在若干個元資料服務節點進行儲存。

這樣的架構中元資料服務節點的可用性直接關係到整個系統的可用性，因此在分布式儲存系統中通常通過冗餘的方式提升元資料服務節點的可用性。目前提升元資料服務節點可用性的主要有兩種方法，例如由元資料服務(Name Node)通過HA的方式(High Avai1ablity，高可用性)，利用備用服務節點(Slave節點)切換掉異常狀態的當前服務節點(Primary節點)；或者在例如阿裡雲飛天分布式系統和盤古文件儲存系統使用Paxos協議實現服務節點的切換。

上述兩種服務節點切換方法中，僅僅在由於伺服器宕機、服務進程重啟、網路斷開等情況而導致的當前服務節點無法正常向備用服務節點發送心跳確認的情況下，才會觸發服務節點的切換處理，在其他的例如雙工網路單路斷開、部分網路協議異常、磁盤響應慢等的異常情況下，由於鎖維護機制和心跳機制，備用服務節點還是會認為當前服務節點處於正常的工作狀態，而不會觸發服務節點的切換處理。

然而，實際上處於異常狀態的當前服務節點會導致響應用戶的服務請求超時，無法提供完整的元資料，無法將日誌儲存在共享儲存設備上等的問題，實際上已經影響到當前服務節點向用戶提供的服務質量，但目前的服務節點切換方法無法相應地恢復正常和穩定的元資料服務。因此，目前的服務節點切換方法存在元資料服務恢復效率較低，影響了用戶體驗的問題。

鑒於上述問題，提出了本發明實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種分布式儲存系統的服務節點切換方法和相應的一種分布式儲存系統的服務節點切換裝置。

為了解決上述問題，本發明公開了一種分布式儲存系統的服務節點切換方法，所述服務節點包括當前服務節點和備用服務節點，所述方法包括： 監控所述服務節點對服務請求的響應狀態；若所述當前服務節點的響應狀態異常，則停止所述當前服務節點與備用服務節點之間的通訊，並觸發當前服務節點的切換處理。

可選地，所述方法還包括：若某個服務節點的響應狀態異常，則對所述服務節點添加用於標記不參與當前服務節點的切換處理的異常節點標識。

可選地，所述觸發當前服務節點的切換處理的步驟包括：觸發選取至少一個沒有攜帶所述異常節點標識的服務節點作為新的當前服務節點，替換響應狀態異常的當前服務節點。

可選地，所述監控所述服務節點對服務請求的響應狀態的步驟包括：通過多線程監控所述服務節點對服務請求的響應狀態。

可選地，所述通過多線程監控所述服務節點對服務請求的響應狀態的步驟包括：通過第一檢查線程獲取所述服務節點從服務請求隊列中最近取出服務請求的時間點T1，並將與當前時間點N1的時間間隔D1作為響應時間；判斷所述響應時間是否大於第一預設響應時間閾值，若是，則確定所述服務節點的響應狀態異常。

可選地，所述通過多線程監控所述服務節點對服務請求的響應狀態的步驟包括：通過第二檢查線程判斷所述服務節點的儲存單元是否攜帶儲存響應超時標識；若是，則將所述儲存響應超時標識對應的標識添加時間點T2與當前時間點N2的時間間隔D2作為所述響應時間，若所述響應時間大於第二預設響應時間閾值，則確定所述服務節點的響應狀態異常。

可選地，在所述通過多線程監控所述服務節點對服務請求的響應狀態的步驟之前，所述方法還包括：通過日誌記錄線程獲取所述服務節點的儲存單元寫日誌的起止時間，並將所述起止時間的時間間隔作為儲存單元響應時間；判斷所述儲存單元響應時間是否大於第三預設響應時間閾值，若是，則針對所述儲存單元添加所述儲存響應超時標識，並相應記錄添加標識的時間點T2。

可選地，所述方法還包括：若所述儲存單元響應時間小於所述第三預設響應時間閾值、且所述儲存單元已經攜帶有所述儲存響應超時標識，則刪除所述儲存響應超時標識。

可選地，在所述監控所述服務節點對服務請求的響應狀態的步驟之前，所述方法還包括：將對至少一個所述服務節點的監控結果註冊到監控結果註冊列表； 所述監控所述服務節點對服務請求的響應狀態的步驟為：在所述監控結果註冊列表的起始位置輪詢註冊的監控結果。

可選地，所述方法還包括：將所述多線程的個數除以所述預設響應時間閾值的結果作為監控所述服務節點響應狀態的頻率。

為了解決上述問題，本發明還公開了一種分布式儲存系統的服務節點切換裝置，所述服務節點包括當前服務節點和備用服務節點，所述裝置包括：服務節點響應狀態監控模組，用於監控所述服務節點對服務請求的響應狀態；當前服務節點切換觸發模組，用於若所述當前服務節點的響應狀態異常，則停止所述當前服務節點與備用服務節點之間的通訊，並觸發當前服務節點的切換處理。

可選地，所述裝置還包括：異常節點標識添加模組，用於若某個服務節點的響應狀態異常，則對所述服務節點添加用於標記不參與當前服務節點的切換處理的異常節點標識。

可選地，所述當前服務節點切換觸發模組包括：觸發選取子模組，用於觸發選取至少一個沒有攜帶所述異常節點標識的服務節點作為新的當前服務節點，替換響應狀態異常的當前服務節點。

可選地，所述服務節點響應狀態監控模組包括： 多線程監控子模組，用於通過多線程監控所述服務節點對服務請求的響應狀態。

可選地，所述多線程監控子模組包括：第一檢查線程子單元，用於通過第一檢查線程獲取所述服務節點從服務請求隊列中最近取出服務請求的時間點T1，並將與當前時間點N1的時間間隔D1作為響應時間；第一預設響應時間閾值判斷子單元，用於判斷所述響應時間是否大於第一預設響應時間閾值，若是，則確定所述服務節點的響應狀態異常。

可選地，所述多線程監控子模組包括：第二檢查線程子單元，用於通過第二檢查線程判斷所述服務節點的儲存單元是否攜帶儲存響應超時標識；若是，則調用第二預設響應時間閾值判斷子單元；第二預設響應時間閾值判斷子單元，用於將所述儲存響應超時標識對應的標識添加時間點T2與當前時間點N2的時間間隔D2作為所述響應時間，若所述響應時間大於第二預設響應時間閾值，則確定所述服務節點的響應狀態異常。

可選地，所述裝置還包括：儲存單元響應時間確定模組，用於通過日誌記錄線程獲取所述服務節點的儲存單元寫日誌的起止時間，並將所述起止時間的時間間隔作為儲存單元響應時間；儲存響應超時標識添加模組，用於判斷所述儲存單元 響應時間是否大於第三預設響應時間閾值，若是，則針對所述儲存單元添加所述儲存響應超時標識，並相應記錄添加標識的時間點T2。

可選地，所述裝置還包括：儲存響應超時標識刪除模組，用於若所述儲存單元響應時間小於所述第三預設響應時間閾值、且所述儲存單元已經攜帶有所述儲存響應超時標識，則刪除所述儲存響應超時標識。

可選地，所述裝置還包括：監控結果註冊模組，用於將對至少一個所述服務節點的監控結果註冊到監控結果註冊列表；所述服務節點響應狀態監控模組包括：監控結果輪詢子模組，用於在所述監控結果註冊列表的起始位置輪詢註冊的監控結果。

可選地，所述裝置還包括：監控頻率確定模組，用於將所述多線程的個數除以所述預設響應時間閾值的結果作為監控所述服務節點響應狀態的頻率。

本發明實施例包括以下優點：本發明實施例通過監控服務節點對服務請求的響應狀態，並針對響應狀態異常的當前服務節點執行停止其與備用服務節點之間的通訊，由此觸發當前服務節點的切換處理。通過服務節點檢查邏輯，針對影響服務節點響應狀態的多方面因素進行邏輯判斷和資料統計，在遇到硬體故障 或軟體缺陷帶來的服務超時、服務不可用、服務異常等的情況時，實現服務節點的自主切換和恢復，增強了服務可用性，提升了服務恢復效率，改善了用戶體驗。

其次，本發明實施例可以針對影響服務節點響應狀態的一個或多個方面的因素進行監控，多維度的監控手段提升了服務恢復的全面性和可擴展性。

進一步，本發明實施例對於異常的當前服務節點不將其直接初始化，而是採用相對保守的停止與備用服務節點通訊的方式來觸發服務節點切換，當出現誤診事故時，被誤診為響應狀態異常的當前服務節點也有機會重新作為新的當前服務節點，繼續提供服務，避免了誤診對整個系統帶來負面的影響。

進一步，本發明實施例對響應狀態異常的服務節點添加異常節點標識，避免了將響應狀態異常的服務節點被選作當前服務節點、從而無法實現服務節點切換目的的問題。而且，將異常的服務節點排除，服務節點的切換處理可以保證新的當前服務節點的穩定性，避免了多次服務節點切換引起的系統波動，提升了服務恢復的穩定性。

501‧‧‧服務節點響應狀態監控模組

502‧‧‧當前服務節點切換觸發模組

601‧‧‧監控結果註冊模組

602‧‧‧服務節點響應狀態監控模組

603‧‧‧當前服務節點切換觸發模組

604‧‧‧異常節點標識添加模組

605‧‧‧監控頻率確定模組

圖1是本發明的一種分布式儲存系統的服務節點切換方法實施例一的步驟流程圖；圖2是本發明的一種分布式儲存系統的服務節點切換方法實施例二的步驟流程圖； 圖3是本發明的一種分布式儲存系統的服務節點切換方法實施例三的步驟流程圖；圖4是本發明的一種分布式儲存系統的服務節點切換方法實施例四的步驟流程圖；圖5是本發明的一種分布式儲存系統的服務節點切換裝置實施例一的結構框圖；圖6是本發明的一種分布式儲存系統的服務節點切換裝置實施例二的結構框圖。

為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實施方式對本發明作進一步詳細的說明。

目前較常用的提升元資料服務節點可用性的方式中，可以在例如Hadoop分布式文件系統中，元資料服務利用備用服務節點切換掉異常狀態的當前服務節點。具體為：通過分布式鎖服務，由獲取到分布式鎖的服務節點作為當前服務節點，由當前服務節點對外提供，並將產生的日誌儲存在共享儲存設備上，其他的備用服務節點不對外提供元資料服務，僅從共享儲存設備上讀取日誌應用到隨機存取記憶體，保持隨機存取記憶體與當前服務節點同步一致。備用服務節點不定時檢測鎖的狀態，當鎖被釋放時，即表明當前服務節點處於伺服器宕機、服務進程重啟、網路斷開等異常狀態，備用服務節點則獲取分布式鎖升級為 新的當前服務節點並對外提供元資料服務。

另外一種較常用的提升可用性方式中，多個備用服務節點通過Paxos協議進行當前服務節點選舉，從中產生一個對外提供元資料服務的當前服務節點，用戶向當前服務節點請求元資料服務，當前服務節點響應後產生日誌儲存到本地，併發送給所有備用服務節點。備用服務節點收到日誌後儲存到本地並應用到隨機存取記憶體，保持與當前服務節點同步一致。同時，在當前服務節點正常工作時，其可以向備用服務節點發送心跳確認資訊，備用服務節點通過心跳機制確認當前服務節點的存活。若當前服務節點出現如伺服器宕機、服務進程重啟、網路斷開等異常情況時，當前服務節點無法向備用服務節點發送心跳確認資訊，備用服務節點由此發起當前服務節點切換處理，從備用服務節點中選舉出新的當前服務節點對外提供元資料服務。

從上述可見，目前的提高元資料服務節點可用性的方法中，觸發服務節點的切換依賴於導致當前服務節點完全無法工作的嚴重故障，其他一些引起當前服務節點響應慢等異常狀態的故障則不會觸發服務節點的切換，然而處於異常狀態的當前服務節點已經影響到了向用戶提供服務的質量。

因此，目前的服務節點切換方法存在元資料服務恢復效率較低，影響了用戶體驗的問題。而且，根據目前的服務節點切換方法，即使觸發了服務節點切換處理，也有可 能再次切換到已經處於異常狀態的服務節點上，無法實現服務節點切換的目的，影響了元資料服務恢復的效率。為了解決上述問題，以下提出了若干個服務節點切換方法的實施例。

參照圖1，示出了本發明的一種分布式儲存系統的服務節點切換方法實施例一的步驟流程圖，所述服務節點包括當前服務節點和備用服務節點，所述方法具體可以包括如下步驟：

步驟101，監控服務節點對服務請求的響應狀態。

需要說明的是，服務節點可以為提供元資料服務的服務節點。元資料(Metadata)又稱中介資料、中繼資料，為描述資料的資料(data about data)，主要是描述資料屬性(property)的資訊，用來支持如指示儲存位置、歷史資料、資源查找、文件記錄等功能。

在具體的實現中，可以針對不同方面的檢查點，在系統中相應地設置若干個檢查線程以監控服務節點的響應狀態是否異常。例如，設置一個關注於服務請求隊列響應時間異常的第一檢查線程和/或設置一個關注於儲存單元響應時間異常的第二檢查線程。

需要說明的是，響應時間是否異常可以通過與預設的響應時間閾值進行比較而確定，例如，可以預設響應時間閾值為10秒，如果服務節點對服務請求隊列中的某各服務請求的響應時間超過10秒，或者服務節點的儲存單元進行日誌讀寫的響應時間超過10秒，可以理解為該服務 節點的響應狀態異常，其對服務請求的響應需要用戶長時間等待，甚至無法正常服務，已影響到了用戶體驗。

作為本發明實施例的較佳示例，可以通過多線程監控所述服務節點對服務請求的響應狀態。因為在實際應用中，服務節點的響應狀態可能會被多方面的因素所影響，本領域技術人員可以根據實際情況組合設置多個檢查線程以監控服務節點對服務請求的響應狀態，例如，還可以設置關注於儲存單元是否接近滿載的檢查線程。

較佳地，用於監控服務節點的檢查線程可以不具備執行邏輯的能力，而僅僅用作檢查響應狀態的邏輯判斷和資料統計。檢查線程儘量保持輕量，避免進行運算量較大和耗時較長的處理工作，例如可以不進行RPC(Remote Procedure Call Protocol，遠程過程調用協議)操作或者長時間的等鎖操作，該操作有可能導致後續的服務節點切換處理被嚴重延遲、甚至無法有效執行，最終可能導致整個檢查機制失去應有的效果。

步驟102，若所述當前服務節點的響應狀態異常，則停止所述當前服務節點與備用服務節點之間的通訊，並觸發當前服務節點的切換處理。

在具體的實現中，通過對服務節點的響應狀態的監控，可以確定當前服務節點和備用服務節點的響應狀態是否異常。針對於不同的服務節點的不同監控結果，可以執行相應的操作。針對於響應狀態異常的當前服務節點，可以停止其與多個備用服務節點之間的通訊。

停止相互通訊的方式可以有多種，例如通過停止當前服務節點與備用服務節點之間的心跳確認的方式，當備用服務節點超過一定時間沒有接收到當前服務節點發送的心跳確認資訊，則可以認為當前服務節點處於異常狀態並失效，需要發起當前服務節點的切換處理。

備用服務節點無法與當前服務節點正常通訊，可以認為當前服務節點處於異常狀態，由此觸發新的當前服務節點選舉操作，並將新選舉出的當前服務節點替換異常的當前服務節點，以完成當前服務節點的切換處理。當前服務節點的選舉操作可以通過Paxos協議實現。

實際應用中，還可以採用其他方式觸發當前服務節點的切換處理，例如利用分布式鎖服務，若備用服務節點認為該當前服務節點處於異常狀態並失效，則觸發該當前服務節點釋放鎖，多個備用服務節點進行搶鎖操作，由獲取到鎖的備用服務節點替換異常的當前服務節點，以完成當前服務節點的切換處理。

針對於響應狀態異常的當前服務節點和備用服務節點，還可以添加一個異常節點標識，攜帶有該標識的服務節點，則在服務節點的切換處理中不會被切換為新的當前服務節點，以免將異常的服務節點作為新的當前服務節點，達不到服務恢復的效果。

作為本發明實施例的較佳示例，可以將對至少一個所述服務節點的監控結果註冊到監控結果註冊列表；在所述監控結果註冊列表的起始位置輪詢註冊的監控結果。

實際應用中，可以設置檢查點執行模組，以針對不同的監控結果執行相應的操作。各檢查線程可以在系統啟動過程中產生監控結果，並將監控結果註冊到檢查點執行模組的監控結果註冊列表中。該檢查點執行模組可以是系統後臺線程，其可以在註冊列表的起始位置開始按序逐一輪詢監控結果，並根據監控結果執行相應的處理。例如，在某個監控結果中，第一檢查線程根據服務請求處理響應時間判斷出當前服務節點的響應狀態異常，檢查點執行模組由此可以停止其向備用服務節點發送心跳確認資訊，並添加一個異常節點標識；又例如，在另外一個監控結果中，第二檢查線程根據儲存單元讀寫日誌超時判斷出備用服務節點的響應狀態異常，檢查點執行模組由此針對該備用服務節點添加異常節點標識。

需要說明的是，檢查點執行模組可以不需要關注各個檢查線程的邏輯判斷如何實現，即不需要關注該檢查線程具體如何監控該服務節點是否異常，僅僅關注監控結果所反映出的服務節點響應狀態是否異常即可。具體地，服務節點的響應狀態是否異常，可以由True和False表示，檢查線程可以僅將True或False的值作為監控結果註冊到檢查點執行模組的註冊列表中。

此外，還可以將所述多線程的個數除以所述預設響應時間閾值的結果作為監控所述服務節點響應狀態的頻率。

因為在實際應用中，如果監控的頻率過低，則可能會遺漏了反映異常服務節點的監控結果，無法保證在當前服 務節點出現異常時及時進行切換。因此，為了提高檢查精度，監控的執行間隔不能大於任何一個檢查線程用於判斷響應狀態是否異常而設置的預設響應時間閾值。例如，若預設的響應時間閾值為10秒，則監控的執行間隔可以設為1秒。為了便於確定監控頻率，可以根據進行監控的檢查線程個數除以預設響應時間閾值，將結果作為監控頻率。例如檢查線程為10個，而預設響應時間閾值為10秒，則監控頻率為1個每秒，即檢查點執行模組可以每隔1秒就從監控結果註冊列表調取一個監控結果，以執行相應處理。

本領域技術人員可以根據實際情況將本發明實施例所提供的方法應用於各種分布式文件系統和計算、儲存平臺，例如，HDFS系統(Hadoop Distributed File System)，ODPS計算平臺(Open Data Processing Service，開放資料處理服務)，OSS儲存平臺(Object Storage Service，開放對象儲存服務)，OTS儲存平臺(Open Table Service，開放表服務結構化資料服務)，ECS計算平臺(Elastic Compute Service，彈性計算服務)等等。

相比起目前的服務節點切換方法，本發明實施例通過監控服務節點對服務請求的響應狀態，並針對響應狀態異常的當前服務節點執行停止其與備用服務節點之間的通訊，由此觸發當前服務節點的切換處理。通過服務節點檢查邏輯，針對影響服務節點響應狀態的多方面因素進行邏輯判斷和資料統計，在遇到硬體故障或軟體缺陷帶來的服 務超時、服務不可用、服務異常等的情況時，實現服務節點的自主切換和恢復，增強了服務可用性，提升了服務恢復效率，改善了用戶體驗。

其次，本發明實施例可以針對影響服務節點響應狀態的一個或多個方面的因素進行監控，多維度的監控手段提升了服務恢復的全面性和可擴展性。

進一步，本發明實施例對於異常的當前服務節點不將其直接初始化，而是採用相對保守的停止與備用服務節點通訊的方式來觸發服務節點切換，當出現誤診事故時，被誤診為響應狀態異常的當前服務節點也有機會重新作為新的當前服務節點，繼續提供服務，避免了誤診對整個系統帶來負面的影響。

參照圖2，示出了本發明的一種分布式儲存系統的服務節點切換方法實施例二的步驟流程圖，所述服務節點包括當前服務節點和備用服務節點，所述方法具體可以包括如下步驟：

步驟201，通過第一檢查線程獲取所述服務節點從服務請求隊列中最近取出服務請求的時間點T1，並將與當前時間點N1的時間間隔D1作為響應時間。

需要說明的是，上述的第一檢查線程可以是關注於服務請求隊列響應時間是否異常的檢查線程。當用戶向當前服務節點提交服務請求，會先將服務請求放入服務請求隊列中排隊，等待被當前服務節點逐一處理。當前服務節點從隊列中取出服務請求時，可以記錄此時的時間點T1。

第一檢查線程可以定期對服務請求隊列進行檢查，當服務請求隊列存在等待處理的服務請求時，第一檢查線程獲取之前記錄的最近取出服務請求的時間點T1，將當前時間點N1與T1的時間間隔D1作為該當前服務節點的響應時間。

步驟202，判斷所述響應時間是否大於第一預設響應時間閾值，若是，則確定所述服務節點的響應狀態異常。

可以將響應時間與第一預設響應時間閾值進行比較，若響應時間大於第一預設響應時間閾值，則表明該當前服務節點在處理用戶的服務請求時被阻塞，造成用戶長時間等待服務的情況。因此，無論該當前服務節點的其他方面是否正常，也可以認為該當前服務節點的響應狀態異常。

實際應用中可以將第一預設響應時間閾值設置為10秒，也即是說，如果10秒之內也沒有成功響應用戶提交的服務請求，可以理解為當前服務節點的響應狀態異常，當然，本領域技術人員可以根據實際情況設置第一預設響應時間閾值，本發明實施例對此不作限制。

第一檢查線程可以將響應狀態異常或正常的監控結果註冊到檢查點執行模組的監控結果註冊列表中，由檢查點執行模組根據監控結果採取相應的處理。

步驟203，若所述當前服務節點的響應狀態異常，則停止所述當前服務節點與備用服務節點之間的通訊，並觸發當前服務節點的切換處理。

步驟204，若某個服務節點的響應狀態異常，則對所 述服務節點添加用於標記不參與當前服務節點的切換處理的異常節點標識。

檢查點執行模組針對於響應狀態異常的當前服務節點，可以停止其與多個備用服務節點之間的通訊。針對於響應狀態異常的當前服務節點和備用服務節點，還可以添加一個異常節點標識，攜帶有該標識的服務節點，則在服務節點的切換處理中不會被切換為新的當前服務節點。

作為本發明實施例的較佳示例，所述觸發當前服務節點的切換處理的步驟可以包括：觸發選取至少一個沒有攜帶所述異常節點標識的服務節點作為新的當前服務節點，替換響應狀態異常的當前服務節點。

實際應用中，如果是通過Paxos協議選舉當前服務節點，攜帶異常節點標識的服務節點不會參與到選舉中。當備用服務節點觸發當前服務節點的切換處理時，攜帶異常節點標識的服務節點不參與選舉，則不會被選作新的當前服務節點。如果是通過分布式鎖服務切換服務節點，攜帶異常節點標識的服務節點不會進行搶鎖操作，僅僅由正常的服務節點參與搶鎖。

本發明實施例對響應狀態異常的服務節點添加異常節點標識，避免了將響應狀態異常的服務節點被選作當前服務節點、從而無法實現服務節點切換目的的問題。而且，將異常的服務節點排除，服務節點的切換處理可以保證新的當前服務節點的穩定性，避免了多次服務節點切換引起的系統波動，提升了服務恢復的穩定性。

參照圖3，示出了本發明的一種分布式儲存系統的服務節點切換方法實施例三的步驟流程圖，所述服務節點包括當前服務節點和備用服務節點，所述方法具體可以包括如下步驟：

步驟301，通過日誌記錄線程獲取所述服務節點的儲存單元寫日誌的起止時間，並將所述起止時間的時間間隔作為儲存單元響應時間。

需要說明的是，用戶提交服務請求時會產生日誌，當前服務節點和備用服務節點均需要通過日誌記錄線程將日誌記錄到儲存單元中，然後返回用戶的服務請求處理成功的通知，因此儲存單元的響應時間直接影響到對服務請求的響應時間。

在具體的實現中，日誌記錄線程記錄有服務節點開始寫日誌的起止時間點和寫日誌完畢後的結束時間點，將起始時間點的時間間隔作為儲存單元響應時間。

步驟302，判斷所述儲存單元響應時間是否大於第三預設響應時間閾值，若是，則針對所述儲存單元添加所述儲存響應超時標識，並相應記錄添加標識的時間點T2。

判斷儲存單元響應時間是否大於第三預設響應時間閾值，若是，表明服務節點的儲存單元存在異常，則可以針對儲存單元添加儲存響應超時標識，並記錄添加該標識時的時間點T2。如果該服務節點的儲存單元已經攜帶有儲存響應超時標識，則可以不需要作標識添加處理。

步驟303，若所述儲存單元響應時間小於所述第三預 設響應時間閾值、且所述儲存單元已經攜帶有所述儲存響應超時標識，則刪除所述儲存響應超時標識。

在實際應用中，檢查線程需要關注的是儲存單元響應連續響應慢的異常情況，對於單獨一次的儲存單元響應慢，可能是偶然因素造成，可以暫時忽略，以免造成誤測。因此，若儲存單元響應時間小於第三預設響應時間閾值，且已經攜帶有儲存響應超時標識，可以刪除該標識。

步驟304，通過第二檢查線程判斷所述服務節點的儲存單元是否攜帶儲存響應超時標識。

步驟305，若是，則將所述儲存響應超時標識對應的標識添加時間點T2與當前時間點N2的時間間隔D2作為所述響應時間，若所述響應時間大於第二預設響應時間閾值，則確定所述服務節點的響應狀態異常。

第二檢查線程可以判斷儲存單元是否攜帶儲存響應超時標識，並根據判斷結果進行相應處理。

若攜帶儲存響應超時標識，則從日誌記錄線程中獲取該標識的添加時間點T2，與當前的時間點N2相減得到兩者的時間間隔D2作為服務節點的響應時間。若該響應時間大於第二預設響應時間閾值，則表明該服務節點將日誌記錄到儲存單元的耗時過長，影響到對服務請求的響應時間。因此，無論該當前服務節點的其他方面是否正常，也可以認為該當前服務節點的響應狀態異常。

第二檢查線程將響應狀態異常或正常的監控結果註冊到檢查點執行模組的監控結果註冊列表中，由檢查點執行 模組根據監控結果採取相應的處理。例如，第二檢查線程檢查出在30秒隨機存取記憶體儲存單元的響應時間沒有降低到30毫秒以下，則可以判斷該服務節點的儲存單元出現異常，導致服務節點的響應狀態異常。

步驟306，若所述當前服務節點的響應狀態異常，則停止所述當前服務節點與備用服務節點之間的通訊，並觸發當前服務節點的切換處理。

步驟307，若某個服務節點的響應狀態異常，則對所述服務節點添加用於標記不參與當前服務節點的切換處理的異常節點標識。

檢查點執行模組針對於響應狀態異常的當前服務節點，可以停止其與多個備用服務節點之間的通訊。針對於響應狀態異常的當前服務節點和備用服務節點，還可以添加一個異常節點標識，攜帶有該標識的服務節點，則在服務節點的切換處理中不會被切換為新的當前服務節點。

需要說明的是，步驟301至步驟303可以循環進行，反復統計和比較儲存單元寫日誌的響應時間，針對性地判斷出是否存在儲存單元連續響應慢的異常情況，並相應地更新儲存單元的儲存響應超時標識，以便於第二檢查線程根據標識進行相應處理。

需要說明的是，對於方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發明實施例並不受所描述的動作順序的限制，因為依據本發明實施例，某些步驟可以採用其他順序或者 同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於較佳實施例，所涉及的動作並不一定是本發明實施例所必須的。

參照圖4，示出了本發明的一種分布式儲存系統的服務節點切換方法實施例四的步驟流程圖，所述服務節點包括當前服務節點和備用服務節點，所述方法具體可以包括如下步驟：

步驟401，通過多線程監控所述服務節點對服務請求的響應狀態。

可以通過多個關注於服務節點不同方面問題的檢查線程，監控所述服務節點對服務請求的響應狀態是否異常。因為在實際應用中，服務節點的響應狀態可能會被多方面的因素所影響，無論是單方面的因素還是多個因素綜合作用，當影響到服務節點的響應狀態，均可以針對性地監控，因此，為了更全面和靈活地監控服務節點，可以通過多個線程的組合來監控服務節點。當然，線程的數量和線程具體的組合方式可以由本領域技術人員根據實際情況而定。

作為本發明實施例的較佳示例，所述步驟401可以具體包括以下子步驟：

子步驟S11，通過第一檢查線程獲取所述服務節點從服務請求隊列中最近取出服務請求的時間點T1，並將與當前時間點N1的時間間隔D1作為響應時間。

子步驟S12，判斷所述響應時間是否大於第一預設響 應時間閾值，若是，則確定所述服務節點的響應狀態異常。

子步驟S13，通過第二檢查線程判斷所述服務節點的儲存單元是否攜帶儲存響應超時標識。

子步驟S14，若是，則將所述儲存響應超時標識對應的標識添加時間點T2與當前時間點N2的時間間隔D2作為所述響應時間，若所述響應時間大於第二預設響應時間閾值，則確定所述服務節點的響應狀態異常。

上述的第一檢查線程可以是關注於服務請求隊列響應時間是否異常的線程。通過第一檢查線程監控服務節點，可以針對由於處理服務請求隊列響應時間過慢所引起服務節點異常的情況進行監控。上述的第二檢查線程可以是關注於儲存單元響應時間是否異常的線程。通過第二檢查線程監控服務節點，可以針對由於儲存單元寫日誌過慢所引起服務節點異常的情況進行監控。需要說明的是，上述子步驟並沒有先後之分，即可以同時通過第一檢查線程和第二檢查線程進行監控。

步驟402，若所述當前服務節點的響應狀態異常，則停止所述當前服務節點與備用服務節點之間的通訊，並觸發當前服務節點的切換處理。

步驟403，若某個服務節點的響應狀態異常，則對所述服務節點添加用於標記不參與當前服務節點的切換處理的異常節點標識。

通過上述的第一檢查線程和第二檢查線程同時監控服 務節點對服務請求的響應狀態，可以同時針對處理服務請求隊列響應時間和儲存單元寫日誌響應時間進行監控，當任何一方面出現問題，均可以觸發服務節點的切換處理，並針對性地添加異常節點標識。從而通過多維度的監控手段提升了服務恢復的全面性和可擴展性。

參照圖5，示出了本發明的一種分布式儲存系統的服務節點切換裝置實施例一的結構框圖，所述服務節點包括當前服務節點和備用服務節點，所述裝置具體可以包括如下模組：

服務節點響應狀態監控模組501，用於監控所述服務節點對服務請求的響應狀態。

當前服務節點切換觸發模組502，用於若所述當前服務節點的響應狀態異常，則停止所述當前服務節點與備用服務節點之間的通訊，並觸發當前服務節點的切換處理。

本發明實施例通過監控服務節點對服務請求的響應狀態，並針對響應狀態異常的當前服務節點執行停止其與備用服務節點之間的通訊，由此觸發當前服務節點的切換處理。通過服務節點檢查邏輯，針對影響服務節點響應狀態的多方面因素進行邏輯判斷和資料統計，在遇到硬體故障或軟體缺陷帶來的服務超時、服務不可用、服務異常等的情況時，實現服務節點的自主切換和恢復，增強了服務可用性，提升了服務恢復效率，改善了用戶體驗。

其次，本發明實施例可以針對影響服務節點響應狀態的一個或多個方面的因素進行監控，多維度的監控手段提 升了服務恢復的全面性和可擴展性。

進一步，本發明實施例對於異常的當前服務節點不將其直接初始化，而是採用相對保守的停止與備用服務節點通訊的方式來觸發服務節點切換，當出現誤診事故時，被誤診為響應狀態異常的當前服務節點也有機會重新作為新的當前服務節點，繼續提供服務，避免了誤診對整個系統帶來負面的影響。

參照圖6，示出了本發明的一種分布式儲存系統的服務節點切換裝置實施例二的結構框圖，所述服務節點包括當前服務節點和備用服務節點，所述裝置具體可以包括如下模組：

監控結果註冊模組601，用於將對至少一個所述服務節點的監控結果註冊到監控結果註冊列表。

服務節點響應狀態監控模組602，用於監控所述服務節點對服務請求的響應狀態。

當前服務節點切換觸發模組603，用於若所述當前服務節點的響應狀態異常，則停止所述當前服務節點與備用服務節點之間的通訊，並觸發當前服務節點的切換處理。

異常節點標識添加模組604，用於若某個服務節點的響應狀態異常，則對所述服務節點添加用於標記不參與當前服務節點的切換處理的異常節點標識。

監控頻率確定模組605，用於將所述多線程的個數除以所述預設響應時間閾值的結果作為監控所述服務節點響應狀態的頻率。

作為本發明實施例的較佳示例，所述裝置可以還包括：儲存單元響應時間確定模組，用於通過日誌記錄線程獲取所述服務節點的儲存單元寫日誌的起止時間，並將所述起止時間的時間間隔作為儲存單元響應時間。

儲存響應超時標識添加模組，用於判斷所述儲存單元響應時間是否大於第三預設響應時間閾值，若是，則針對所述儲存單元添加所述儲存響應超時標識，並相應記錄添加標識的時間點T2。

儲存響應超時標識刪除模組，用於若所述儲存單元響應時間小於所述第三預設響應時間閾值、且所述儲存單元已經攜帶有所述儲存響應超時標識，則刪除所述儲存響應超時標識。

作為本發明實施例的較佳示例，所述當前服務節點切換觸發模組603可以包括以下子模組：觸發選取子模組，用於觸發選取至少一個沒有攜帶所述異常節點標識的服務節點作為新的當前服務節點，替換響應狀態異常的當前服務節點。

作為本發明實施例的較佳示例，所述服務節點響應狀態監控模組602可以包括以下子模組：多線程監控子模組，用於通過多線程監控所述服務節點對服務請求的響應狀態。

作為本發明實施例的較佳示例一，所述多線程監控子模組可以包括以下子單元： 第一檢查線程子單元，用於通過第一檢查線程獲取所述服務節點從服務請求隊列中最近取出服務請求的時間點T1，並將與當前時間點N1的時間間隔D1作為響應時間。

第一預設響應時間閾值判斷子單元，用於判斷所述響應時間是否大於第一預設響應時間閾值，若是，則確定所述服務節點的響應狀態異常。

作為本發明實施例的較佳示例二，所述多線程監控子模組可以包括以下子單元：第二檢查線程子單元，用於通過第二檢查線程判斷所述服務節點的儲存單元是否攜帶儲存響應超時標識；若是，則調用第二預設響應時間閾值判斷子單元。

第二預設響應時間閾值判斷子單元，用於將所述儲存響應超時標識對應的標識添加時間點T2與當前時間點N2的時間間隔D2作為所述響應時間，若所述響應時間大於第二預設響應時間閾值，則確定所述服務節點的響應狀態異常。

作為本發明實施例的較佳示例，所述服務節點響應狀態監控模組602可以包括以下子模組：監控結果輪詢子模組，用於在所述監控結果註冊列表的起始位置輪詢註冊的監控結果。

本發明實施例對響應狀態異常的服務節點添加異常節點標識，避免了將響應狀態異常的服務節點被選作當前服務節點、從而無法實現服務節點切換目的的問題。而且， 將異常的服務節點排除，服務節點的切換處理可以保證新的當前服務節點的穩定性，避免了多次服務節點切換引起的系統波動，提升了服務恢復的穩定性。

對於裝置實施例而言，由於其與方法實施例基本相似，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。

本說明書中的各個實施例均採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。

本領域內的技術人員應明白，本發明實施例的實施例可提供為方法、裝置、或計算機程序產品。因此，本發明實施例可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明實施例可採用在一個或多個其中包含有計算機可用程序代碼的計算機可用儲存媒體(包括但不限於磁盤記憶體、CD-ROM、光學記憶體等)上實施的計算機程序產品的形式。

在一個典型的配置中，所述計算機設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和隨機存取記憶體。隨機存取記憶體可能包括計算機可讀媒體中的非永久性記憶體，隨機存取記憶體(RAM)和/或非易失性隨機存取記憶體等形式，如唯讀記憶體(ROM)或閃存(flash RAM)。隨機存取記憶體是計算機可讀媒體的示例。計算機可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是計 算機可讀指令、資料結構、程序的模組或其他資料。計算機的儲存媒體的例子包括，但不限於相變隨機存取記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可編程唯讀記憶體(EEPROM)、快閃記憶體或其他隨機存取記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁盤儲存或其他磁性儲存設備或任何其他非傳輸媒體，可用於儲存可以被計算設備訪問的資訊。按照本文中的界定，計算機可讀媒體不包括非持續性的電腦可讀媒體(transitory media)，如調製的資料信號和載波。

本發明實施例是參照根據本發明實施例的方法、終端設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程資料處理終端設備的處理器以產生一個機器，使得通過計算機或其他可編程資料處理終端設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可儲存在能引導計算機或其他可編程資料處理終端設備以特定方式工作的計算機可讀記 憶體中，使得儲存在該計算機可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程資料處理終端設備上，使得在計算機或其他可編程終端設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程終端設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

儘管已描述了本發明實施例的較佳實施例，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例做出另外的變更和修改。所以，所附申請專利範圍意欲解釋為包括較佳實施例以及落入本發明實施例範圍的所有變更和修改。

最後，還需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者終端設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者終端設備所固有的要素。在沒有更多限制的情況下，由語句 “包括一個......”限定的要素，並不排除在包括所述要素的過程、方法、物品或者終端設備中還存在另外的相同要素。

以上對本發明所提供的一種分布式儲存系統的服務節點切換方法和一種分布式儲存系統的服務節點切換裝置，進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。

Claims (20)

1. 一種分布式儲存系統的服務節點切換方法，所述服務節點包括當前服務節點和備用服務節點，所述方法包括：監控所述服務節點對服務請求的響應狀態；若所述當前服務節點的響應狀態異常，則停止所述當前服務節點與備用服務節點之間的通訊，並觸發當前服務節點的切換處理。
2. 根據申請專利範圍第1項所述的方法，其中，還包括：若某個服務節點的響應狀態異常，則對所述服務節點添加用於標記不參與當前服務節點的切換處理的異常節點標識。
3. 根據申請專利範圍第2項所述的方法，其中，所述觸發當前服務節點的切換處理的步驟包括：觸發選取至少一個沒有攜帶所述異常節點標識的服務節點作為新的當前服務節點，替換響應狀態異常的當前服務節點。
4. 根據申請專利範圍第1項所述的方法，其中，所述監控所述服務節點對服務請求的響應狀態的步驟包括：通過多線程監控所述服務節點對服務請求的響應狀態。
5. 根據申請專利範圍第4項所述的方法，其中，所述通過多線程監控所述服務節點對服務請求的響應狀態的步 驟包括：通過第一檢查線程獲取所述服務節點從服務請求隊列中最近取出服務請求的時間點T1，並將與當前時間點N1的時間間隔D1作為響應時間；判斷所述響應時間是否大於第一預設響應時間閾值，若是，則確定所述服務節點的響應狀態異常。
6. 根據申請專利範圍第4項所述的方法，其中，所述通過多線程監控所述服務節點對服務請求的響應狀態的步驟包括：通過第二檢查線程判斷所述服務節點的儲存單元是否攜帶儲存響應超時標識；若是，則將所述儲存響應超時標識對應的標識添加時間點T2與當前時間點N2的時間間隔D2作為所述響應時間，若所述響應時間大於第二預設響應時間閾值，則確定所述服務節點的響應狀態異常。
7. 根據申請專利範圍第6項所述的方法，其中，在所述通過多線程監控所述服務節點對服務請求的響應狀態的步驟之前，所述方法還包括：通過日誌記錄線程獲取所述服務節點的儲存單元寫日誌的起止時間，並將所述起止時間的時間間隔作為儲存單元響應時間；判斷所述儲存單元響應時間是否大於第三預設響應時間閾值，若是，則針對所述儲存單元添加所述儲存響應超時標識，並相應記錄添加標識的時間點T2。
8. 根據申請專利範圍第7項所述的方法，其中，還包括：若所述儲存單元響應時間小於所述第三預設響應時間閾值、且所述儲存單元已經攜帶有所述儲存響應超時標識，則刪除所述儲存響應超時標識。
9. 根據申請專利範圍第1項所述的方法，其中，在所述監控所述服務節點對服務請求的響應狀態的步驟之前，所述方法還包括：將對至少一個所述服務節點的監控結果註冊到監控結果註冊列表；所述監控所述服務節點對服務請求的響應狀態的步驟為：在所述監控結果註冊列表的起始位置輪詢註冊的監控結果。
10. 根據申請專利範圍第4項所述的方法，其中，還包括：將所述多線程的個數除以所述預設響應時間閾值的結果作為監控所述服務節點響應狀態的頻率。
11. 一種分布式儲存系統的服務節點切換裝置，所述服務節點包括當前服務節點和備用服務節點，所述裝置包括：服務節點響應狀態監控模組，用於監控所述服務節點對服務請求的響應狀態；當前服務節點切換觸發模組，用於若所述當前服務節 點的響應狀態異常，則停止所述當前服務節點與備用服務節點之間的通訊，並觸發當前服務節點的切換處理。
12. 根據申請專利範圍第11項所述的裝置，其中，所述裝置還包括：異常節點標識添加模組，用於若某個服務節點的響應狀態異常，則對所述服務節點添加用於標記不參與當前服務節點的切換處理的異常節點標識。
13. 根據申請專利範圍第12項所述的裝置，其中，所述當前服務節點切換觸發模組包括：觸發選取子模組，用於觸發選取至少一個沒有攜帶所述異常節點標識的服務節點作為新的當前服務節點，替換響應狀態異常的當前服務節點。
14. 根據申請專利範圍第11項所述的裝置，其中，所述服務節點響應狀態監控模組包括：多線程監控子模組，用於通過多線程監控所述服務節點對服務請求的響應狀態。
15. 根據申請專利範圍第14項所述的裝置，其中，所述多線程監控子模組包括：第一檢查線程子單元，用於通過第一檢查線程獲取所述服務節點從服務請求隊列中最近取出服務請求的時間點T1，並將與當前時間點N1的時間間隔D1作為響應時間；第一預設響應時間閾值判斷子單元，用於判斷所述響應時間是否大於第一預設響應時間閾值，若是，則確定所 述服務節點的響應狀態異常。
16. 根據申請專利範圍第14項所述的裝置，其中，所述多線程監控子模組包括：第二檢查線程子單元，用於通過第二檢查線程判斷所述服務節點的儲存單元是否攜帶儲存響應超時標識；若是，則調用第二預設響應時間閾值判斷子單元；第二預設響應時間閾值判斷子單元，用於將所述儲存響應超時標識對應的標識添加時間點T2與當前時間點N2的時間間隔D2作為所述響應時間，若所述響應時間大於第二預設響應時間閾值，則確定所述服務節點的響應狀態異常。
17. 根據申請專利範圍第16項所述的裝置，其中，所述裝置還包括：儲存單元響應時間確定模組，用於通過日誌記錄線程獲取所述服務節點的儲存單元寫日誌的起止時間，並將所述起止時間的時間間隔作為儲存單元響應時間；儲存響應超時標識添加模組，用於判斷所述儲存單元響應時間是否大於第三預設響應時間閾值，若是，則針對所述儲存單元添加所述儲存響應超時標識，並相應記錄添加標識的時間點T2。
18. 根據申請專利範圍第17項所述的裝置，其中，所述裝置還包括：儲存響應超時標識刪除模組，用於若所述儲存單元響應時間小於所述第三預設響應時間閾值、且所述儲存單元 已經攜帶有所述儲存響應超時標識，則刪除所述儲存響應超時標識。
19. 根據申請專利範圍第11項所述的裝置，其中，所述裝置還包括：監控結果註冊模組，用於將對至少一個所述服務節點的監控結果註冊到監控結果註冊列表；所述服務節點響應狀態監控模組包括：監控結果輪詢子模組，用於在所述監控結果註冊列表的起始位置輪詢註冊的監控結果。
20. 根據申請專利範圍第14項所述的裝置，其中，所述裝置還包括：監控頻率確定模組，用於將所述多線程的個數除以所述預設響應時間閾值的結果作為監控所述服務節點響應狀態的頻率。