TWI594118B - Applied to distributed software defined storage bottleneck monitoring architecture and methods - Google Patents

Description

應用於分散式軟體定義儲存瓶頸監測架構及其方法

本發明係關於一種應用於應用於分散式軟體定義儲存瓶頸監測架構及其方法，特別係指，針對分散式軟體定義儲存，透過虛擬化的技術，應用少量的硬體就可模擬多個測試客戶端以及分散式軟體定義儲存所需的各種角色節點。

過往於集中式軟體定義儲存植入偵測程式，收集集中式軟體定義儲存狀態，將狀態訊息傳回監控中心進行分析判斷，並將分析結果存入儲存庫進行儲存，監控中心能夠即時診斷障礙並發生告警，而因為是為集中式的軟體定義儲存，僅能靠使用者自行調度，並僅能擴充客戶節點。

或是如美國專利號US20130179144，Performance bottleneck detection in scalability testing所述之，針對系統瓶頸偵測提出的一個測試方法，首先訂定待測標的KPI，待測標的包含多個元件，KPI可能是元件的CPU負載、Memory負載、I/O負載、Server反應時間以及網路負載等，剛開始提供一個或多個模擬客戶端向待測標的發送Reqeust進行測試，測試期間觀察代測標的狀態判斷是否已達到給定KPI並產生報表，若達到KPI表示達到效能瓶頸；若未達到KPI，依據報表調整scaling factor進行測試客戶端擴展加大壓力，直至達到系 統瓶頸(即所設定之KPI)。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本應用於分散式軟體定義儲存瓶頸監測架構及其方法。

本發明係提出一虛擬化環境之瓶頸監測架構及其方法，針對分散式軟體定義儲存，透過虛擬化的技術，應用少量的硬體就可模擬多個測試客戶端以及分散式軟體定義儲存所需的各種角色節點。

本發明之主要目的在於提供一種應用於分散式軟體定義儲存瓶頸監測架構，是包括：一虛擬化資源管理平台，是為接收一中央控制與監測系統之請求，自動佈建測試環境一虛擬客戶端群集進行測試，並另具有一資源調度模組，接收瓶頸診斷模組之需求，調動虛擬化資源管理平台自動增加測試客戶端數目以提升測試壓力或是增加分散式軟體定義儲存特定節點資源；虛擬客戶端群集，是為複數個虛擬客戶端，以接受虛擬化資源管理平台自動佈建測試環境進行測試，其虛擬客戶端，另具有一客戶端量測回報模組，以提供一瓶頸分析系統需接收之資訊；一分散式軟體定義儲存，是具有一複數個角色節點，其各角色節點，是另具有一節點量測回報模組，是以提供瓶頸分析系統需接收之資訊；中央控制與監測系統，是具有瓶頸分析系統，並收集來自虛擬客戶端與分散式軟體定義儲存之狀態資訊，其中瓶頸分析系統，另具有：一數據收集模組，是接收各角色節點之資訊，以收集客戶端 各節點狀態資訊與分散式軟體定義儲存之節點狀態資訊，其中狀態包含分散式軟體定義儲存各節點即時處理器使用率、記憶體使用率、磁碟存取吞吐量、每秒操作次數、特定程序負載以及客戶端反應時間、延遲時間之相關資訊，經過過濾、分析後存放於資料庫內；一瓶頸分析模組，是依據節點增加前後之分散式軟體定義儲存狀態以及測試客戶端狀態建立關聯分析，並將關聯模型結果更新至瓶頸診斷知識庫，其中建立關聯分析，是為統計、瓶頸判斷模型、經驗法則與關聯規則挖掘演算法；一瓶頸診斷知識庫，是為自行記錄學習障礙診斷，以及接收關聯模型結果；一瓶頸診斷模組，是依據瓶頸診斷知識庫即時診斷。

本發明之另一目的在於提供一種應用於分散式軟體定義儲存瓶頸監測方法，其流程包括：步驟1. 給定系統門檻值，開始對分散式軟體定義儲存進行加壓測試；步驟2. 數據收集模組於系統運行過程中持續接收節點狀態以及測試客戶端狀態資訊，經過統計、過濾、分析後存放於資料庫內；步驟3. 中央控制與監測系統監測是否已達給定門檻值；步驟4. 若是，瓶頸診斷知識庫藉此自我學習之機制，令瓶頸診斷更加準確，正確地判定需要增加何種資源節點可以解決效能瓶頸問題；步驟5. 若否，瓶頸診斷模組依據瓶頸診斷知識庫即時診斷是否已經達成效能瓶頸，且同時自我學習，使障礙診斷更為準確；步驟6. 若是，依據瓶頸診斷知識庫立即通知資源調動模 組增加分散式軟體定義儲存特定節點資源；步驟7. 若否，資源調動模組自動增加測試客戶端數目以提升測試壓力；步驟8. 瓶頸分析模組依據節點增加前後之分散式軟體定義儲存狀態以及測試客戶端狀態，經過統計、瓶頸判斷模型、經驗法則與關聯規則挖掘演算法建立關聯分析，關聯模型結果更新至瓶頸診斷知識庫。

其中數據收集模組在系統運行過程中同時持續收集來自測試客戶端以及分散式軟體定義儲存狀態資訊數據回報狀態，其狀態包含分散式軟體定義儲存各節點即時處理器使用率、記憶體使用率、磁碟存取吞吐量、每秒操作次數、特定程序負載以及客戶端反應時間、延遲時間等資訊，經過過濾、分析後存放於資料庫內，瓶頸分析模組依據障礙知識庫即時診斷是否已經達成效能瓶頸，若未達產生瓶頸與所設定之門檻值條件，資源調動模組自動增加測試客戶端數目以提升測試壓力；若偵測達到瓶頸會立即通知資源調動模組增加分散式軟體定義儲存特定節點資源，直至設定門檻值，門檻值可為期望分散式軟體定義儲存能夠承受之客戶端數量、客戶端回應時間、能接受之延遲時間、存取吞吐量、每秒操作次數(Input Output per second，IOPS)或是以上各種條件之組合，瓶頸分析模組進行瓶頸分析時，依據節點增加前後之分散式軟體定義儲存狀態以及測試客戶端狀態，經過統計、瓶頸判斷模型、經驗法則與關聯規則挖掘演算法建立關聯分析，關聯模型結果更新至瓶頸診斷知識庫。

本發明所提供一種應用於分散式軟體定義儲存瓶 頸監測架構及其方法，與其他習用技術相互比較時，更具備下列優點：

1. 本發明於系統運行過程中，瓶頸診斷模組會即時監測客戶端與分散式軟體定義儲存儲存伺服器狀態，即時診斷分散式軟體定義儲存是否達到瓶頸，若未達到所設定之門檻值則依所設定之門檻值條件自動增加測試客戶端數目；若達到瓶頸會自動增加分散式軟體定義儲存特定節點資源，直至系統達到設定之門檻值能力。

2. 本發明資源調動模組增加分散式軟體定義儲存角色節點以及測試客戶端節點後，瓶頸分析模組依據分散式軟體定義儲存角色節點以及測試客戶端增加前及增加後之狀態變化，經過統計、瓶頸判斷模型、經驗法則與關聯規則挖掘演算法建立關聯分析，並將關聯模型結果更新至瓶頸診斷知識庫。瓶頸診斷知識庫能夠透過學習正確地判定需要增加何種資源節點可以解決效能瓶頸問題，達到準確診斷分散式軟體定義儲存瓶頸並給予適當的擴充建議，除了提升分散式軟體定義儲存可靠度進而以更可最小的成本擴充分散式軟體定義儲存能力。

3. 本發明除了擴展客戶端外還能夠擴展待測標的資源，使得代測標的能夠達到符合需求之能力。

110‧‧‧虛擬化資源管理平台

111‧‧‧資源調動模組

120‧‧‧虛擬客戶端群集

121‧‧‧虛擬客戶端

1211‧‧‧客戶端量測回報模組

130‧‧‧分散式軟體定義儲存

131‧‧‧角色結點

1311‧‧‧節點量測回報模組

140‧‧‧中央控制與監測系統

141‧‧‧瓶頸障礙系統

1411‧‧‧數據收集模組

1412‧‧‧瓶頸分析模組

1413‧‧‧瓶頸診斷知識庫

1414‧‧‧瓶頸診斷模組

1415‧‧‧資料庫

S310~S380‧‧‧瓶頸障礙流程

請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容及其目的功效；有關附圖為： 圖1為本發明應用於分散式軟體定義儲存瓶頸監測架構及其方法之架構圖；圖2為本發明應用於分散式軟體定義儲存瓶頸監測架構及其方法之模組圖；圖3為本發明應用於分散式軟體定義儲存瓶頸監測架構及其方法之流程圖。

為了使本發明的目的、技術方案及優點更加清楚明白，下面結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，但並不用於限定本發明。

以下，結合附圖對本發明進一步說明：請參閱圖1、及圖2所示，為本發明應用於分散式軟體定義儲存瓶頸監測架構及其方法之架構圖及模組圖，其中包括：一虛擬化資源管理平台110，是為接收一中央控制與監測系統140之請求，自動佈建測試環境一虛擬客戶端群集120進行測試，並另具有一資源調度模組111，接收瓶頸診斷模組1414之需求，調動虛擬化資源管理平台110自動增加測試客戶端數目以提升測試壓力或是增加分散式軟體定義儲存130特定節點資源；虛擬客戶端群集120，是為複數個虛擬客戶端121，以接受虛擬化資源管理平台110自動佈建測試環境進行測試，其虛擬客戶端121，另具有一客戶端量測回報模組1211，以提供一瓶頸分析系統141需接收之資訊；一分散式軟體定義儲存130，是具有一複數個角色節點131，其各角色節點131，是另具有一節點量測回報模組1311，是以提供瓶頸分析系統141需接收之資訊；中央控制與監測系統140，是 具有瓶頸分析系統141，並收集來自虛擬客戶端121與分散式軟體定義儲存130之狀態資訊，其中瓶頸分析系統141，另具有：一數據收集模組1411，是接收各角色節點131之資訊，以收集客戶端各節點狀態資訊與分散式軟體定義儲存130之節點狀態資訊，其中狀態包含分散式軟體定義儲存130各節點即時處理器使用率、記憶體使用率、磁碟存取吞吐量、每秒操作次數、特定程序負載以及客戶端反應時間、延遲時間之相關資訊，經過過濾、分析後存放於資料庫1415內；一瓶頸分析模組1412，是依據各節點增加前後之分散式軟體定義儲存130狀態以及測試客戶端狀態建立關聯分析，並將關聯模型結果更新至瓶頸診斷知識庫1413，其中建立關聯分析，是為統計、瓶頸判斷模型、經驗法則與關聯規則挖掘演算法；一瓶頸診斷知識庫1413，是為自行記錄學習障礙診斷，以及接收關聯模型結果；一瓶頸診斷模組1414，是依據瓶頸診斷知識庫1413即時診斷，並依瓶頸診斷知識庫即時診斷分散式軟體定義儲存130是否有節點達到瓶頸，測試期間若未達到所設定之門檻值，其門檻值為期望分散式軟體定義儲存130能夠承受之客戶端數量、客戶端回應時間、能接受之延遲時間、存取吞吐量、每秒操作次數(Input Output per second，IOPS)之數據，資源調動模組111將依所設定之門檻值條件自動增加測試客戶端數目以提升測試壓力；若瓶頸診斷模組1414偵測到瓶頸會立即回報瓶頸分析模組1412並通知資源調動模組111增加分散式軟體定義儲存130特定節點資源(橫向擴展或縱向擴展)，瓶頸分析模組1412依據分散式軟體定義儲存130角色節點以及測試客戶端增加前及增加後之狀態變化，經過統計、瓶頸判斷模型、經驗法則與關聯規則挖掘演算法建立 關聯分析，將關聯模型結果更新至瓶頸診斷知識庫1413。

請參閱圖3所示，為本發明應用於分散式軟體定義儲存瓶頸監測架構及其方法之流程圖，其流程包括：S310給定系統門檻值，開始對分散式軟體定義儲存進行加壓測試；S320數據收集模組於系統運行過程中持續接收節點狀態以及測試客戶端狀態資訊，經過統計、過濾、分析後存放於資料庫內；S330中央控制與監測系統監測是否已達給定門檻值；若是，S380瓶頸診斷知識庫藉此自我學習之機制，令瓶頸診斷更加準確，正確地判定需要增加何種資源節點可以解決效能瓶頸問題；若否，S340瓶頸診斷模組依據瓶頸診斷知識庫即時診斷是否已經達成效能瓶頸；若是，S360依據瓶頸診斷知識庫立即通知資源調動模組增加分散式軟體定義儲存特定節點資源；若否，S350資源調動模組自動增加測試客戶端數目以提升測試壓力；S370瓶頸分析模組依據節點增加前後之分散式軟體定義儲存狀態以及測試客戶端狀態，經過統計、瓶頸判斷模型、經驗法則與關聯規則挖掘演算法建立關聯分析，關聯模型結果更新至瓶頸診斷知識庫。

由上述步驟可知，給定系統門檻值，開始對分散式軟體定義儲存儲存系統進行加壓測試，分散式軟體定義儲存儲存系統內存在多個角色節點，角色節點常駐節點量測回報模組回傳角色節點狀態予數據收集模組，客戶端量測回報 模組回傳即時虛擬客戶端之狀態與測試資訊予數據收集模組數據收集模組於系統運行過程中持續接收分散式軟體定義儲存儲存伺服器以及虛擬客戶端狀態資訊，經過統計、過濾、分析後存放於資料庫，中央控制與監測系統監測是否已達給定門檻值，其中門檻值為期望分散式軟體定義儲存能夠承受之客戶端數量、客戶端回應時間、能接受之延遲時間、存取吞吐量、每秒操作次數(Input Output per second，IOPS)之數據瓶頸診斷模組依據瓶頸診斷知識庫，即時診斷是否已經達成效能瓶頸，同時自我學習，使障礙診斷更為準確，未達產生瓶頸與所設定之門檻值條件，瓶頸診斷模組通知資源調動模組自動增加測試客戶端數目以提升測試壓力，未達所設定之門檻值條件且瓶頸診斷模組偵測具有瓶頸，瓶頸診斷模組立即通知資源調動模組增加分散式軟體定義儲存特定節點資源，瓶頸分析模組依據節點增加前後之分散式軟體定義儲存角色節點狀態以及測試客戶端狀態，經過統計、瓶頸判斷模型、經驗法則與關聯規則挖掘演算法建立關聯分析，關聯模型結果更新至瓶頸診斷知識庫，測試直至達到設定門檻值，瓶頸診斷知識庫藉此自我學習之機制，令瓶頸診斷更加準確，正確地判定需要增加何種資源節點可以解決效能瓶頸問題。

上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。

110‧‧‧虛擬化資源管理平台

111‧‧‧資源調動模組

120‧‧‧虛擬客戶端群集

121‧‧‧虛擬客戶端

130‧‧‧分散式軟體定義儲存

131‧‧‧角色結點

140‧‧‧中央控制與監測系統

141‧‧‧瓶頸障礙系統

Claims (7)

1. 一種應用於分散式軟體定義儲存瓶頸監測架構，係包括：一虛擬化資源管理平台，係為接收一中央控制與監測系統之請求，自動佈建測試環境一虛擬客戶端群集進行測試，並另具有一資源調度模組，其該資源調度模組，係執行於該虛擬化資源管理平台上，並接收該瓶頸診斷模組之需求，調動虛擬化資源管理平台自動增加測試客戶端數目以提升測試壓力或是增加分散式軟體定義儲存特定節點資源；該虛擬客戶端群集，係為複數個虛擬客戶端，以接受該虛擬化資源管理平台自動佈建測試環境進行測試，其該虛擬客戶端，另具有一客戶端量測回報模組，以提供一瓶頸分析系統需接收之資訊；一分散式軟體定義儲存，係具有一複數個角色節點，其各該角色節點，係另具有一節點量測回報模組，係以提供瓶頸分析系統需接收之資訊；該中央控制與監測系統，係具有該瓶頸分析系統，並收集來自該虛擬客戶端與該分散式軟體定義儲存之狀態資訊。
2. 如申請專利範圍第1項所述之應用於分散式軟體定義儲存瓶頸監測架構，其中該瓶頸分析系統，係另具有：一數據收集模組，係接收各角色節點之資訊，以收集該客戶端各節點狀態資訊與該分散式軟體定義儲存之節點狀態資訊，其中該狀態包含該分散式軟體定義儲存各節點即時處理器使用率、記憶體使用率、磁碟存取吞吐量、每秒操作次數、特定程序負載以及客戶端反應時間、 延遲時間之相關資訊，經過過濾、分析後存放於資料庫內；一瓶頸分析模組，係依據節點增加前後之該分散式軟體定義儲存狀態以及測試客戶端狀態建立關聯分析，關聯模型結果更新至瓶頸診斷知識庫；一該瓶頸診斷知識庫，係為自行記錄學習障礙診斷，以及接收該關聯模型結果；一瓶頸診斷模組，係依據該瓶頸診斷知識庫即時診斷。
3. 如申請專利範圍第2項所述之應用於分散式軟體定義儲存瓶頸監測架構，其中該建立關聯分析，係為統計、瓶頸判斷模型、經驗法則與關聯規則挖掘演算法。
4. 一種應用於分散式軟體定義儲存瓶頸監測方法，其流程包括：給定系統門檻值，開始對分散式軟體定義儲存進行加壓測試；數據收集模組於系統運行過程中持續接收節點狀態以及測試客戶端狀態資訊，經過統計、過濾、分析後存放於資料庫內；中央控制與監測系統監測是否已達給定門檻值；若是，瓶頸診斷知識庫藉此自我學習之機制，令瓶頸診斷更加準確，正確地判定需要增加何種資源節點可以解決效能瓶頸問題；若否，瓶頸診斷模組依據瓶頸診斷知識庫即時診斷是否已經達成效能瓶頸；若是，依據瓶頸診斷知識庫立即通知資源調動模組增加分散式軟體定義儲存特定節點資源； 若否，資源調動模組自動增加測試客戶端數目以提升測試壓力；瓶頸分析模組依據節點增加前後之分散式軟體定義儲存狀態以及測試客戶端狀態，經過統計、瓶頸判斷模型、經驗法則與關聯規則挖掘演算法建立關聯分析，關聯模型結果更新至瓶頸診斷知識庫。
5. 如申請專利範圍第4項所述之應用於分散式軟體定義儲存瓶頸監測方法，其中該瓶頸診斷知識庫，係同時自我學習，使障礙診斷更為準確。
6. 如申請專利範圍第4項所述之應用於分散式軟體定義儲存瓶頸監測方法，其中該瓶頸診斷模組，係依據瓶頸診斷知識庫即時診斷是否已經達成效能瓶頸，若未達產生瓶頸與所設定之門檻值條件，資源調動模組自動增加測試客戶端數目以提升測試壓力，若偵測達到瓶頸會立即通知資源調動模組增加該分散式軟體定義儲存特定節點資源，直至設定門檻值。
7. 如申請專利範圍第4項所述之應用於分散式軟體定義儲存瓶頸監測方法，其中該門檻值，係為期望分散式軟體定義儲存能夠承受之客戶端數量、客戶端回應時間、能接受之延遲時間、存取吞吐量、每秒操作次數(Input Output per second，IOPS)之數據。