TWI732163B

TWI732163B - 應用於分散式軟體儲存系統之部署與效能檢測之系統及其方法

Info

Publication number: TWI732163B
Application number: TW107144535A
Authority: TW
Inventors: 鄭廷軒; 許順興
Original assignee: 中華電信股份有限公司
Priority date: 2018-12-11
Filing date: 2018-12-11
Publication date: 2021-07-01
Also published as: TW202022609A

Abstract

本發明關於一種應用於分散式軟體儲存系統之部署與效能檢測之系統及其方法。該系統包括一自動部署模組與一效能檢測模組。自動部署模組包含硬體設備效能檢測單元，係對該分散式軟體儲存系統的每個節點進行硬體效能與可用性測試；自動部署單元，係對該分散式軟體儲存系統的每個節點進行自動部署；及儲存服務自動化效能調校單元，係將該硬體效能與可用性測試數據計算出適當的調校數值，以自動地調校服務至最佳配置。效能檢測模組係包含使用者界面(UI)檢測部署單元，提供儲存服務檢測功能與部署功能於該每個節點。

Description

應用於分散式軟體儲存系統之部署與效能檢測之系統及其方法

本發明係關於一種軟體系統之部署與效能檢測技術，尤指一種應用於分散式軟體儲存系統之部署與效能檢測之系統及其方法。

面對巨量資料時代的來臨，企業現有的IT基礎架構已無法支撐如此的使用情境與規模。為因應新興應用及提升公司競爭力，採用新世代的雲端及儲存架構勢在必行。

分散式檔案系統在近年來廣受討論與研究，它具備高效能、高容錯、高可靠、高可用與高擴充的特性，且除了將資料分散的儲存在資料節點外，每個節點同時也具備分散式計算的能力。所以原本只能在單一主機處理的程式邏輯與資料處理，可以分散到數以萬計的大量計算節點上運行處理，等每個節點計算出結果後，再將處理完成的個別結果結合起來，產生最終的結果。這種運作方式有效率的節省了資料存取與計算的排隊時間，提升了處理效能。

然而，服務的配置通常都是由維運人員操作終端進行配置，但若是配置錯誤但又已經部署，事後必須至每台設備重新配置，維運成本極高。因此，如何提供至少可解決上述問題之一種應用於分散式軟體儲存系統之部署與效能檢測之系統及其方法，成為許多系統開發商的重要課題。

為解決至少上述問題，本案提供一種應用於分散式軟體儲存系統之部署與效能檢測系統，係包括一自動部署模組，係包含：硬體設備效能檢測單元，係對該分散式軟體儲存系統的每個節點進行硬體效能與可用性測試，以取得硬體效能與可用性測試數據；自動部署單元，係對該分散式軟體儲存系統的每個節點進行自動部署；及儲存服務自動化效能調校單元，係將該硬體效能與可用性測試數據計算出適當的調校數值，以根據該自動部署與該適當的調校數值自動地調校該分散式軟體儲存系統之服務至最佳配置；以及一效能檢測模組，係包含：使用者界面(UI)檢測部署單元，係提供儲存服務檢測功能與部署功能於該每個節點。

本案復提供一種應用於分散式軟體儲存系統之部署與效能檢測方法，係包括：利用硬體設備效能檢測單元進行各節點的硬體效能與可用性測試；利用自動部署單元進行自動部署；利用儲存服務自動化效能調校單元針對硬碟的效能測試報告進行效能調校；利用儲存服務自動化效能調校單元對該分散式軟體儲存系統進行可用性測試與效能測試；以及利用儲存服務自動化效能調校單元產出效能測試報表。

在前述之應用於分散式軟體儲存系統之部署與效能檢測之系統及其方法中，復包括接收一告警訊息的部署告警單元。

在前述之應用於分散式軟體儲存系統之部署與效能檢測之系統及其方法中，復包括互動式效能調校單元，係提供使用者界面(UI)以進行該分散式軟體儲存系統的效能調校。

在前述之應用於分散式軟體儲存系統之部署與效能檢測之系統及其方法中，復包括監控與告警單元，係即時監控該分散式軟體儲存系統的狀態。

由上可知，本發明之應用於分散式軟體儲存系統之部署與效能檢測之系統及其方法，於系統部署前，將效能測試腳本送至各個儲存節點，每個儲存節點同時進行效能測試，此方法不但能減少測試所花費的成本，亦能加速測試流程的進行，再透過各個節點硬體效能測試模組蒐集硬體的效能測試數據，儲存自動部署模組會進行自動化的效能調校與部署，自動部署模組於部署後進行自動化物件儲存、區塊儲存與檔案系統儲存的配置、可用性測試與效能測試，為了能加大客戶端流量，效能檢測模組能夠同時控制多個節點進行儲存服務的效能測試，藉此取得儲存服務的效能瓶頸。

此外，本發明提供使用者界面(UI)檢測部署單元，提供分散式軟體儲存系統的維運與監控相關功能，維運人員能夠透過使用者界面(UI)操作所有模組，且能夠一鍵執行所有測試，並產出相關測試報表於使用者界面(UI)供維運人員分析與查測。

另外，本發明可透過硬體設備效能測試的數值進行效能調校的配置，並透過使用者界面(UI)進行儲存服務的基本配置，利用使用者界面(UI)的表單規範維運人員配置數值，藉此減少人為疏失。如此不但能針對各式儲存需求進行模擬壓力測試，維運人員亦可於壓力測試之期間進行手動調校系統配置，並於系統提供的監控畫面進行觀察，如此更符合使用者需求的效能調校與配置。

10‧‧‧分散式軟體儲存系統

110‧‧‧節點

20‧‧‧自動部署模組

210‧‧‧硬體設備效能檢測單元

215‧‧‧自動部署單元

220‧‧‧儲存服務自動化效能調校單元

30‧‧‧效能檢測模組

310‧‧‧使用者界面(UI)檢測部署單元

320‧‧‧部署告警單元

330‧‧‧互動式效能調校單元

340‧‧‧監控與告警單元

S1~S5‧‧‧步驟

本案揭露之具體實施例將搭配下列圖式詳述，這些說明顯示在下列圖式：第1圖為本發明應用於分散式軟體儲存系統之部署與效能檢測之系統架構示意圖。

第2圖為本發明應用於分散式軟體儲存系統之部署與效能檢測方法之流程圖。

以下藉由特定的具體實施例說明本發明之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。

須知，本說明書所附圖式所繪示之結構、比例、大小等，均僅用以配合說明書所揭示之內容，以供熟悉此技藝之人士之瞭解與閱讀，並非用以限定本發明可實施之限定條件，故不具技術上之實質意義，任何結構之修飾、比例關係之改變或大小之調整，在不影響本發明所能產生之功效及所能達成之目的下，均應仍落在本發明所揭示之技術內容得能涵蓋之範圍內。同時，本說明書中所引用之如「前」、「後」及「一」等之用語，亦僅為便於敘述之明瞭，而非用以限定本發明可實施之範圍，其相對關係之改變或調整，在無實質變更技術內容下，當視為本發明可實施之範疇。

請參照第1圖，為本發明應用於分散式軟體儲存系統之部署與效能檢測之系統架構示意圖。

如第1圖所示，該應用於分散式軟體儲存系統之部署與效能檢測之系統包括一自動部署模組20與一效能檢測模組30。效能檢測模組30發出請求至自動部署模組20進行自動化部署流程。自動部署模組20會先對分散式軟體儲存系統10的每個節點110進行自動部署。

自動部署模組20包括硬體設備效能檢測單元210、自動部署單元215與儲存服務自動化效能調校單元220。硬體設備效能檢測單元210係對該分散式軟體儲存系統10的每個節點110進行硬體效能與可用性測試。自動部署單元215係對該分散式軟體儲存系統的每個節點進行自動部署。儲存服務自動化效能調校單元220係將該硬體效能與可用性測試數據計算出適當的調校數值，以自動地調校服務至最佳配置。

舉例而言，維運人員於使用者界面(UI)驅動自動化部署或是儲存服務檢測，自動部署模組20接收到使用者界面 (UI)的指令，硬體設備效能檢測單元210開始進行儲存系統各節點的硬體效能與可用性測試，確認硬體可用性測試是否異常，若是異常則透過使用者界面(UI)告警維運人員進行硬體更換或是修復。

自動部署單元215可減少建置成本。此功能能夠於其中一個節點作為部署節點，且為了要增加部署分散式儲存的效率，部署節點會以多執行序的方式同時連線至每個服務節點進行部署。部署期間所需要的套件檔案皆從部署節點抓取，以做到離線安裝。因部署節點在部署中會不斷地跟各個節點溝通，所以若是某個節點部署期間發生問題可以馬上讓部署節點知道，並提供告警給維運人員處理。

接著針對硬碟的效能測試報告進行效能調校，儲存服務自動化效能調校單元220儲存服務自動化效能調校功能，使之能夠智慧化地將硬碟效能測試數據計算出適當的調校數值，並自動地調校服務至最佳配置。

儲存服務自動化效能調校單元220亦會對部署完成的分散式軟體儲存系統10進行可用性測試。儲存服務自動化效能調校單元220可於短時間內將多個檔案存進儲存服務中，最後再將檔案取出確認檔案是否有損毀。若確認儲存服務能否正常存取或是檔案存入取出後有無損毀後，若是有異常即觸發服務異常告警，透過使用者界面(UI)告警維運人員進行修復。

儲存服務自動化效能調校單元220亦會對儲存服務進行效能測試，包含區塊儲存、物件儲存與檔案系統儲存。測試完成後，儲存服務自動化效能調校單元220可將效能測試報表產出於使用者界面(UI)畫面，以提供維運人員參考，並完成自動化部署流程。

效能檢測模組30包括使用者界面(UI)檢測部署單元310、部署告警單元320、互動式效能調校單元330與監控與告警單元340。使用者界面(UI)檢測部署單元310係提供儲存服務檢測功能與部署功能於該每個節點110。部署告警單元320係接收一告警訊息。互動式效能調校單元330係提供使用者界面(UI)以進行該分散式軟體儲存系統10的效能調校。監控與告警單元340係即時監控該分散式軟體儲存系統10的狀態。

舉例而言，使用者界面(UI)檢測部署單元310提供了儲存服務檢測功能與部署功能，使維運人員能夠一鍵執行自動化部署模組。部署告警單元320能夠在部署時持續接收自動化部署模組的告警訊息，當收到告警時，部署告警單元320會暫停部署，並提示維運人員檢查硬體狀況或是儲存服務的狀態。換言之，部署過程若遇硬碟效能偏低、硬碟壞軌、網路設定錯誤等等都會透過部署告警單元320發出告警，維運人員即可立即處理。

互動式效能調校單元330提供使用者界面(UI)供維運人員進行分散式軟體儲存系統10的效能調校，維運人員能夠透過互動式效能調校單元330對儲存服務進行壓力測試，在壓力測試時，同時透過監控功能觀察服務的壓力狀態，再進行調校，以觀察校能調校造成儲存服務系統的影響。換言之，互動式效能調校單元330可根據儲存服務需求進行效能調校，維運人員能夠於使用者界面(UI)調整校能調校數值，且同時進行壓力測試，藉此維運人員再觀察監控數值，調校數值的設定以產生變動。

監控與告警單元340能夠即時監控儲存服務的狀態，不但能從監控系統中取得儲存服務的監控數值，也能夠監控伺服器硬體狀態，並將數值圖表化工維運人員使用，且維運人員能夠根據不同標的設定告警值。換言之，監控與告警單元340能夠提供維運人員設定監控指標的告警值，在儲存服務效能不足時能夠第一時間接收到告警，並進行對應的處理。

如第2圖應用於分散式軟體儲存系統之部署與效能檢測方法之流程圖所示，本發明復提供一種應用於分散式軟體儲存系統之部署與效能檢測方法。

該方法係包括：

在步驟S1中，利用硬體設備效能檢測單元210進行各節點110的硬體效能與可用性測試。

在步驟S2中，利用自動部署單元215進行自動部署。

在步驟S3中，利用儲存服務自動化效能調校單元220針對硬碟的效能測試報告進行效能調校。

在步驟S4中，利用儲存服務自動化效能調校單元220對該分散式軟體儲存系統進行可用性測試與效能測試。

在步驟S5中，利用儲存服務自動化效能調校單元220產出效能測試報表。

綜上所述，本發明之應用於分散式軟體儲存系統之部署與效能檢測之系統及其方法，於系統部署前，將效能測試腳本送至各個儲存節點，每個儲存節點同時進行效能測試，此方法不但能減少測試所花費的成本，亦能加速測試流程的進行，再透過各個節點硬體效能測試模組蒐集硬體的效能測試數據，儲存自動部署模組會進行自動化的效能調校與部署，自動部署模組於部署後進行自動化物件儲存、區塊儲存與檔案系統儲存的配置、可用性測試與效能測試，為了能加大客戶端流量，效能檢測模組能夠同時控制多個節點進行儲存服務的效能測試，藉此取得儲存服務的效能瓶頸。

此外，本發明提供使用者界面(UI)檢測部署單元，提供分散式軟體儲存系統的維運與監控相關功能，維運人員能夠透過使用者界面(UI)操作所有模組，使用硬體設備效能檢測單元時，能夠一鍵執行所有測試，並產出相關測試報表於使用者界面(UI)供維運人員分析與查測。

上述實施例係用以例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施例進行修改。因此本發明之權利保護範圍，應如後述之申請專利範圍所列。