TWI774529B

TWI774529B - 雲化系統效能評估方法及系統

Info

Publication number: TWI774529B
Application number: TW110131104A
Authority: TW
Inventors: 李耕肇
Original assignee: 中華電信股份有限公司
Priority date: 2021-08-23
Filing date: 2021-08-23
Publication date: 2022-08-11
Also published as: TW202310586A

Abstract

本發明提供一種雲化系統效能評估方法及系統。所述方法包括：測量雲化受測系統在基準環境中的多個第一效能數據；取得基準環境與目標環境的部署實例變化量，並據以估算雲化共用資源效能變化量；量測多個系統效能變化量及外部實體環境變化量；基於部署實例變化量、雲化共用資源效能變化量、所述多個系統效能變化量及外部實體環境變化量將所述多個第一效能數據修正為雲化受測系統在目標環境中的多個第二效能數據。

Description

雲化系統效能評估方法及系統

本發明是有關於一種效能評估方法及系統，且特別是有關於一種雲化系統效能評估方法及系統。

資訊系統微服務化(microservice)或雲化(cloud-based)已是近年應用程式發展的演進趨勢，但雲化應用程式運行的效能常受位於同一雲端系統相鄰應用程式運作情況、部署數量以及共用資源使用狀況影響，甚至雲端系統底層系統架構或組件的差異亦會造成其上的應用程式有不同的效能表現分布。

一般而言，當需對某個目標進行效能測試時，需直接對受檢目標進行效能檢驗，並建立此目標的系統效能基準。然而，在雲端系統部署建置實務上，由於時常面臨頻繁系統調整、底層設備與其他雲化系統或微服務共用的狀況，導致系統效能基準常處於變動狀態且需反覆針對各項基準變動進行效能測試才可取得效能分布數據，進而拉長後續系統擴充、資源調度以及系統服務正式上線的時間。

有鑑於此，本發明提供一種雲化系統效能評估方法及系統，其可用於解決上述技術問題。

本發明提供一種雲化系統效能評估方法，適於一雲化系統效能評估系統，包括：測量一雲化受測系統在一基準環境中因應於多個實例-檢測壓力量組合所產生的多個第一效能數據；取得基準環境與一目標環境的一部署實例變化量，並據以估算一雲化共用資源效能變化量；量測自基準環境改變為目標環境所導致的多個系統效能變化量；估計自基準環境改變為目標環境所導致的一外部實體環境變化量；基於部署實例變化量、雲化共用資源效能變化量、所述多個系統效能變化量及外部實體環境變化量將所述多個第一效能數據修正為雲化受測系統在目標環境中的多個第二效能數據，且所述多個第二效能數據對應於所述多個實例-檢測壓力量組合。

本發明提供一種雲化系統效能評估系統，包括儲存電路及處理器。儲存電路儲存一程式碼。處理器耦接儲存電路，存取程式碼以執行：測量一雲化受測系統在一基準環境中因應於多個實例-檢測壓力量組合所產生的多個第一效能數據；取得基準環境與一目標環境的一部署實例變化量，並據以估算一雲化共用資源效能變化量；量測自基準環境改變為目標環境所導致的多個系統效能變化量；估計自基準環境改變為目標環境所導致的一外部實體環境變化量；基於部署實例變化量、雲化共用資源效能變化量、所述多個系統效能變化量及外部實體環境變化量將所述多個第一效能數據修正為雲化受測系統在目標環境中的多個第二效能數據，且所述多個第二效能數據對應於所述多個實例-檢測壓力量組合。

請參照圖1，其是依據本發明之一實施例繪示的雲化系統效能評估系統的示意圖。在不同的實施例中，雲化系統效能評估系統100可實現為各式電腦裝置及/或智慧型裝置，但可不限於此。

如圖1所示，雲化系統效能評估系統100可包括儲存電路102及處理器104。儲存電路102例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合，而可用以記錄多個程式碼或模組。

處理器104耦接於儲存電路102，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。

在本發明的實施例中，處理器104可存取儲存電路102中記錄的模組、程式碼來實現本發明提出的雲化系統效能評估方法，其細節詳述如下。

請參照圖2，其是依據本發明之一實施例繪示的雲化系統效能評估方法流程圖。本實施例的方法可由圖1的雲化系統效能評估系統100執行，以下即搭配圖1所示的元件說明圖2各步驟的細節。

首先，在步驟S210中，處理器104可測量雲化受測系統在基準環境中因應於多個實例-檢測壓力量組合所產生的多個第一效能數據。

在本發明的實施例中，某個特定數量的實例與某個特定數量的檢測壓力量所形成的組合可稱為一個實例-檢測壓力量組合，而處理器104可讓上述雲化受測系統實際地基於不同的實例數量及檢測壓力量而運行於上述基準環境中，藉以取得對應於不同實例-檢測壓力量組合的上述第一效能數據。

在一實施例中，上述實例可以是微服務實例，而檢測壓力量可以是所述雲化受測系統所接收的呼叫量，但可不限於此。舉例而言，假設所述雲化受測系統為一氣象資訊提供系統，而當處理器104對此系統施以x個呼叫量（例如是使用者存取氣象資訊的請求）時，此時的檢測壓力量即為x，但可不限於此。

為便於說明，本發明實施例中係以

表示對應於n個實例及x個檢測壓力量的實例-檢測壓力量組合的第一效能數據，但可不限於此。

在一實施例中，所取得的對應於不同實例-檢測壓力量組合的第一效能數據例如可具有下表1所記載的形式，但可不限於此。

	x
20	40	60	80	100	120	160	…
n	2	P(20,2)	P(40,2)	P(60,2)	P(80,2)	P(100,2)	P(120,2)	P(160,2)	…
4	P(20,4)	P(40,4)	P(60,4)	P(80,4)	P(100,4)	P(120,4)	P(160,4)	…
…	…	…	…	…	…	…	…	…

表1

在一實施例中，在取得表1中的各數值之後，處理器104可接續執行步驟S220~S250，以續行雲化受測系統運行於目標環境中效能數據的估算。

在其他實施例中，處理器104也可先對表1內容進行一定程度的篩選，以提升後續估算目標環境的相關效能數據的效率。舉例而言，處理器104例如可將表1中未滿足效能需求的一部分第一效能數據移除。

在一實施例中，處理器104例如可將表1中最大回應時間大於5秒或是數值小於33.6的一部分第一效能數據移除，但可不限於此。經篩選，表1的內容可相應地被調整為如下表2所例示的內容。另，表2中各第一效能數據的實際數值可如表3所例示。

	x
40	60	80	100	120	160
n	2	P(40,2)	P(60,2)
4	P(40,4)	P(60,4)	P(80,4)
8		P(60,8)	P(80,8)	P(100,8)
16				P(100,16)	P(120,16)	P(160,16)

表2

	x
40	60	80	100	120	160
n	2	39.894	33.693
4	68.358	61.172
8		82.762	118.762	128.828
16				225.737	211.34	237.721

表3

在表2及表3中，被移除的部分係以空格表示，而非空格的部分即代表其為被保留下來的第一效能數據，但可不限於此。

在取得如表1或表3所例示的各個第一效能數據之後，處理器104可接續執行步驟S220，以取得基準環境與目標環境的部署實例變化量，並據以估算雲化共用資源效能變化量。在一實施例中，當基準環境中的第一實例部署數量為

（其為正整數），且目標環境中的第二實例部署數量為

（其為正整數）時，上述部署實例變化量可表徵為

，但可不限於此。

另外，在一實施例中，雲化共用資源效能變化量可表徵為

，亦即其為部署實例變化量的函數，且此函數的具體運算內容可依設計者依所考慮的雲化受測系統而設定。在一實施例中，

例如是介於0與1之間的實數，且其數值可負相關於部署實例變化量，亦即，部署實例變化量越大，雲化共用資源效能變化量即越小，反之亦反，但可不限於此。

具體而言，一個雲化系統在多個實例同時運行下，會運用同一運行架構下的共同資源。當部署實例變化量越大時，即代表在目標環境中有越多個實例同時運行，因而使得共用資源的程度加遽。在此情況下，雲化共用資源效能變化量將會下修，以反映此情形，而下修的方式可依個別雲化系統的運行邏輯而有所差異。

接著，在步驟S230中，處理器104可量測自基準環境改變為目標環境所導致的多個系統效能變化量。在一實施例中，處理器104可量測特定系統效能在基準環境中的第一效能值，並量測此特定系統效能在目標環境中的第二效能值。之後，處理器104可以第二效能值除以第一效能值以取得上述系統效能變化量的其中之一，但可不限於此。

在不同的實施例中，上述特定系統效能例如是中介軟體效能、系統負載、作業系統效能、儲存設備存取效能、記憶體效能、處理器效能及網路效能的其中之一，但可不限於此。

在第一實施例中，假設所考慮的特定系統效能為中介軟體效能，則處理器104可量測一第一中介軟體在基準環境中的第一效能值，以及量測一第二中介軟體在目標環境中的第二效能值，並據以估計對應的系統效能變化量（亦可稱為中介軟體效能變化量）。

在一實施例中，上述第一中介軟體及第二中介軟體個別可以是openshift 3.0、openshift 4.0及docker 1.7的其中之一。在另一實施例中，上述第一中介軟體及第二中介軟體個別可以是Tomcat 8、Jboss 7及Wildfly 20的其中之一，但可不限於此。

在第二實施例中，假設所考慮的特定系統效能為系統負載，則處理器104可量測當雲化受測系統運行於基準環境中時對應的背景程式負載量（例如是40%），並量測當雲化受測系統運行於目標環境中時對應的背景程式負載量（例如是45%），並據以估計對應的系統效能變化量（亦可稱為系統負載變化量），但可不限於此。

在第三實施例中，假設所考慮的特定系統效能為作業系統效能，則處理器104可量測當雲化受測系統運行於採用第一作業系統的基準環境中時的第一作業系統效能作為第一效能值，並量測當雲化受測系統運行於採用第二作業系統的目標環境中時的第二作業系統效能作為第二效能值，，並據以估計對應的系統效能變化量（亦可稱為作業系統效能變化量），但可不限於此。

在一實施例中，第一作業系統及第二作業系統分別例如是win7及win10。在一實施例中，第一作業系統及第二作業系統分別例如是win10 1809及win10 2004。在一實施例中，第一作業系統及第二作業系統分別例如是win10 2004、centOS7 2003及ubuntu 20.04LTS的其中之二，但可不限於此。

在第四實施例中，假設所考慮的特定系統效能為儲存設備存取效能，則處理器104可量測當雲化受測系統運行於基準環境中時對應的儲存設備存取效能，並量測當雲化受測系統運行於目標環境中時對應的儲存設備存取效能，並據以估計對應的系統效能變化量（亦可稱為儲存設備存取效能變化量），但可不限於此。

在第五實施例中，假設所考慮的特定系統效能為記憶體效能，則處理器104可量測當雲化受測系統運行於基準環境中時對應的記憶體效能，並量測當雲化受測系統運行於目標環境中時對應的記憶體效能，並據以估計對應的系統效能變化量（亦可稱為記憶體效能變化量），但可不限於此。

在第六實施例中，假設所考慮的特定系統效能為處理器效能，則處理器104可量測當雲化受測系統運行於基準環境中時對應的處理器效能，並量測當雲化受測系統運行於目標環境中時對應的處理器效能，並據以估計對應的系統效能變化量（亦可稱為處理器效能變化量），但可不限於此。

在第七實施例中，假設所考慮的特定系統效能為網路效能，則處理器104可量測當雲化受測系統運行於基準環境中時對應的網路效能，並量測當雲化受測系統運行於目標環境中時對應的網路效能，並據以估計對應的系統效能變化量（亦可稱為網路效能變化量），但可不限於此。

之後，在步驟S240中，處理器104可估計自基準環境改變為目標環境所導致的外部實體環境變化量。在一實施例中，處理器104可基於在基準環境中的一或多個環境參數（例如溫度、溼度及電力設備穩定度）估計對應於基準環境的第一環境分數，其中當上述環境參數越理想時，對應的第一環境分數越高，但不限於此。相似地，處理器104可基於在目標環境中的上述環境參數估計對應於目標環境的第二環境分數，並以第二環境分數除以第一環境分數以取得外部實體環境變化量（以E表示），但可不限於此。在此情況下，當外部實體環境變化量大於1時，即代表目標環境的外部實體環境優於基準環境，而當外部實體環境變化量小於1時，即代表目標環境的外部實體環境劣於基準環境，但可不限於此。

在其他實施例中，步驟S220~S240的順序可依設計者的需求而任意調整，或是同時執行，並不限於圖2所示順序。

之後，在步驟S250中，處理器104可基於部署實例變化量（

）、雲化共用資源效能變化量（

）、所述多個系統效能變化量及外部實體環境變化量（E）將所述多個第一效能數據修正為雲化受測系統在目標環境中的多個第二效能數據。

為便於說明，本發明實施例中係以

表示對應於n個實例及x個檢測壓力量的實例-檢測壓力量組合的第二效能數據，但可不限於此。在一實施例中，

，其中

為上述系統效能變化量的函數。舉例而言，處理器104例如可將所考慮的各個系統效能變化量相乘或進行任何線性/非線性組合來計算

，但可不限於此。

在一實施例中，在執行步驟S220以取得

及

之後，處理器104可先基於表1或表3的內容計算對應的

。為便於說明，以下暫以表3為例，但可不限於此。

在一實施例中，處理器104例如可對表3中的各個

乘以

及

，以取得對應的

，如下表4所例示，而表4中各個

的數值可如表5所例示。

	x
40	60	80	100	120	160
n	2	P’’(40,2)	P’’(60,2)
4	P’’(40,4)	P’’(60,4)
8		P’’(60,8)	P’’(80,8)	P’’(100,8)
16				P’’(100,16)	P’’(120,16)	P’’(160,16)

表4

	X
40	60	80	100	120	160
n	2	33.3809	32.4663
4	71.2345	74.2363
8		77.1709	97.3863	113.6336
16				157.1491	166.9845	171.7373

表5

之後，處理器104可再對表5中的各個

乘以

（例如是1.1）及

（例如是1）。以取得對應的

，如下表6所例示，

	x
40	60	80	100	120	160
n	2	36.719	35.713
4	78.358	81.66
8		84.888	107.125	124.997
16				172.864	183.683	188.911

表6

由上可知，當需估計雲化受測系統在目標環境中的多個第二效能數據時，處理器104僅需在取得基準環境的各個第一效能數據之後，基於目標環境與基準環境之間的部署實例變化量、雲化共用資源效能變化量、系統效能變化量及外部實體環境變化量即可將上述第一效能數據修正為對應於目標環境的第二效能數據。

此外，基於相似原理，當需估計雲化受測系統在另一目標環境中的各個效能數據（下稱第三效能數據）時，處理器104可基於所述另一目標環境與基準環境之間的部署實例變化量、雲化共用資源效能變化量、系統效能變化量及外部實體環境變化量即可將上述第一效能數據修正為對應於所述另一目標環境的第三效能數據。由此可知，本發明的方法可在不需對其他目標環境直接進行效能檢驗的情況下，基於上述方式估計其他目標環境的效能數據，因而能夠加速後續系統資源調度及縮減系統服務正式上線所需時程。

舉例而言，當維運人員得知雲化受測系統在目標環境中需能夠在收到某個檢測壓力量時仍可達到某個系統效能值時，維運人員可直接藉由查找表6而得知此時應部署幾個實例。進一步而言，假設當維運人員得知雲化受測系統在目標環境中需能夠在收到100個檢測壓力量（即，x為100）時仍可達到150的系統效能值時，維運人員可經由表6而得知此時可能需部署16個實例（即，n為16），方能滿足上述需求。

舉另一例而言，假設當維運人員得知雲化受測系統在目標環境中需能夠在收到60個檢測壓力量（即，x為60）時仍可達到80的系統效能值時，維運人員可經由表6而得知此時可能需部署4個實例，方能滿足上述需求，但可不限於此。

綜上所述，本發明可讓雲化受測系統在受測的環境變動為目標環境時，能快速取得估算效能結果，進而降低需重複進行效能檢驗所需投入總成本。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:雲化系統效能評估系統 102:儲存電路 104:處理器 S210~S250:步驟

圖1是依據本發明之一實施例繪示的雲化系統效能評估系統的示意圖。圖2是依據本發明之一實施例繪示的雲化系統效能評估方法流程圖。

S210~S250:步驟

Claims

一種雲化系統效能評估方法，適於一雲化系統效能評估系統，包括：測量一雲化受測系統在一基準環境中因應於多個實例-檢測壓力量組合所產生的多個第一效能數據；取得該基準環境與一目標環境的一部署實例變化量，並據以估算一雲化共用資源效能變化量；量測自該基準環境改變為該目標環境所導致的多個系統效能變化量；估計自該基準環境改變為該目標環境所導致的一外部實體環境變化量；基於該部署實例變化量、該雲化共用資源效能變化量、該些系統效能變化量及該外部實體環境變化量將該些第一效能數據修正為該雲化受測系統在該目標環境中的多個第二效能數據，且該些第二效能數據對應於該些實例-檢測壓力量組合。
如請求項1所述的方法，其中該些實例-檢測壓力量組合包括對應於n個實例及x個檢測壓力量的一特定組合，且該些第一效能數據中對應於該特定組合的一者表徵為
，該些第二效能數據中對應於該特定組合的一者表徵為
，該部署實例變化量表徵為
，該雲化共用資源效能變化量表徵為
，該外部實體環境變化量表徵為
，且
，其中
為該些系統效能變化量的一函數。
如請求項1所述的方法，其中當該基準環境中的一第一實例部署數量為
，且該目標環境中的一第二實例部署數量為
時，該部署實例變化量表徵為
。
如請求項1所述的方法，其中該雲化共用資源效能變化量負相關於該部署實例變化量。
如請求項1所述的方法，其中該些系統效能變化量包括中介軟體效能變化量、系統負載變化量、作業系統效能變化量、儲存設備存取效能變化量、記憶體效能變化量、處理器效能變化量、網路效能變化量的至少其中之一。
如請求項1所述的方法，其中量測自該基準環境改變為該目標環境所導致的該些系統效能變化量的步驟包括：量測一特定系統效能在該基準環境中的一第一效能值；量測該特定系統效能在該目標環境中的一第二效能值；以該第二效能值除以該第一效能值以取得該些系統效能變化量的其中之一。
如請求項6所述的方法，其中該特定系統效能包括中介軟體效能、系統負載、作業系統效能、儲存設備存取效能、記憶體效能、處理器效能及網路效能的其中之一。
如請求項1所述的方法，其中估計自該基準環境改變為該目標環境所導致的該外部實體環境變化量的步驟包括：基於在該基準環境中的至少一環境參數估計對應於該基準環境的一第一環境分數；基於在該目標環境中的該至少一環境參數估計對應於該目標環境的一第二環境分數；以該第二環境分數除以該第一環境分數以取得該外部實體環境變化量。
如請求項8所述的方法，其中該至少一環境參數包括溫度、溼度及電力設備穩定度的至少其中之一。
一種雲化系統效能評估系統，包括：一儲存電路，儲存一程式碼；以及一處理器，耦接該儲存電路，存取該程式碼以執行：測量一雲化受測系統在一基準環境中因應於多個實例-檢測壓力量組合所產生的多個第一效能數據；取得該基準環境與一目標環境的一部署實例變化量，並據以估算一雲化共用資源效能變化量；量測自該基準環境改變為該目標環境所導致的多個系統效能變化量；估計自該基準環境改變為該目標環境所導致的一外部實體環境變化量；基於該部署實例變化量、該雲化共用資源效能變化量、該些系統效能變化量及該外部實體環境變化量將該些第一效能數據修正為該雲化受測系統在該目標環境中的多個第二效能數據，且該些第二效能數據對應於該些實例-檢測壓力量組合。