TWI795892B - 資源調度方法、伺服器及存儲介質 - Google Patents

資源調度方法、伺服器及存儲介質 Download PDF

Info

Publication number
TWI795892B
TWI795892B TW110131720A TW110131720A TWI795892B TW I795892 B TWI795892 B TW I795892B TW 110131720 A TW110131720 A TW 110131720A TW 110131720 A TW110131720 A TW 110131720A TW I795892 B TWI795892 B TW I795892B
Authority
TW
Taiwan
Prior art keywords
iops
value
virtual disk
instance
upper limit
Prior art date
Application number
TW110131720A
Other languages
English (en)
Other versions
TW202309884A (zh
Inventor
徐正達
郭靖
Original Assignee
新加坡商鴻運科股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商鴻運科股份有限公司 filed Critical 新加坡商鴻運科股份有限公司
Priority to TW110131720A priority Critical patent/TWI795892B/zh
Publication of TW202309884A publication Critical patent/TW202309884A/zh
Application granted granted Critical
Publication of TWI795892B publication Critical patent/TWI795892B/zh

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)
  • Hardware Redundancy (AREA)

Abstract

本申請公開了一種資源調度方法、伺服器及存儲介質，涉及雲計算技術領域。本申請一實施例之資源調度方法包括：擷取實例之虛擬磁片之第一IOPS值。確定第一IOPS值是否大於閾值。若第一IOPS值大於閾值，則擷取告警消息，以設置IOPS上限值。擷取IOPS預測值。將IOPS預測值設為IOPS上限值。

Description

資源調度方法、伺服器及存儲介質
本申請涉及雲計算技術領域，具體涉及一種資源調度方法、伺服器及存儲介質。
雲計算平臺擁有存儲資源池，可為使用者提供線上雲存儲服務。雲計算平臺包括複數實例(Instances)，每個實例等同於一台虛擬機器(Virtual Machine,VM)。實例包括處理器、記憶體、作業系統、網路配置、虛擬磁片等元件。虛擬磁片之每秒讀寫次數(Input/Output Operations Per Second,IOPS)用於衡量實例之存儲性能。
目前，雲計算平臺主要係藉由設置實例配額來規劃存儲資源。例如，雲計算平臺包括100個實例，其存儲資源池之總額度為10k IOPS，則其為每個實例設置之實例配額為100 IOPS。當一個實例之虛擬磁片發生超載時，會影響其他實例之存儲性能，降低了雲計算平臺之存儲效率。
鑒於此，本申請提供一種資源調度方法、伺服器及存儲介質，以優化雲服務平臺之存儲性能。
本申請一實施例之資源調度方法包括：擷取實例之虛擬磁片之第一IOPS值。確定第一IOPS值是否大於閾值。若第一IOPS值大於閾值，則擷取告警消息，以設置IOPS上限值。擷取IOPS預測值。將IOPS預測值設為IOPS上限值。
於其中一種實施方式中，閾值包括虛擬磁片之IOPS物理極限值。
於另一種實施方式中，擷取IOPS預測值之前，方法還包括：按照時間維度訓練一個或複數模型。適配預設時間段之模型。
於另一種實施方式中，按照時間維度訓練一個或複數模型，包括：記錄虛擬磁片於預設時間段之IOPS值。計算預設時間段之IOPS平均值。將IOPS平均值設為IOPS預測值。
於另一種實施方式中，將IOPS預測值設為IOPS上限值之後，方法還包括：擷取虛擬磁片之第二IOPS值。確定第二IOPS值是否小於IOPS上限值。若第二IOPS值小於IOPS上限值，則將IOPS上限值調整為無限制。
本申請另一實施例之伺服器包括調度模組與告警模組，告警模組被配置為：採集實例之虛擬磁片之IOPS值。當虛擬磁片發生超載時，向調度模組發送告警消息。調度模組被配置為：接收告警消息。擷取IOPS預測值。將IOPS預測值設為IOPS上限值。
於其中一種實施方式中，調度模組包括策略表與模型表，策略表被配置為：記錄桌面池之IOPS上限值。其中，桌面池包括複數實例。適配實例於預設時間段之IOPS上限值。模型表被配置為：按照時間維度訓練一個或複數模型。適配預設時間段之模型。
於另一種實施方式中，模型被配置為：擷取實例之數目與狀態，及預設時間段虛擬磁片之IOPS值。計算預設時間段之IOPS平均值。將IOPS平均值設為IOPS預測值。
本申請另一實施例之伺服器包括記憶體和處理器，處理器運行記憶體中存儲之電腦程式或代碼，實現本申請實施例之資源調度方法。
本申請另一實施例之存儲介質用於存儲電腦程式或代碼，當電腦程式或代碼被處理器執行時，實現本申請實施例之資源調度方法。
本申請實施例藉由將IOPS預測值設為實例之虛擬磁片之IOPS上限值，可減小對其他實例之存儲性能之影響，維持其他實例之正常運行。當實例之虛擬磁片不處於高負載之狀態時，可取消對實例之虛擬磁片之限制，以充分釋放存儲資源，提升雲計算平臺之存儲效率。
100:伺服器
110:記憶體
120:處理器
121:調度模組
122:告警模組
S101-S108:步驟
圖1係本申請一實施方式之伺服器之硬體結構示意圖。
圖2係本申請一實施方式之伺服器之軟體結構示意圖。
圖3係本申請一實施方式之資源調度方法之流程圖。
為能夠更清楚地理解本申請之上述目的、特徵與優點，下面結合附圖與具體實施例對本申請進行詳細描述。需要說明的是，於不衝突之情況下，本申請之實施例及實施例中之特徵可相互組合。於下面之描述中闡述了很多具體細節以便於充分理解本申請，所描述之實施例僅係本申請一部分實施例，而非全部之實施例。
需要說明的是，雖於流程圖中示出了邏輯順序，然於某些情況下，可以不同於流程圖中之循序執行所示出或描述之步驟。本申請實施例中公 開之方法包括用於實現方法之一個或複數步驟或動作。方法步驟與/或動作可於不脫離請求項之範圍之情況下彼此互換。
圖1係本申請一實施方式之伺服器100之硬體結構示意圖。
可參閱圖1，伺服器100包括記憶體110與處理器120。記憶體110與處理器120可藉由匯流排連接，亦可直接連接。
其中，記憶體110包括易失性或非易失性記憶體件，例如數位通用光碟(Digital Versatile Disc,DVD)或其它光碟、磁片、硬碟機等。於其中一種實施方式中，記憶體110可係伺服器100之內部存儲單元，例如伺服器100之硬碟機或記憶體。於其他實施方式中，記憶體110亦可係伺服器100之外部存放裝置，例如伺服器100配備之插接式硬碟機、智慧存儲卡(Smart Media Card,SMC)、安全數位(Secure Digital,SD)卡、快閃記憶體卡(Flash Card)等。於本實施例中，記憶體110用於存儲電腦程式代碼或資料，例如存儲資源調度之電腦程式代碼。
處理器120可包括中央處理單元(Central Processing Unit,CPU)、數位訊號處理器(Digital Signal Processor,DSP)、專用積體電路(Application Specific Integrated Circuit,ASIC)、現場可程式設計閘陣列(Field-Programmable Gate Array,FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。於本實施例中，處理器120用於運行記憶體110中存儲之電腦程式代碼或資料，例如運行資源調度之電腦程式代碼。
可理解，伺服器100亦可包括更多或者更少之部件，或者具有不同之部件配置。
圖2係本申請一實施方式之伺服器100之軟體結構示意圖。
可參閱圖2，伺服器100涉及桌面即服務(Desktop as a Server,DaaS)層與基礎設施即服務(Infrastructure as a Server,IaaS)層。
其中，DaaS層用以提供虛擬桌面，用戶可藉由雲計算平臺之授權直接詢問虛擬桌面。雲計算平臺提供於雲環境中託管基礎架構、網路資源與存儲之服務，並向使用者設備傳輸虛擬桌面，使用者可藉由Web瀏覽器或其他軟體訪問虛擬桌面之資料與應用。
DaaS層可包括調度模組121。調度模組121用於收集與分析實例之虛擬磁片之IOPS值，以適配模型，並對實例之虛擬磁片設置IOPS上限值。調度模組121包括策略(Policy)表與模型(Model)表。
策略表用以記錄桌面池之IOPS上限值，以提供限制策略。一個桌面池可包括複數實例。一個實例可包括複數虛擬磁片。其中，限制策略包括按照時間維度從複數IOPS上限值中適配一個實例於預設時間段之IOPS上限值。
模型表包括一個或複數模型。模型用以統計上線實例之數目，收集實例之狀態與預設時間段之IOPS值，以計算出一個或複數時間段之IOPS預測值，從而優化實例之虛擬磁片之IOPS上限值。
舉例而言，可將一天24h劃分為144個時間段，每個時間段為10min。於每個時間段，可記錄實例之數目、CPU之平均損耗、存儲用量及虛擬磁片之IOPS值等資訊。於其中一個時間段內，可每隔30-60s採集一次IOPS值，以計算出該時間段10min內之IOPS平均值，並將IOPS平均值作為第二天相同時間段之IOPS預測值，從而訓練出該時間段對應之一個模型。於一些實施例中，可將每天相同時間段之IOPS平均值輸入至該模型，以優化該模型。
IaaS層提供雲端基礎設施服務。基礎設施可包括虛擬機器、虛擬磁片、電腦網路及其他機房設施。使用者可部署與運行安裝於虛擬機器上之作業系統或應用程式。
IaaS層可包括告警模組122。告警模組122用於採集實例之虛擬磁片之IOPS值。當實例之虛擬磁片發生超載時，告警模組122向調度模組121發送告警消息。其中，告警消息包括所述實例之標識(ID)。
於本實施例中，每一個實例擁有一個實例ID，作為唯一之識別字。
當調度模組121接收到告警消息之後，可從模型中擷取IOPS預測值，並將IOPS預測值作為所述實例之虛擬磁片之IOPS上限值，以對所述實例之虛擬磁片設限，從而維持其他實例之正常運行。當所述實例之虛擬磁片不處於高負載之狀態時，調度模組121可取消對所述實例之虛擬磁片之限制，以充分釋放存儲資源，提升雲計算平臺之存儲效率。
圖3係本申請一實施方式之資源調度方法之流程圖。
資源調度方法可應用於伺服器100。
可參閱圖3，資源調度方法包括：
S101，擷取實例之虛擬磁片之第一IOPS值。
於本實施例中，告警模組122可按照一定之時間週期T採集實例之虛擬磁片之第一IOPS值。於其中一種實施方式中，時間週期T滿足：30s
Figure 110131720-A0305-02-0007-1
T
Figure 110131720-A0305-02-0007-2
60s。
S102，確定第一IOPS值是否大於閾值。若第一IOPS值大於閾值，則執行步驟S103。若第一IOPS值小於或等於閾值，則結束。
其中，閾值用以表徵虛擬磁片是否處於高負載之狀態。當第一IOPS值大於閾值，說明虛擬磁片處於高負載之狀態。當第一IOPS值小於或等於閾值，說明虛擬磁片不處於高負載之狀態。
舉例而言，於預設情況下，虛擬磁片之IOPS值無限制。即，虛擬磁片之IOPS值可達到其物理極限值，例如600 IOPS。於預設情況下，每個實例之虛擬磁片之IOPS值均達到其物理極限值時，雲計算平臺之存儲效率達到最 大值。於一些實施例中，閾值可取虛擬磁片之物理極限值。當一個實例之虛擬磁片之IOPS值超過物理極限值時，即虛擬磁片發生超載，就會影響到其他實例之存儲性能，導致雲計算平臺之存儲效率降低。此時，需要對該虛擬磁片之IOPS值設限，以減小對其他實例之存儲性能之影響，從而提升雲計算平臺之存儲效率。
S103，擷取告警消息。
於本實施例中，當告警模組122檢測到第一IOPS值大於閾值時，可藉由Restful API(Application Programming Interface，應用程式介面)向調度模組121發送告警消息。其中，告警消息包括實例之標識(ID)。調度模組121亦可藉由Restful API接收告警消息。
S104，從模型中擷取IOPS預測值。
於本實施例中，調度模組121包括模型表。模型表包括一個或複數模型。模型可記錄虛擬磁片之IOPS值，以計算出預設時間段之IOPS平均值，並將IOPS平均值作為一個時間段之IOPS預測值。
可理解，模型記錄之IOPS值之數量越多，模型訓練之樣本數量亦越多，模型輸出之IOPS預測值之可靠性亦越高。
S105，將IOPS預測值設為實例之虛擬磁片之IOPS上限值。
於本實施例中，調度模組121設置虛擬磁片之IOPS上限值，並將IOPS上限值發送至告警模組122，以更新實例。
其中，虛擬磁片之IOPS上限值小於其物理極限值。IOPS預測值可隨模型優化而靈活調整。採用IOPS預測值對虛擬磁片之IOPS值設限，可於增加限制之情形下，滿足常規性之存儲需求。
S106，擷取實例之虛擬磁片之第二IOPS值。
於本實施例中，當對虛擬磁片之IOPS值設限之後，告警模組122還可持續地採集實例之虛擬磁片之第二IOPS值。
S107，確定第二IOPS值是否小於IOPS上限值。若第二IOPS值小於IOPS上限值，則執行步驟S108。若第二IOPS值等於IOPS上限值，則結束。
於本實施例中，當告警模組122檢測到第二IOPS值小於IOPS上限值時，說明虛擬磁片不處於高負載之狀態。當第二IOPS值等於IOPS上限值時，說明虛擬磁片仍然處於高負載之狀態。
S108，將實例之虛擬磁片之IOPS上限值調整為無限制。
於本實施例中，當實例之虛擬磁片不處於高負載之狀態時，告警模組122可向調度模組121發送取消限制之消息。調度模組121接收到取消限制之消息，可取消對所述實例之虛擬磁片之限制，以充分釋放存儲資源，提升雲計算平臺之存儲效率。
本申請實施例還提供一種存儲介質，用於存儲電腦程式或代碼，當所述電腦程式或代碼被處理器執行時，實現本申請實施例之資源調度方法。
存儲介質包括於用於存儲資訊(諸如電腦可讀指令、資料結構、程式模組或其它資料)之任何方法或技術中實施之易失性與非易失性、可移除與不可移除介質。存儲介質包括，但不限於，隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、帶電可擦可程式設計唯讀記憶體(Electrically Erasable Programmable Read-Only Memory,EEPROM)、快閃記憶體或其它記憶體、唯讀光碟(Compact Disc Read-Only Memory,CD-ROM)、數位通用光碟(Digital Versatile Disc,DVD)或其它光碟存儲、磁盒、磁帶、磁片存儲或其它磁存儲裝置、或者可用於存儲期望之資訊並且可被電腦訪問之任何其它之介質。
上面結合附圖對本申請實施例作了詳細說明，但本申請不限於上述實施例，於所屬技術領域普通具通常技藝者所具備之知識範圍內，還可於不脫離本申請宗旨之前提下做出各種變化。
S101-S108:步驟

Claims (9)

  1. 一種資源調度方法，應用於伺服器，所述伺服器包括桌面即服務DaaS層與基礎設施即服務IaaS層，所述IaaS層包括實例之虛擬磁片，其改良在於，所述方法包括：擷取實例之虛擬磁片之第一IOPS值；確定所述第一IOPS值是否大於閾值；若所述第一IOPS值大於所述閾值，則擷取告警消息，以設置IOPS上限值；擷取IOPS預測值；將所述IOPS預測值設為所述IOPS上限值；擷取所述虛擬磁片之第二IOPS值；確定所述第二IOPS值是否小於所述IOPS上限值；若所述第二IOPS值小於所述IOPS上限值，則將所述IOPS上限值調整為無限制。
  2. 如請求項1所述之資源調度方法，其中，所述閾值包括所述虛擬磁片之IOPS物理極限值。
  3. 如請求項1所述之資源調度方法，其中，所述擷取IOPS預測值之前，所述方法還包括：按照時間維度訓練一個或複數模型；適配預設時間段之所述模型。
  4. 如請求項3所述之資源調度方法，其中，所述按照時間維度訓練一個或複數模型，包括：記錄所述虛擬磁片於所述預設時間段之IOPS值；計算所述預設時間段之IOPS平均值； 將所述IOPS平均值設為所述IOPS預測值。
  5. 一種伺服器，應用於伺服器，所述伺服器包括桌面即服務DaaS層與基礎設施即服務IaaS層，所述IaaS層包括實例之虛擬磁片，其改良在於，所述DaaS層包括調度模組，所述IaaS層包括告警模組，所述告警模組被配置為：採集實例之虛擬磁片之IOPS值；當所述虛擬磁片發生超載時，向所述調度模組發送告警消息；其中，所述虛擬磁片發生超載，即所述虛擬磁片之IOPS值超過物理極限值；所述調度模組被配置為：接收所述告警消息；擷取IOPS預測值；將所述IOPS預測值設為IOPS上限值；當所述告警模組採集的所述虛擬磁片之IOPS值小於所述IOPS上限值時，取消對所述實例之虛擬磁片之限制。
  6. 如請求項5所述之伺服器，其中，所述調度模組包括策略表與模型表，所述策略表被配置為：記錄桌面池之所述IOPS上限值，其中，所述桌面池包括複數所述實例；適配所述實例於預設時間段之所述IOPS上限值；所述模型表被配置為：按照時間維度訓練一個或複數模型；適配預設時間段之所述模型。
  7. 如請求項6所述之伺服器，其中，所述模型被配置為：擷取所述實例之數目與狀態，及預設時間段所述虛擬磁片之IOPS值；計算所述預設時間段之IOPS平均值；將所述IOPS平均值設為所述IOPS預測值。
  8. 一種伺服器，包括記憶體與處理器，其改良在於，所述處理器運行所述記憶體中存儲之電腦程式或代碼，實現如請求項1至4中任一項所述之資源調度方法。
  9. 一種存儲介質，用於存儲電腦程式或代碼，其改良在於，當所述電腦程式或代碼被處理器執行時，實現如請求項1至4中任一項所述之資源調度方法。
TW110131720A 2021-08-26 2021-08-26 資源調度方法、伺服器及存儲介質 TWI795892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110131720A TWI795892B (zh) 2021-08-26 2021-08-26 資源調度方法、伺服器及存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110131720A TWI795892B (zh) 2021-08-26 2021-08-26 資源調度方法、伺服器及存儲介質

Publications (2)

Publication Number Publication Date
TW202309884A TW202309884A (zh) 2023-03-01
TWI795892B true TWI795892B (zh) 2023-03-11

Family

ID=86690761

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110131720A TWI795892B (zh) 2021-08-26 2021-08-26 資源調度方法、伺服器及存儲介質

Country Status (1)

Country Link
TW (1) TWI795892B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201235944A (en) * 2010-10-20 2012-09-01 Microsoft Corp Placing objects on hosts using hard and soft constraints
US20130227111A1 (en) * 2011-12-27 2013-08-29 Solidfire, Inc. Proportional quality of service based on client usage and system metrics
CN105359486A (zh) * 2013-05-03 2016-02-24 思杰系统有限公司 使用代理安全访问资源
US20170024315A1 (en) * 2013-09-20 2017-01-26 Amazon Technologies, Inc. Efficient garbage collection for a log-structured data store

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201235944A (en) * 2010-10-20 2012-09-01 Microsoft Corp Placing objects on hosts using hard and soft constraints
US20130227111A1 (en) * 2011-12-27 2013-08-29 Solidfire, Inc. Proportional quality of service based on client usage and system metrics
CN105359486A (zh) * 2013-05-03 2016-02-24 思杰系统有限公司 使用代理安全访问资源
US20170024315A1 (en) * 2013-09-20 2017-01-26 Amazon Technologies, Inc. Efficient garbage collection for a log-structured data store

Also Published As

Publication number Publication date
TW202309884A (zh) 2023-03-01

Similar Documents

Publication Publication Date Title
CN111813513B (zh) 基于分布式的实时任务调度方法、装置、设备及介质
US11487760B2 (en) Query plan management associated with a shared pool of configurable computing resources
WO2017028697A1 (zh) 计算机集群的扩容和缩容方法及设备
US20190317826A1 (en) Methods and systems for estimating time remaining and right sizing usable capacities of resources of a distributed computing system
Zhu et al. WorkloadCompactor: Reducing datacenter cost while providing tail latency SLO guarantees
US10776166B2 (en) Methods and systems to proactively manage usage of computational resources of a distributed computing system
WO2013074426A1 (en) Throttle disk i/o using disk drive simulation model
TW201220180A (en) Application lifetime management
US20180165693A1 (en) Methods and systems to determine correlated-extreme behavior consumers of data center resources
CN112988066B (zh) 一种数据处理方法及装置
TWI719336B (zh) 基於工業互聯網之微服務異構再生系統、方法及可讀存儲介質
WO2021093365A1 (zh) 一种gpu显存管理控制方法及相关装置
US9823857B1 (en) Systems and methods for end-to-end quality of service control in distributed systems
US20150332280A1 (en) Compliant auditing architecture
WO2020024944A1 (zh) 热点数据的识别方法、装置、设备及存储介质
WO2022078347A1 (zh) 任务调度方法、装置、电子设备及存储介质
US10268714B2 (en) Data processing in distributed computing
TWI795892B (zh) 資源調度方法、伺服器及存儲介質
CN113885803A (zh) 数据存储方法、装置、电子设备及存储介质
WO2024119930A1 (zh) 调度方法、装置、计算机设备和存储介质
CN109308310B (zh) 一种用于资产管理平台的子系统数据互联处理方法
US7484217B2 (en) Method for automatic adjustment of time a consumer waits to access data from a queue during a waiting phase and transmission phase at the queue
CN101776946B (zh) 一种基于对象存储系统的功耗控制方法
WO2018228147A1 (zh) 一种提高数据存储安全性方法及装置
CN113010852B (zh) 数据的计量统计方法、装置、电子设备及存储介质