TWI744068B - 資源管理系統及資源管理方法 - Google Patents

資源管理系統及資源管理方法 Download PDF

Info

Publication number
TWI744068B
TWI744068B TW109138239A TW109138239A TWI744068B TW I744068 B TWI744068 B TW I744068B TW 109138239 A TW109138239 A TW 109138239A TW 109138239 A TW109138239 A TW 109138239A TW I744068 B TWI744068 B TW I744068B
Authority
TW
Taiwan
Prior art keywords
resource
sharable
resources
resource usage
master node
Prior art date
Application number
TW109138239A
Other languages
English (en)
Other versions
TW202220469A (zh
Inventor
楊人順
Original Assignee
啟碁科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 啟碁科技股份有限公司 filed Critical 啟碁科技股份有限公司
Priority to TW109138239A priority Critical patent/TWI744068B/zh
Priority to US17/395,607 priority patent/US11632329B2/en
Application granted granted Critical
Publication of TWI744068B publication Critical patent/TWI744068B/zh
Publication of TW202220469A publication Critical patent/TW202220469A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/78—Architectures of resource allocation
    • H04L47/781—Centralised allocation of resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/76—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
    • H04L47/762—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions triggered by the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/82—Miscellaneous aspects
    • H04L47/822—Collecting or measuring resource availability data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本發明公開一種資源管理系統及資源管理方法。資源管理方法適用於彼此通訊連接的多個工作者節點及主責節點，且該些工作者節點及該主責節點各包括資源池、資源監視器、收集器代理模組、流量引導推理模組、請求處理模組，主責節點更包括資料收集器、人工智慧計算模組及負載平衡器，資源管理方法包括針對該些工作者節點及該主責節點執行內部資源管理流程及外部資源管理流程，以混合應用集中式資源管理機制與分散式資源管理機制。

Description

資源管理系統及資源管理方法
本發明涉及一種資源管理系統及資源管理方法，特別是涉及一種能夠混合應用集中式與分散式資源管理機制的資源管理系統及資源管理方法。
由於5G私有專網(Private Network)的興起，混合雲運算成為主流，運算裝置中的邊緣運算裝置常以分散的方式建置在應用場域中，再利用網路連接私有雲(Private Cloud)或公有雲(Public Cloud)。為了有效平衡運算或網路資源的使用，目前多以“叢集”(Cluster)方式並選定一個主責節點(Master Node, MN)來管理工作點(Worker Node, WN)的工作需求派遣。
然而。網路傳輸延遲和資料壓縮延遲，卻造成無法滿足終端用戶的服務品質要求，並造成資源浪費與耗電的問題。雖然目前有許多分散式資源管理機制發明被提出，但存在以下問題：
1.現有的分散式資源管理機制與集中式叢集資源管理機制無法共存。
2. 在現有的分散式的資源管理機制中，為了達成負載平衡的快速派遣，需要每一個工作節點的資源狀態分享，造成額外的網路流量和決策延遲；平衡效果也會因工作熱點的轉移、收斂時間較長，易產生鐘擺效應。
3. 現有的分散式的資源管理機制部分採用了預留的“可分享”/“不可分享”資源政策進行分散式管理，其固定且缺乏彈性的預留機制，反而讓資源使用上產生浪費、效率更低。
4.在許多利用無線中繼互聯的Mesh Edge Cloud前案中，無論是採用單純集中式或單純分散式的資源管理都不利於資源使用服務品質與效益。
故，如何通過資源管理機制的改良，來克服上述的缺陷，已成為該項事業所欲解決的重要課題之一。
本發明所要解決的技術問題在於，針對現有技術的不足提供一種能夠混合應用集中式與分散式資源管理機制的資源管理系統及資源管理方法。
為了解決上述的技術問題，本發明所採用的其中一技術方案是提供一種資源管理系統，其包括多個工作者節點及一主責節點，係彼此通訊連接，其中，該些工作者節點及該主責節點各包括資源池、資源監視器、收集器代理模組、流量引導推理模組、請求處理模組、許可控制器及臨界值調整器。資源池將對應的系統資源劃分為可共享資源及不可共享資源。資源監視器記錄資源池的使用狀況，並產生資源用量監視資料。收集器代理模組用於傳送所產生的該資源用量監視資料。流量引導推理模組接收資源用量監視資料，並依據資源用量監視資料計算不可共享資源及可共享資源的權重比例，以產生許可控制策略。請求處理模組接收來自多個電子裝置的多個資源使用請求。許可控制器依據許可控制策略將該些資源使用請求分配給不可共享資源及可共享資源。臨界值調整器用於調整可共享資源及不可共享資源的分配比例。其中，主責節點更包括資料收集器、人工智慧計算模組及負載平衡器。資料收集器從該些工作者節點及主責節點的收集器代理模組接收該些工作者節點及主責節點的資源用量監視資料，以產生資源用量統計資料。人工智慧計算模組經配置以將該資源用量統計資料輸入經訓練人工智慧模型，以產生分別用於分配該些工作者節點及該主責節點的該些資源池的多個臨界值資料。其中，各臨界值資料定義各資源池中的分配比例，且該些工作者節點及主責節點的該些流量引導推理模組經配置以依據該些最佳化臨界值資料分別控制對應的該些臨界值調整器調整各該些資源池的該可共享資源及該不可共享資源。負載平衡器經配置以將該些工作者節點及該主責節點中分配至該些可共享資源中的該些資源使用請求平衡分配至該些工作者節點及該主責節點的該些可共享資源。
為了解決上述的技術問題，本發明所採用的另外一技術方案是提供一種資源管理方法，其適用於彼此通訊連接的多個工作者節點及主責節點，且該些工作者節點及主責節點各包括資源池、資源監視器、收集器代理模組、流量引導推理模組、請求處理模組，主責節點更包括資料收集器、人工智慧計算模組及負載平衡器，該資源管理方法包括：針對該些工作者節點及該主責節點執行一內部資源管理流程，包括：配置該資源池以將對應的一系統資源劃分為一可共享資源及一不可共享資源；配置該資源監視器以記錄該資源池的使用狀況，並產生一資源用量監視資料；配置該收集器代理模組以將所產生的該資源用量監視資料傳送至該流量引導推理模組；配置該流量引導推理模組接收該資源用量監視資料，並依據該資源用量監視資料計算該不可共享資源及該可共享資源的權重比例，以產生一許可控制策略；配置該請求處理模組接收來自多個電子裝置的多個資源使用請求；及配置該許可控制器依據該許可控制策略將該些資源使用請求分配給該不可共享資源及該可共享資源。其中，臨界值調整器用於調整該可共享資源及該不可共享資源的一分配比例。資源管理方法更包括針對該些工作者節點及該主責節點執行一外部資源管理流程，包括：配置該資料收集器從該些工作者節點及該主責節點的該些收集器代理模組接收該些工作者節點及該主責節點的該些資源用量監視資料，以產生一資源用量統計資料；配置該人工智慧計算模組以將該資源用量統計資料輸入一經訓練人工智慧模型，以產生分別用於分配該些工作者節點及該主責節點的該些資源池的多個臨界值資料，其中，各該臨界值資料定義各該資源池中的該分配比例；配置該些工作者節點及該主責節點的該些流量引導推理模組經配置以依據該些最佳化臨界值資料分別控制對應的該些臨界值調整器調整各該些資源池的該可共享資源及該不可共享資源；及配置該負載平衡器以將該些工作者節點及該主責節點中分配至該些可共享資源中的該些資源使用請求平衡分配至該些工作者節點及該主責節點的該些可共享資源。
本發明的其中一有益效果在於，本發明所提供的資源管理系統及資源管理方法，具有創新的分散式資源管理架構，可混合應用集中式與分散式資源管理機制。其中，內部資源管理流程實現了快速及低延遲的分散式資源管理架構及可管道化(Pipeline)同步執行機制，同時，以資源池的架構為基礎，實現可調整的可共享資源及不可共享資源的動態比例調整。
此外，本發明所提供的資源管理系統及資源管理方法通過整合每一個工作者節點的可共享資源以形成可共享資源池架構，其相容於現有的集中式資源管理機制。另一方面，外部資源管理流程利用人工智慧之大數據分析，進一步實現了資源臨界值動態調整機制，可調整可共享資源及不可共享資源的分配比例。
針對效能及資源使用率方面，本發明所提供的資源管理系統及資源管理方法具有分散式內部資源管理流程與可管道化(Pipeline)同步執行機制，使本地端請求可以立即使用本地端資源，可進一步避免在無網路傳輸環境及集中決策機制中可能發生的延遲情形。
再者，通過人工智慧之大數據分析實現的資源臨界值動態調整機制，可以幫助負載較大的工作節點經由程式執行位置的vAPP轉移(virtual App Migration)及增加不可共享資源的比例，達到負載平衡和資源使用優化的目的。
為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明所公開有關“資源管理系統及資源管理方法”的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不背離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
圖1為根據本發明實施例的資源管理系統的方塊示意圖。參閱圖1所示，本發明實施例提供一種資源管理系統1，其包括多個工作者節點WN1、…、WNi及主責節點MN，係彼此通訊連接。
工作者節點WN1包括資源池RP1、資源監視器RM1、收集器代理模組CA1、流量引導推理模組TS1、請求處理模組RH1、許可控制器AC1及臨界值調整器TA1。而其餘的工作者節點與主責節點MN基本上與工作者節點WN1具有相同的配置，例如，工作者節點WNi包括資源池RPi、資源監視器RMi、收集器代理模組CAi、流量引導推理模組TSi、請求處理模組RHi、許可控制器ACi及臨界值調整器TAi，而主責節點MN包括資源池RP0、資源監視器RM0、收集器代理模組CA0、流量引導推理模組TS0、請求處理模組RH0、許可控制器AC0及臨界值調整器TA0。因此如有必要，否則下文將不再贅述。
需要說明的是，上述工作者節點WN1及主責節點MN中使用的資源池、資源監視器、收集器代理模組、流量引導推理模組、請求處理模組、許可控制器及臨界值調整器均可通過硬體、軟體或韌體的形式實現其功能。當以軟體形式實現時，可將用於執行上述元件或模組的功能的程式碼儲存於一般電腦系統內建的記憶體中，並經由處理器執行來實現上述元件或模組。
資源池RP1將工作者節點WN1對應的系統資源劃分為可共享資源SR1及不可共享資源NSR1。以工作者節點WN1為一常見的電腦系統進行舉例，工作者節點WN1可包括中央處理器、記憶體、快閃記憶體、網路傳輸介面、硬碟及圖形處理器，因此，上述的系統資源可包括中央處理器可處理量、記憶體可使用量、網路可使用量、快閃記憶體可使用量、硬碟可使用量及圖形處理器可處理量，但本發明不限於此。本發明主要是通過整合每一個工作者節點WN1、…、WNi的可共享資源SR1、…、SRi以形成可共享資源池架構，其相容於現有的集中式資源管理機制。
請求處理模組RH1接收來自多個電子裝置的多個資源使用請求RQ1。其中，工作者節點WN1可與多個電子裝置連接，且此等電子裝置相對於工作者節點WN1為本地端裝置。在一些實施例中，不可共享資源NSR1僅用於服務本地端裝置，亦即，僅用於回應來自本地端裝置的請求RQ1，而可共享資源SR1可用於服務來自所有工作者節點WN1、…、WNi及主責節點MN上的電子裝置的資源使用請求。
資源監視器RM1用於記錄資源池RP1的使用狀況，並產生資源用量監視資料RD1。舉例而言，資源監視器RM1可長時間持續收集多個電子裝置ED1(亦即，本地端裝置)的資源使用請求RQ1，以作爲資源用量監視資料RD1。
收集器代理模組CA1用於傳送所產生的資源用量監視資料RD1，流量引導推理模組TS1接收資源用量監視資料RD1，並依據資源用量監視資料RD1計算不可共享資源NSR1的權重比例WNSR1及可共享資源SR1的權重比例WSR1，以產生許可控制策略。如前所述，資源用量監視資料RD1是通過資源監視器RM1長時間持續收集的，且可包括收集本地端裝置的資源使用請求對應的時間點。因此，流量引導推理模組TS1可進一步取得當前時間，並依據此當前時間及資源用量監視資料RD1中對應此當前時間的資源使用請求的數量，進而計算不可共享資源NSR1的權重比例WNSR1及可共享資源SR1的權重比例WSR1。
例如，若當前時間對應於本地端裝置的資源使用請求的數量較多的時段，則傾向保留較多的不可共享資源NR1，因此，不可共享資源NSR1的權重比例WNSR1將會大於可共享資源SR1的權重比例WSR1。然而，需要說明的是，不可共享資源NSR1的權重比例WNSR1及可共享資源SR1的權重比例WSR1相加將會是1。接著，許可控制策略則是用於使許可控制器AC1據其決定要如何將該些資源使用請求RQ1分配給不可共享資源NSR1及可共享資源SR1。在一些實施例中，流量引導推理模組TS1依據資源用量監視資料RD1計算不可共享資源NSR1及可共享資源SR1的負載量，以產生許可控制策略。舉例而言，許可控制策略可包括下列項目：
1.若不可共享資源NSR1的負載量小於重載臨界值，則將該些資源使用請求RQ1分配給不可共享資源NSR1。
2.若不可共享資源NSR1的負載量大於或等於重載臨界值，且與該些資源使用請求RQ1相關的亂數值小於或等於不可共享資源NSR1的權重比例WNSR1，則將該些資源使用請求RQ1分配給不可共享資源NSR1。換言之，在重載的情形下，將當前待決定的資源使用請求RQ1關聯於介於0至1之間的一亂數值，並將此亂數值與不可共享資源NSR1的權重比例WNSR1進行比較。
3.若不可共享資源NSR1的負載量大於或等於重載臨界值，且與該些資源使用請求RQ1相關的亂數值大於不可共享資源NSR1的權重比例WNSR1，則將該些資源使用請求RQ1分配給可共享資源SR1。
4.若該些資源使用請求RQ1的數量大於資源池RP1的當前可使用資源量，則拒絕該些資源使用請求。
因此，許可控制器AC1依據上述許可控制策略將該些資源使用請求RQ1分配給不可共享資源NSR1及可共享資源SR1。需要說明的是，如圖1所示的臨界值調整器TA1是用於調整可共享資源SR1及不可共享資源NSR1的分配比例，然而，在下文將要描述的內部資源管理流程中，將不使用臨界值調整器TA1。
請參考圖2及圖3，圖2為根據本發明實施例的內部資源管理流程示意圖，圖3為根據本發明的內部資源管理流程的流程圖。如圖所示，在此配置下，可對工作者節點WN1的資源池RP1、資源監視器RM1、收集器代理模組CA1、流量引導推理模組TS1、請求處理模組RH1、許可控制器AC1及臨界值調整器TA1等模組執行一內部資源管理流程，以將資源管理及負載平衡等機制進行管線化。內部資源管理流程包括：
步驟S30：配置資源池RP1以將對應的系統資源劃分為可共享資源SR1及不可共享資源NSR1。
步驟S31：配置資源監視器RM1以記錄資源池RP1的使用狀況，並產生資源用量監視資料RD1。
步驟S32：配置收集器代理模組CA1以將資源用量監視資料RD1流量引導推理模組TS1。
步驟S33：配置流量引導推理模組TS1接收資源用量監視資料RD1，並依據該資源用量監視資料RD1計算不可共享資源NSR1及可共享資源SR1的權重比例，以產生許可控制策略。
步驟S34：配置請求處理模組接收來自多個電子裝置的多個資源使用請求。
步驟S35：配置許可控制器依據許可控制策略將該些資源使用請求分配給不可共享資源及可共享資源。
因此，內部資源管理流程可達成快速及低延遲的分散式資源管理架構及可管道化(Pipeline)同步執行機制，使本地端請求可以立即使用本地端資源，可進一步避免在無網路傳輸環境及集中決策機制中可能發生的延遲情形。
請復參考圖1，以下進一步說明本發明的資源管理系統1的主責節點MN。如圖1所示，主責節點MN具有與工作者節點WN1、…、WNi相同的架構，因此可用於處理相對於主責節點MN的本地端請求。除此之外，主責節點MN更包括資料收集器DC、人工智慧計算模組AI及負載平衡器LB。
資料收集器DC從工作者節點WN1、…、WNi的收集器代理模組CA1、…、CAi及主責節點的收集器代理模組CA0接收資源用量監視資料RD0、RD1、…、RDi，以產生資源用量統計資料RS。
人工智慧計算模組AI經配置以將資源用量統計資料RS輸入經訓練人工智慧模型，以產生分別用於分配工作者節點WN1、…、WNi的資源池RP1、…、RPi及主責節點MN的資源池RP0的臨界值資料。經訓練人工智慧模型係經由對人工智慧模型AIM以歷史資源用量統計資料HIS進行訓練所產生。在本發明實施例中，人工智慧模型AIM可為類神經網路模型。
請參考圖4，其爲根據本發明實施例的類神經網路模型的示意圖。如圖4所示，類神經網路模型包括輸入層Inp、輸出層Out及多個隱含層hid1、hid2、hid3，且輸入層Inp、輸出層Out及隱含層hid1、hid2、hid3各包括多個神經元。以圖4舉例，輸入層Inp及輸出層Out各包括15個神經元，而輸入的歷史資源用量統計資料HIS包括使用者需求資源d1~d3、不可共享資源剩餘資源Nb1~Nb3、可共享資源剩餘資源Sb1~Sb3、時間資訊C1~C3、在特定時間Tx的資源使用狀態O1-Tx~O3-Tx。
換言之，可從歷史資源用量統計資料HIS的各欄位取出3筆資料作爲前述的使用者需求資源d1~d3、不可共享資源剩餘資源Nb1~Nb3、可共享資源剩餘資源Sb1~Sb3、時間資訊C1~C3、在特定時間(Tx)的資源使用狀態O1-Tx~O3-Tx來對類神經網路模型進行訓練，並且給予類神經網路模型對應的最佳化計算量分配方式（如圖4中的輸出向量z[1][1]~z[1][5]、…、z[3][1]、…、z[3][5]），最終可產生經訓練人工智慧模型。
接者，將長期進行數據收集而產生的資源用量統計資料RS輸入如圖4的多層類神經網路以及選定的人工智慧/或機器學習模型，所輸出的臨界值資料可應用於主責節點MN及工作者節點WN1、…、WNi的資源池RP0、RP1、…、RPi，例如，每經過特定時間依據不可共享資源NSR與可共享資源SR之間的不同分配比例來調整臨界值調整器TA0、TA1、…、TAi。需要說明的是，以工作者節點WN1爲例，上述提到的分配比例指的是經過臨界值調整器TA1依據人工智慧/或機器學習模型所輸出的臨界值資料調整資源池RP1後所得到可共享資源SR0與不可共享資源NSR0的比例，且分配比例不同於上文中提到的權重比例，不可共享資源NSR1的權重比例WNSR1及可共享資源SR1的權重比例WSR1可用於使許可控制器AC1據以決定如何將許可控制器AC1所接收到的多個資源使用請求RQ1分別分配給可共享資源SR0與不可共享資源NSR0兩者其中之一。
也因此，通過人工智慧之大數據分析實現的資源臨界值動態調整機制，可以幫助負載較大的工作節點經由程式執行位置的vAPP轉移(virtual App Migration)及增加不可共享資源的比例，達到負載平衡和資源使用優化的目的。
在依據臨界值資料決定資源池RP0、RP1、…、RPi中的不可共享資源與可共享資源的分配比例之後，負載平衡器LB可進一步將主責節點MN及工作者節點WN1、…、WNi中，在前述的內部資源管理流程中分配至可共享資源SR0、SR1、…、SRi中的資源使用請求RQ0、RQ1、…、RQi平衡分配至主責節點WN及工作者節點WN1、…、WNi的可共享資源SR0、SR1、…、SRi。
因此，在上述架構下，可針對主責節點MN及工作者節點WN1、…、WNi執行一外部資源管理流程。請進一步參考圖5及圖6，圖5為根據本發明實施例的外部資源管理流程的示意圖，圖6為根據本發明實施例的外部資源管理流程的流程圖。如圖所示，外部資源管理流程包括：
步驟S60：配置資料收集器DC從主責節點MN及工作者節點WN1、…、WNi的收集器代理模組CA0、CA1、…、CAi接收資源用量監視資料RD0、RD1、…、RDi，以產生資源用量統計資料RS。
步驟S61：配置人工智慧計算模組AI以將資源用量統計資料RS輸入經訓練人工智慧模型，以產生分別用於分配主責節點MN及工作者節點WN1、…、WNi的資源池RP0、RP1、…、RPi的最佳化臨界值資料。
步驟S62：配置主責節點MN及工作者節點WN1、…、WNi的流量引導推理模組TS0、TS1、…、TSi以依據最佳化臨界值資料分別控制對應的臨界值調整器TA0、TA1、…、TAi調整資源池RP0、RP1、…、RPi的可共享資源SR0、SR1、…、SRi及不可共享資源NSR0、NSR1、…、NSRi的分配比例。
步驟S63：配置負載平衡器LB以將主責節點MN及工作者節點WN1、…、WNi中分配至可共享資源SR0、SR1、…、SRi中的資源使用請求RQ0、RQ1、…、RQi平衡分配至主責節點WN及工作者節點WN1、…、WNi的可共享資源SR0、SR1、…、SRi。
[實施例的有益效果]
本發明的其中一有益效果在於，本發明所提供的資源管理系統及資源管理方法，具有創新的分散式資源管理架構，可混合應用集中式與分散式資源管理機制。其中，內部資源管理流程實現了快速及低延遲的分散式資源管理架構及可管道化(Pipeline)同步執行機制，同時，以資源池的架構為基礎，實現可調整的可共享資源及不可共享資源的動態比例調整。
此外，本發明所提供的資源管理系統及資源管理方法通過整合每一個工作者節點的可共享資源以形成可共享資源池架構，其相容於現有的集中式資源管理機制。另一方面，外部資源管理流程利用人工智慧之大數據分析，進一步實現了資源臨界值動態調整機制，可調整可共享資源及不可共享資源的分配比例。
針對效能及資源使用率方面，本發明所提供的資源管理系統及資源管理方法具有分散式內部資源管理流程與可管道化(Pipeline)同步執行機制，使本地端請求可以立即使用本地端資源，可進一步避免在無網路傳輸環境及集中決策機制中可能發生的延遲情形。
再者，通過人工智慧之大數據分析實現的資源臨界值動態調整機制，可以幫助負載較大的工作節點經由程式執行位置的vAPP轉移(virtual App Migration)及增加不可共享資源的比例，達到負載平衡和資源使用優化的目的。
以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。
1:資源管理系統 AC0、AC1、…、ACi:許可控制器 AI:人工智慧計算模組 AIM:人工智慧模型 C1~C3:時間資訊 CA0、CA1、…、CAi:收集器代理模組 d1~d3:使用者需求資源 DC:資料收集器 hid1、hid2、hid3:隱含層 HIS:歷史資源用量統計資料 Inp:輸入層 LB:負載平衡器 Nb1~Nb3:不可共享資源剩餘資源 NSR0、NSR1、…、NSRi:不可共享資源 O1-Tx~O3-Tx:資源使用狀態 Out:輸出層 RD0、RD1、…、RDi:資源用量監視資料 RH0、RH1、…、RHi:請求處理模組 RM0、RM1、…、RMi:資源監視器 RP0、RP1、…、RPi:資源池 RQ0、RQ1、…、RQi:資源使用請求 RS:資源用量統計資料 S30~S35、S60~S63:步驟 Sb1~Sb3:可共享資源剩餘資源 SR0、SR1、…、SRi:可共享資源 TA0、TA1、…、TAi:臨界值調整器 TS0、TS1、…、TSi:流量引導推理模組 MN:主責節點 WN1、…、WNi:工作者節點 z[1][1]~z[1][5]、…、z[3][1]~z[3][5]:輸出向量
圖1為根據本發明實施例的資源管理系統的方塊示意圖。
圖2為根據本發明實施例的內部資源管理流程示意圖。
圖3為根據本發明的內部資源管理流程的流程圖。
圖4爲根據本發明實施例的類神經網路模型的示意圖。
圖5為根據本發明實施例的外部資源管理流程的示意圖。
圖6為根據本發明實施例的外部資源管理流程的流程圖。
1:資源管理系統
AC0、AC1、…、ACi:許可控制器
AI:人工智慧計算模組
AIM:人工智慧模型
CA0、CA1、…、CAi:收集器代理模組
DC:資料收集器
LB:負載平衡器
NSR0、NSR1、…、NSRi:不可共享資源
RD0、RD1、...、RDi:資源用量監視資料
RH0、RH1、…、RHi:請求處理模組
RM0、RM1、…、RMi:資源監視器
RP0、RP1、…、RPi:資源池
RQ0、RQ1、…、RQi:資源使用請求
RS:資源用量統計資料
SR0、SR1、…、SRi:可共享資源
TA0、TA1、…、TAi:臨界值調整器
TS0、TS1、…、TSi:流量引導推理模組
MN:主責節點
WN1、…、WNi:工作者節點

Claims (16)

  1. 一種資源管理系統，其包括： 多個工作者節點及一主責節點，係彼此通訊連接，其中該些工作者節點及該主責節點各包括： 一資源池，將對應的一系統資源劃分為一可共享資源及一不可共享資源； 一資源監視器，記錄該資源池的使用狀況，並產生一資源用量監視資料； 一收集器代理模組，用於傳送所產生的該資源用量監視資料； 一流量引導推理模組，接收該資源用量監視資料，並依據該資源用量監視資料計算該不可共享資源及該可共享資源的一權重比例，以產生一許可控制策略； 一請求處理模組，接收來自多個電子裝置的多個資源使用請求； 一許可控制器，依據該許可控制策略將該些資源使用請求分配給該不可共享資源及該可共享資源；及 一臨界值調整器，用於調整該可共享資源及該不可共享資源的一分配比例； 其中該主責節點更包括： 一資料收集器，從該些工作者節點及該主責節點的該些收集器代理模組接收該些工作者節點及該主責節點的該些資源用量監視資料，以產生一資源用量統計資料； 一人工智慧計算模組，經配置以將該資源用量統計資料輸入一經訓練人工智慧模型，以產生分別用於分配該些工作者節點及該主責節點的該些資源池的多個臨界值資料，其中，各該臨界值資料定義各該資源池中的該分配比例，且該些工作者節點及該主責節點的該些流量引導推理模組經配置以依據該些最佳化臨界值資料分別控制對應的該些臨界值調整器調整各該些資源池的該可共享資源及該不可共享資源；及 一負載平衡器，經配置以將該些工作者節點及該主責節點中分配至該些可共享資源中的該些資源使用請求平衡分配至該些工作者節點及該主責節點的該些可共享資源。
  2. 如請求項1所述的資源管理系統，其中該流量引導推理模組更依據該資源用量監視資料計算該不可共享資源及該可共享資源的負載量，以產生該許可控制策略，且各該資源池的該不可共享資源及該可共享資源的該權重比例相加為1。
  3. 如請求項2所述的資源管理系統，其中該許可控制策略包括： 若該不可共享資源的該負載量小於一重載臨界值，則將該些資源使用請求分配給該不可共享資源； 若該不可共享資源的該負載量大於或等於該重載臨界值且與該些資源使用請求相關的一亂數值小於或等於該不可共享資源的該權重比例，則將該些資源使用請求分配給該不可共享資源；以及 若該不可共享資源的負載大於或等於該重載臨界值且與該些資源使用請求相關的該亂數值大於該不可共享資源的該權重比例，則將該些資源使用請求分配給該可共享資源。
  4. 如請求項1所述的資源管理系統，其中該許可控制策略包括： 若該些資源使用請求的數量大於該資源池的一當前可使用資源量，則拒絕該些資源使用請求，各該資源池的該不可共享資源僅供屬於該些工作者節點及該主責節點的本地端的該些電子裝置的該些使用資源請求所使用。
  5. 如請求項1所述的資源管理系統，其中該經訓練人工智慧模型係經由對一人工智慧模型以一歷史資源用量統計資料進行訓練所產生。
  6. 如請求項5所述的資源管理系統，其中該人工智慧模型係為一類神經網路模型，其包括一輸入層、一輸出層及多個隱含層，且該輸入層、該輸出層及該些隱含層各包括多個神經元。
  7. 如請求項5所述的資源管理系統，其中該歷史資源用量統計資料包括使用者需求資源、不可共享資源剩餘資源、可共享資源剩餘資源、時間資訊、在特定時間的資源使用狀態。
  8. 如請求項1所述的資源管理系統，其中該系統資源包括中央處理器可處理量、記憶體可使用量、網路可使用量、快閃記憶體可使用量、硬碟可使用量及圖形處理器可處理量。
  9. 一種資源管理方法，其適用於彼此通訊連接的多個工作者節點及一主責節點，且該些工作者節點及該主責節點各包括一資源池、一資源監視器、一收集器代理模組、一流量引導推理模組、一請求處理模組，該主責節點更包括一資料收集器、一人工智慧計算模組及一負載平衡器，該資源管理方法包括： 針對該些工作者節點及該主責節點執行一內部資源管理流程，包括： 配置該資源池以將對應的一系統資源劃分為一可共享資源及一不可共享資源； 配置該資源監視器以記錄該資源池的使用狀況，並產生一資源用量監視資料； 配置該收集器代理模組以將所產生的該資源用量監視資料傳送至該流量引導推理模組； 配置該流量引導推理模組接收該資源用量監視資料，並依據該資源用量監視資料計算該不可共享資源及該可共享資源的權重比例，以產生一許可控制策略； 配置該請求處理模組接收來自多個電子裝置的多個資源使用請求；及 配置該許可控制器依據該許可控制策略將該些資源使用請求分配給該不可共享資源及該可共享資源， 其中該臨界值調整器用於調整該可共享資源及該不可共享資源的一分配比例；以及 針對該些工作者節點及該主責節點執行一外部資源管理流程，包括： 配置該資料收集器從該些工作者節點及該主責節點的該些收集器代理模組接收該些工作者節點及該主責節點的該些資源用量監視資料，以產生一資源用量統計資料； 配置該人工智慧計算模組以將該資源用量統計資料輸入一經訓練人工智慧模型，以產生分別用於分配該些工作者節點及該主責節點的該些資源池的多個臨界值資料，其中，各該臨界值資料定義各該資源池中的該分配比例； 配置該些工作者節點及該主責節點的該些流量引導推理模組經配置以依據該些最佳化臨界值資料分別控制對應的該些臨界值調整器調整各該些資源池的該可共享資源及該不可共享資源；及 配置該負載平衡器以將該些工作者節點及該主責節點中分配至該些可共享資源中的該些資源使用請求平衡分配至該些工作者節點及該主責節點的該些可共享資源。
  10. 如請求項9所述的資源管理方法，更包括： 配置該流量引導推理模組更依據該資源用量監視資料計算該不可共享資源及該可共享資源的負載量，以產生該許可控制策略，其中各該資源池的該不可共享資源及該可共享資源的該些權重比例相加為1。
  11. 如請求項10所述的資源管理方法，其中該許可控制策略包括： 若該不可共享資源的該負載量小於一重載臨界值，則將該些資源使用請求分配給該不可共享資源； 若該不可共享資源的該負載量大於或等於該重載臨界值且與該些資源使用請求相關的一亂數值小於或等於該不可共享資源的該權重比例，則將該些資源使用請求分配給該不可共享資源；以及 若該不可共享資源的負載大於或等於該重載臨界值且與該些資源使用請求相關的該亂數值大於該不可共享資源的該權重比例，則將該些資源使用請求分配給該可共享資源。
  12. 如請求項9所述的資源管理方法，其中該許可控制策略包括： 若該些資源使用請求的數量大於該資源池的一當前可使用資源量，則拒絕該些資源使用請求，其中各該資源池的該不可共享資源僅供屬於該些工作者節點及該主責節點的本地端的該些電子裝置的該些使用資源請求所使用。
  13. 如請求項9所述的資源管理方法，其中該經訓練人工智慧模型係經由對一人工智慧模型以一歷史資源用量統計資料進行訓練所產生。
  14. 如請求項13所述的資源管理方法，其中該人工智慧模型係為一類神經網路模型，其包括一輸入層、一輸出層及多個隱含層，且該輸入層、該輸出層及該些隱含層各包括多個神經元。
  15. 如請求項13所述的資源管理方法，其中該歷史資源用量統計資料包括使用者需求資源、不可共享資源剩餘資源、可共享資源剩餘資源、時間資訊、在特定時間的資源使用狀態。
  16. 如請求項11所述的資源管理方法，其中該系統資源包括中央處理器可處理量、記憶體可使用量、網路可使用量、快閃記憶體可使用量、硬碟可使用量及圖形處理器可處理量。
TW109138239A 2020-11-03 2020-11-03 資源管理系統及資源管理方法 TWI744068B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109138239A TWI744068B (zh) 2020-11-03 2020-11-03 資源管理系統及資源管理方法
US17/395,607 US11632329B2 (en) 2020-11-03 2021-08-06 Resource management system and resource management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109138239A TWI744068B (zh) 2020-11-03 2020-11-03 資源管理系統及資源管理方法

Publications (2)

Publication Number Publication Date
TWI744068B true TWI744068B (zh) 2021-10-21
TW202220469A TW202220469A (zh) 2022-05-16

Family

ID=80782804

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109138239A TWI744068B (zh) 2020-11-03 2020-11-03 資源管理系統及資源管理方法

Country Status (2)

Country Link
US (1) US11632329B2 (zh)
TW (1) TWI744068B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220383149A1 (en) * 2021-05-25 2022-12-01 International Business Machines Corporation Multi-agent inference
TWI821038B (zh) * 2022-11-22 2023-11-01 財團法人工業技術研究院 運算工作分派方法及應用其之終端電子裝置與運算系統
CN116185645B (zh) * 2023-04-28 2023-08-04 联通沃音乐文化有限公司 基于神经网络的集群资源智能调度方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055869B1 (ko) * 2003-04-16 2011-08-09 소니 일렉트로닉스 인코포레이티드 네트워크용 캐리어 관리
CN102546379A (zh) * 2010-12-27 2012-07-04 中国移动通信集团公司 一种虚拟化资源调度的方法及虚拟化资源调度系统
EP2806598A1 (en) * 2012-02-23 2014-11-26 Huawei Technologies Co., Ltd. Method for managing address resources and gateway device
US20160006686A1 (en) * 2003-10-31 2016-01-07 Ericsson Ab Dhcp proxy in a subscriber environment
WO2017000666A1 (zh) * 2015-07-02 2017-01-05 中兴通讯股份有限公司 集群主节点选举方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540608B1 (en) * 2015-05-22 2020-01-21 Amazon Technologies, Inc. Dynamically scaled training fleets for machine learning
US11150931B2 (en) * 2018-10-30 2021-10-19 Hewlett Packard Enterprise Development Lp Virtual workload migrations
US20220187847A1 (en) * 2019-11-05 2022-06-16 Strong Force Vcn Portfolio 2019, Llc Robot Fleet Management for Value Chain Networks
EP3846058A1 (en) * 2019-12-30 2021-07-07 TMRW Foundation IP SARL Multi-dimensional 3d engine computing and virtualization-based dynamic load balancing of virtual or real worlds

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055869B1 (ko) * 2003-04-16 2011-08-09 소니 일렉트로닉스 인코포레이티드 네트워크용 캐리어 관리
US20160006686A1 (en) * 2003-10-31 2016-01-07 Ericsson Ab Dhcp proxy in a subscriber environment
CN102546379A (zh) * 2010-12-27 2012-07-04 中国移动通信集团公司 一种虚拟化资源调度的方法及虚拟化资源调度系统
EP2806598A1 (en) * 2012-02-23 2014-11-26 Huawei Technologies Co., Ltd. Method for managing address resources and gateway device
WO2017000666A1 (zh) * 2015-07-02 2017-01-05 中兴通讯股份有限公司 集群主节点选举方法及装置

Also Published As

Publication number Publication date
US20220141140A1 (en) 2022-05-05
US11632329B2 (en) 2023-04-18
TW202220469A (zh) 2022-05-16

Similar Documents

Publication Publication Date Title
TWI744068B (zh) 資源管理系統及資源管理方法
Penmatsa et al. Game-theoretic static load balancing for distributed systems
WO2018177012A1 (zh) 一种控制带宽的方法、装置和设备
CN107992353B (zh) 一种基于最小迁移量的容器动态迁移方法及系统
US20100262973A1 (en) Method For Operating a Multiprocessor Computer System
Wided et al. Load balancing with Job Migration Algorithm for improving performance on grid computing: Experimental Results
CN103731372A (zh) 一种混合云环境下服务提供者的资源供应方法
CN107122233A (zh) 一种面向tsn业务的多vcpu自适应实时调度方法
CN116700993B (zh) 一种负载均衡方法、装置、设备及可读存储介质
Wen et al. Load balancing job assignment for cluster-based cloud computing
Zubair et al. Integration of cloud-fog based platform for load balancing using hybrid genetic algorithm using bin packing technique
Patel et al. Energy and cost trade-off for computational tasks offloading in mobile multi-tenant clouds
CN108965168A (zh) 一种基于效用函数的车联网占优资源公平分配优化方法
Saeed et al. Load balancing on cloud analyst using first come first serve scheduling algorithm
CN114518949A (zh) 资源管理系统及资源管理方法
Zhou et al. Dynamic computation offloading scheme for fog computing system with energy harvesting devices
Dong et al. Task-aware flow scheduling with heterogeneous utility characteristics for data center networks
Patil et al. Resource allocation and scheduling in the cloud
CN106354673A (zh) 基于多dma队列的数据传输方法和装置
Li et al. Deep reinforcement learning-based power and caching joint optimal allocation over mobile edge computing
Rahman et al. Group based resource management and pricing model in cloud computing
Wang et al. Edge-cloud resource trade collaboration scheme in mobile edge computing
US11659445B2 (en) Device coordination for distributed edge computations
Tiwari et al. Energy Cognizant Scheduling in Three-Layer Cloud Architecture: A Systematic Review
Patel et al. A new approach for grid load balancing among heterogeneous resources with bandwidth consideration