TWI766387B - 一種具延遲感知負載平衡的反向代理方法和存儲裝置 - Google Patents

一種具延遲感知負載平衡的反向代理方法和存儲裝置 Download PDF

Info

Publication number
TWI766387B
TWI766387B TW109134810A TW109134810A TWI766387B TW I766387 B TWI766387 B TW I766387B TW 109134810 A TW109134810 A TW 109134810A TW 109134810 A TW109134810 A TW 109134810A TW I766387 B TWI766387 B TW I766387B
Authority
TW
Taiwan
Prior art keywords
server
service
edge server
resource
reverse proxy
Prior art date
Application number
TW109134810A
Other languages
English (en)
Other versions
TW202215262A (zh
Inventor
謝金生
徐良樹
林安笛
王蒞君
黃承森
Original Assignee
智捷科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 智捷科技股份有限公司 filed Critical 智捷科技股份有限公司
Priority to TW109134810A priority Critical patent/TWI766387B/zh
Priority to CN202011068027.6A priority patent/CN114301922A/zh
Publication of TW202215262A publication Critical patent/TW202215262A/zh
Application granted granted Critical
Publication of TWI766387B publication Critical patent/TWI766387B/zh

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一種具延遲感知負載平衡的反向代理方法和存儲裝置，其方法之步驟：將反向代理伺服器、應用服務和服務自動伸縮控制器以軟體自訂結構設置於邊緣伺服器中；通過邊緣伺服器中的資源指標伺服器監控邊緣伺服器的內外使用資源參數；根據內外使用資源參數對應用服務擴展數量進行調整，通過將反向代理伺服器與應用服務設置於邊緣伺服器中，藉由邊緣伺服器中的內部通訊可大大減少資料於網路傳輸中的時間花費，進而減少客戶等待服務的響應延遲。

Description

一種具延遲感知負載平衡的反向代理方法和存儲裝置
本發明涉及反向代理技術領域，特別涉及一種具延遲感知負載平衡的反向代理方法和存儲裝置。
Reverse Proxy Server反向代理伺服器為一用戶端和伺服器之間的通信的仲介，在接受來自用戶端的請求後，將其轉發到可以滿足該請求的伺服器，然後將伺服器的回應返回給用戶端，由於用戶端僅能看到反向代理的IP位元址，因此服務提供者可以自由更改後端基礎結構的配置，經由上下擴展伺服器的數量以匹配流量的波動。因此，反向代理伺服器除了視為一個網站的公開面孔外，亦能當作一個Load Balancing負載平衡控制器。
雖然Reverse Proxy Server反向代理伺服器提供了後端服務的可擴展性和靈活性，但由於反向代理伺服器仍需與後端各伺服器溝通，以完成反向代理工作與提供後端服務(這邊指的是各種SERVER)擴展數量之依據，因此在反向代理伺服器與後端各伺服器之間存在著內部通訊之開銷，此外亦造成後端服務擴展無法即時對應流量的波動。(因有通訊延遲，所以後端服務擴展的數量，可能無法即時與當前反向代理伺服器所收到的流量對應)。可以理解為當服務拓展數量較大，但反向代理伺服器目前可接 受的較少，或是服務拓展數量較小，但反向代理伺服器目前可接受的較多時，只要雙方數量對不起來就會延遲，效能不好。
為此，需要提供一種具延遲感知負載平衡的反向代理方法，用以解決反向代理伺服器與後端服務數量不對稱時，造成通訊延遲、效能低的問題。具體技術方案如下：一種具延遲感知負載平衡的反向代理方法，包括步驟：將反向代理伺服器、應用服務和服務自動伸縮控制器以軟體自訂結構設置於邊緣伺服器中；通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數，該內外使用資源參數包括以下中的一種或多種：邊緣伺服器外的網路傳輸量、邊緣伺服器中各應用服務的資源使用率、服務回應延遲時間；根據該內外使用資源參數對該應用服務擴展數量進行調整。
進一步的，該“通過該邊緣伺服器中的資源指標伺服器監控所述邊緣伺服器的內外使用資源參數”前，還包括步驟：回應用戶端指令，該反向代理伺服器根據該指令反向代理至當前負載最低的應用服務；該“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”，還包括步驟：該邊緣伺服器中的資源指標伺服器彙集當前邊緣伺服器中各應用服務的資源使用率和邊緣伺服器外的網路傳輸量； 該資源指標伺服器發送該當前邊緣伺服器中各應用服務的資源使用率和邊緣伺服器外的網路傳輸量至該服務自動伸縮控制器；該“根據該內外使用資源參數對該應用服務擴展數量進行調整”，還包括步驟：該服務自動伸縮控制器根據預設法則判斷是否更新應用服務數量，若更新應用服務數量，則重複步驟“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”，若不需要更新應用服務數量，則該資源指標伺服器彙集該邊緣伺服器當前各應用服務的資源使用率並發送該當前各應用服務的資源使用率至反向代理伺服器。
進一步的，該預設法則為負載平衡法則；該負載平衡法則模型包括：Container伺服器，該Container伺服器對單一請求使用者的服務時間平均為
Figure 109134810-A0305-02-0005-1
的指數分佈，其中
Figure 109134810-A0305-02-0005-2
表示第j個伺服器的運算封包服務率。
進一步的，該預設法則為負載平衡法則；該負載平衡計算流程如下：輸入：M：使用者數量；N：應用服務數量；λ i ：資料傳輸量；
Figure 109134810-A0305-02-0005-3
：計算服務功能的容量；輸出：
Figure 109134810-A0305-02-0005-4
：最佳計算伺服器之比例表格； 初始化：初始化最佳計算伺服器之比例表格
Figure 109134810-A0305-02-0006-5
，並更新時間戳記t U ；迴圈開始：於時間戳記t U 前的每次間格中搜尋多接取邊緣運算(Multi-access Edge Computing，以下簡稱MEC)中最大計算服務功能的容量
Figure 109134810-A0305-02-0006-6
；更新先前紀錄之MEC計算服務功能的容量，
Figure 109134810-A0305-02-0006-7
；更新最佳計算伺服器之比例表格
Figure 109134810-A0305-02-0006-8
；結束迴圈。
進一步的，該“根據該內外使用資源參數對該應用服務擴展數量進行調整”，還包括步驟：該服務自動伸縮控制器通過Pod水準自動擴展對該應用服務擴展數量進行調整；所需Pod容器數量=ceil[當前Pod容器數量*(當前度量值/指定目標值)]。
為解決上述技術問題，還提供了一種存儲裝置，具體技術方案如下：一種存儲裝置，其中存儲有指令集，該指令集用於執行：將反向代理伺服器、應用服務和服務自動伸縮控制器以軟體自訂結構設置於邊緣伺服器中；通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數，該內外使用資源參數包括以下中的一種或多種：邊 緣伺服器外的網路傳輸量、邊緣伺服器中各應用服務的資源使用率、服務回應延遲時間；根據該內外使用資源參數對該應用服務擴展數量進行調整。
進一步的，該指令集還用於執行：該“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”前，還包括步驟：回應用戶端指令，該反向代理伺服器根據該指令反向代理至當前負載最低的應用服務；該“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”，還包括步驟：該邊緣伺服器中的資源指標伺服器彙集當前邊緣伺服器中各應用服務的資源使用率和邊緣伺服器外的網路傳輸量；該資源指標伺服器發送該當前邊緣伺服器中各應用服務的資源使用率和邊緣伺服器外的網路傳輸量至該服務自動伸縮控制器；該“根據該內外使用資源參數對該應用服務擴展數量進行調整”，還包括步驟：該服務自動伸縮控制器根據預設法則判斷是否更新應用服務數量，若更新應用服務數量，則重複步驟“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”，若不需要更新應用服務數量，則該資源指標伺服器彙集該邊緣伺服器當前各應用服務的資源使用率並發送該當前各應用服務的資源使用率至反向代理伺服器。
進一步的，該指令集還用於執行：該預設法則為負載平衡法 則；該負載平衡法則模型包括：Container伺服器，該Container伺服器對單一請求使用者的服務時間平均為
Figure 109134810-A0305-02-0008-9
的指數分佈，其中
Figure 109134810-A0305-02-0008-10
表示第j個伺服器的運算封包服務率。
進一步的，該指令集還用於執行：該預設法則為負載平衡法則；該負載平衡計算流程如下：輸入：M：使用者數量；N：應用服務數量；λ i ：資料傳輸量；
Figure 109134810-A0305-02-0008-11
：計算服務功能的容量；輸出：
Figure 109134810-A0305-02-0008-12
：最佳計算伺服器之比例表格；初始化：初始化最佳計算伺服器之比例表格
Figure 109134810-A0305-02-0008-13
，並更新時間戳記t U ；迴圈開始：於時間戳記t U 前的每次間格中搜尋MEC中最大計算服務功能的容量
Figure 109134810-A0305-02-0008-14
；更新先前紀錄之MEC計算服務功能的容量，
Figure 109134810-A0305-02-0008-15
；更新最佳計算伺服器之比例表格
Figure 109134810-A0305-02-0008-16
；結束迴圈。
進一步的，該指令集還用於執行：該“根據該內外使用資源參數對該應用服務擴展數量進行調整”，還包括步驟：該服務自動伸縮控制器通過Pod水準自動擴展對該應用服務擴展數量進行調整；所需Pod容器數量=ceil[當前Pod容器數量*(當前度量值/指定目標值)]。
本發明的有益效果是：將反向代理伺服器、應用服務和服務自動伸縮控制器以軟體自訂結構設置於邊緣伺服器中；通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數，該內外使用資源參數包括以下中的一種或多種：邊緣伺服器外的網路傳輸量、邊緣伺服器中各應用服務的資源使用率、服務回應延遲時間；根據該內外使用資源參數對該應用服務擴展數量進行調整。通過將反向代理伺服器與應用服務設置於邊緣伺服器中，藉由邊緣伺服器中的內部通訊可大大減少資料於網路傳輸中的時間花費，進而減少客戶等待服務的響應延遲。此外通過邊緣伺服器內的資源指標伺服器來監控該邊緣伺服器的內外使用資源參數，進而根據該內外使用資源參數來對該應用服務擴展數量進行調整，可以使得邊緣伺服器的效能最大化以提供用戶端低回應延遲的服務。
500:存儲裝置
圖1係本發明較佳實施例之具延遲感知負載平衡的反向代理方法的流程圖一。
圖2係本發明較佳實施例之具延遲感知負載平衡的反向代理方法的流程圖二。
圖3係本發明較佳實施例之SDA架構示意圖。
圖4係本發明較佳實施例之負載平衡法則模型示意圖。
圖5係本發明較佳實施例之存儲裝置的模組示意圖。
為詳細說明技術方案的技術內容、構造特徵、所實現目的及效果，以下結合較佳實施例並配合附圖詳予說明。
請參閱圖1至圖4，在本較佳實施例之方式中，一種具延遲感知負載平衡的反向代理方法可應用在一種存儲裝置上，該存儲裝置包括但不限於：個人電腦、伺服器、通用電腦、專用電腦、網路設備、嵌入式設備、可程式設計設備、智慧移動終端等。
本申請的核心技術點在於：其一將反向代理伺服器與應用服務設置於邊緣伺服器中，利用邊緣伺服器中的內部通訊可大大減少資料於網路傳輸中的時間花費，進而減少客戶等待服務的響應延遲。其二通過邊緣伺服器內的資源指標伺服器來監控該邊緣伺服器的內外使用資源參數，進而根據該內外使用資源參數來對該應用服務擴展數量進行調整，可以使得邊緣伺服器的效能最大化以提供用戶端低回應延遲的服務。
以下進行具體說明，首先對文中與附圖中的一些中英文進行對應說明：資源指標伺服器：Metrics Server。
邊緣伺服器：Edge Server。
POD水準自動擴展：Horizontal Pod Austoscaler。
反向代理伺服器：Reverse Proxy Server。
SDA：Software-Defined Architecture。
Application Service：應用服務。
具體的層級架構與連接請參閱圖3，以下也進行具體說明：以容器管理系統Kubernetes開源系統架設：資源指標伺服器Metrics Server、Reverse Proxy Server、Pod水準自動擴展縮Horizontal Pod Autoscaler各應用服務Application Service。以下展開具體說明：
1、資源指標伺服器Metrics Server：(負責監控的)是在邊緣伺服器裡面：1)、監控與彙集Edge Server系統中各Application Service當前使用的資源狀態，以及Edge Server的網路傳輸量；2)、回報監控與彙集給Reverse Proxy Server與Horizontal Pod Autoscaler。
2、Reverse Proxy Server：1)、反向代理Application Service；2)、平衡Edge Server中各Application Service之負載。
3、Horizontal Pod Autoscaler：自動擴展與部署Application Service。
請參閱圖1，該一種具延遲感知負載平衡的反向代理方法的具體實施如下：
步驟S101：將反向代理伺服器、應用服務和服務自動伸縮控制器以軟體自訂結構設置於邊緣伺服器中。
步驟S102：通過該邊緣伺服器中的資源指標伺服器監控該 邊緣伺服器的內外使用資源參數，該內外使用資源參數包括以下中的一種或多種：邊緣伺服器外的網路傳輸量、邊緣伺服器中各應用服務的資源使用率、服務回應延遲時間。
步驟S103：根據該內外使用資源參數對該應用服務擴展數量進行調整。
將反向代理伺服器、應用服務和服務自動伸縮控制器以軟體自訂結構設置於邊緣伺服器中；通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數，該內外使用資源參數包括以下中的一種或多種：邊緣伺服器外的網路傳輸量、邊緣伺服器中各應用服務的資源使用率、服務回應延遲時間；根據該內外使用資源參數對該應用服務擴展數量進行調整。通過將反向代理伺服器與應用服務設置於邊緣伺服器中，藉由邊緣伺服器中的內部通訊可大大減少資料於網路傳輸中的時間花費，進而減少客戶等待服務的響應延遲。此外通過邊緣伺服器內的資源指標伺服器來監控該邊緣伺服器的內外使用資源參數，進而根據該內外使用資源參數來對該應用服務擴展數量進行調整，可以使得邊緣伺服器的效能最大化以提供用戶端低回應延遲的服務。
請參閱圖2，在該“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”前，還包括步驟S201：回應用戶端指令，該反向代理伺服器根據該指令反向代理至當前負載最低的應用服務。
步驟S202：該邊緣伺服器中的資源指標伺服器彙集當前邊緣伺服器中各應用服務的資源使用率和邊緣伺服器外的網路傳輸量。
步驟S203：該資源指標伺服器發送該當前邊緣伺服器中各 應用服務的資源使用率和邊緣伺服器外的網路傳輸量至該服務自動伸縮控制器。
步驟S204：該服務自動伸縮控制器根據預設法則判斷是否更新應用服務數量？若更新應用服務數量，則重複步驟202和步驟S203。
若不需要更新應用服務數量，則執行步驟S205：則該資源指標伺服器彙集該邊緣伺服器當前各應用服務的資源使用率並發送該當前各應用服務的資源使用率至反向代理伺服器。
請參閱圖4，在本實施方式中，該預設法則為負載平衡法則； 該負載平衡法則模型包括：Container伺服器，該Container伺服器對單一請求使用者的服務時間平均為
Figure 109134810-A0305-02-0013-17
的指數分佈，其中
Figure 109134810-A0305-02-0013-18
表示第j個伺服器的運算封包服務率。R P 是包含了N×N個參數的運算服務鏈Service Chain卸載表(computing offloading ratio table)。
Figure 109134810-A0305-02-0013-19
表示運算流量從第j個Container卸載到第s個Container的機率。在MEC系統中，單一Container的運算流量可能由系統中所有的Container卸載處理，數學關係式為
Figure 109134810-A0305-02-0013-63
。
在此架構模型中，我們採用的負載平衡演算法計算流程如下：輸入：M：使用者數量。
N：應用服務數量。
λ i ：資料傳輸量。
Figure 109134810-A0305-02-0014-21
：計算服務功能的容量。
輸出：
Figure 109134810-A0305-02-0014-22
：最佳計算伺服器之比例表格。
初始化：初始化最佳計算伺服器之比例表格
Figure 109134810-A0305-02-0014-23
，並更新時間戳記t U 。
循環開始：於時間戳記t U 前的每次間格中搜尋MEC中最大計算服務功能的容量
Figure 109134810-A0305-02-0014-24
。
更新先前紀錄之MEC計算服務功能的容量，
Figure 109134810-A0305-02-0014-25
。
更新最佳計算伺服器之比例表格
Figure 109134810-A0305-02-0014-26
。
結束循環。
在本較佳實施例之方式中，該“根據該內外使用資源參數對該應用服務擴展數量進行調整”，還包括步驟：該服務自動伸縮控制器通過Pod水準自動擴展對該應用服務擴展數量進行調整；所需Pod容器數量=ceil[當前Pod容器數量*(當前度量值/指定目標值)]。具體可如下：Pod水準自動擴展(Horizontal Pod Autoscaler,HPA)為管理容器化開源系統-Kubernetes所提供之一應用程式介面(Application Programming Interface,API)，可根據觀察到的指標來自動縮放複製與部署Kubernetes中的Pod容器。HPA可視為一資源確定控制器，會定期調整部署中Pod容器的數量，以使觀察到的平均指針使用率與指定的目標相匹配，其最基本的配置法則為以所需指定目標值與當前度量值之間的比率運行：所需Pod容器數量=ceil[當前Pod容器數量×(當前度量值/指定目標值)]。
請參閱圖5，在本較佳實施例之方式中，一種存儲裝置500的具體實施方式如下：一種存儲裝置500，其中存儲有指令集，該指令集用於執行：將反向代理伺服器、應用服務和服務自動伸縮控制器以軟體自訂結構設置於邊緣伺服器中；通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數，該內外使用資源參數包括以下中的一種或多種：邊緣伺服器外的網路傳輸量、邊緣伺服器中各應用服務的資源使用率、服務回應延遲時間；根據該內外使用資源參數對該應用服務擴展數量進行調整。
其中具體的層級架構與連接請參閱圖3，以下也進行具體說明：以容器管理系統Kubernetes開源系統架設：資源指標伺服器Metrics Server、Reverse Proxy Server、Pod水準自動擴展縮Horizontal Pod Autoscaler各應用服務Application Service。以下展開具體說明：
1、資源指標伺服器Metrics Server：(負責監控的)是在邊緣伺服器裡面：1)、監控與彙集Edge Server系統中各Application Service當前使用的資源狀態，以及Edge Server的網路傳輸量；2)、回報監控與彙集給Reverse Proxy Server與Horizontal Pod Autoscaler。
2、Reverse Proxy Server：1)、反向代理Application Service；2)、平衡Edge Server中各Application Service之負載。
3、Horizontal Pod Autoscaler：自動擴展與部署Application Service。
將反向代理伺服器、應用服務和服務自動伸縮控制器以軟體自訂結構設置於邊緣伺服器中；通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數，該內外使用資源參數包括以下中的一種或多種：邊緣伺服器外的網路傳輸量、邊緣伺服器中各應用服務的資源使用率、服務回應延遲時間；根據該內外使用資源參數對該應用服務擴展數量進行調整。通過將反向代理伺服器與應用服務設置於邊緣伺服器中，藉由邊緣伺服器中的內部通訊可大大減少資料於網路傳輸中的時間花費，進而減少客戶等待服務的響應延遲。此外通過邊緣伺服器內的資源指標伺服器來監控該邊緣伺服器的內外使用資源參數，進而根據該內外使用資源參數來對該應用服務擴展數量進行調整，可以使得邊緣伺服器的效能最大化以提供用戶端低回應延遲的服務。
進一步的，該指令集還用於執行：該“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”前，還包括步驟：回應用戶端指令，該反向代理伺服器根據該指令反向代理至當前負載最低的應用服務；該“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”，還包括步驟：該邊緣伺服器中的資源指標伺服器彙集當前邊緣伺服器中各應用服務的資源使用率和邊緣伺服器外的網路傳輸量；該資源指標伺服器發送該當前邊緣伺服器中各應用服務的資源使用率和邊緣伺服器外的網路傳輸量至該服務自動伸縮控制器；該“根據該內外使用資源參數對該應用服務擴展數量進行調整”，還包括步驟：該服務自動伸縮控制器根據預設法則判斷是否更新應用服務數量，若更新應用服務數量，則重複步驟“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服 器的內外使用資源參數”，若不需要更新應用服務數量，則該資源指標伺服器彙集該邊緣伺服器當前各應用服務的資源使用率並發送該當前各應用服務的資源使用率至反向代理伺服器。
進一步的，該指令集還用於執行：該預設法則為負載平衡法則；該負載平衡法則模型包括：Container伺服器，該Container伺服器對單一請求使用者的服務時間平均為
Figure 109134810-A0305-02-0017-28
的指數分佈，其中
Figure 109134810-A0305-02-0017-29
表示第j個伺服器的運算封包服務率。R P 是包含了N×N個參數的運算服務鏈Service Chain卸載表(computing offloading ratio table)。
Figure 109134810-A0305-02-0017-30
表示運算流量從第j個Container卸載到第s個Container的機率。在MEC系統中，單一Container的運算流量可能由系統中所有的Container卸載處理，數學關係式為
Figure 109134810-A0305-02-0017-31
。
進一步的，該指令集還用於執行：該預設法則為負載平衡法則；該負載平衡計算流程如下：輸入：M：使用者數量。
N：應用服務數量。
λ i ：資料傳輸量。
Figure 109134810-A0305-02-0017-32
：計算服務功能的容量。
輸出：
Figure 109134810-A0305-02-0017-33
：最佳計算伺服器之比例表格。
初始化：初始化最佳計算伺服器之比例表格
Figure 109134810-A0305-02-0017-34
，並更新時間戳記t U 。
循環開始：於時間戳記t U 前的每次間格中搜尋MEC中最大計算服務功能的容量
Figure 109134810-A0305-02-0018-35
。
更新先前紀錄之MEC計算服務功能的容量，
Figure 109134810-A0305-02-0018-36
。
更新最佳計算伺服器之比例表格
Figure 109134810-A0305-02-0018-37
。
結束循環。
進一步的，該指令集還用於執行：該“根據該內外使用資源參數對該應用服務擴展數量進行調整”，還包括步驟：該服務自動伸縮控制器通過Pod水準自動擴展對該應用服務擴展數量進行調整；所需Pod容器數量=ceil[當前Pod容器數量*(當前度量值/指定目標值)]。具體可如下：Pod水準自動擴展(Horizontal Pod Autoscaler,HPA)為管理容器化開源系統-Kubernetes所提供之一應用程式介面(Application Programming Interface,API)，可根據觀察到的指標來自動縮放複製與部署Kubernetes中的Pod容器。HPA可視為一資源確定控制器，會定期調整部署中Pod容器的數量，以使觀察到的平均指針使用率與指定的目標相匹配，其最基本的配置法則為以所需指定目標值與當前度量值之間的比率運行：所需Pod容器數量=ceil[當前Pod容器數量×(當前度量值/指定目標值)]。
度量值為當前系統量測後計算出的平均服務相應延遲，目標值則為設定時給定的預期服務響應延遲。
需要說明的是，儘管在本文中已經對上述各實施例進行了描述，但並非因此限制本發明的專利保護範圍。因此，基於本發明的創新理念，對本文所述實施例進行的變更和修改，或利用本發明說明書及附圖內 容所作的等效結構或等效流程變換，直接或間接地將以上技術方案運用在其他相關的技術領域，均包括在本發明的專利保護範圍之內。

Claims (8)

  1. 一種具延遲感知負載平衡的反向代理方法，其包括步驟：將反向代理伺服器、應用服務和服務自動伸縮控制器以軟體自訂結構設置於邊緣伺服器中；通過所述邊緣伺服器中的資源指標伺服器監控所述邊緣伺服器的內外使用資源參數，所述內外使用資源參數包括以下中的一種或多種：邊緣伺服器外的網路傳輸量、邊緣伺服器中各應用服務的資源使用率、服務回應延遲時間；根據所述內外使用資源參數對所述應用服務擴展數量進行調整；該“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”前，還包括步驟：回應用戶端指令，該反向代理伺服器根據該指令反向代理至當前負載最低的應用服務；該“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”，還包括步驟：該邊緣伺服器中的資源指標伺服器彙集當前邊緣伺服器中各應用服務的資源使用率和邊緣伺服器外的網路傳輸量；該資源指標伺服器發送該當前邊緣伺服器中各應用服務的資源使用率和邊緣伺服器外的網路傳輸量至該服務自動伸縮控制器；該“根據該內外使用資源參數對該應用服務擴展數量進行調整”，還包括步驟：該服務自動伸縮控制器根據預設法則判斷是否更新應用服務數量，若更新應用服務數量，則重複步驟“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”，若不需要更新應用服務數量，則該資源指標伺服器彙集該邊緣伺服器當前各應用服務的資源使用率並發送該當前各應用服務的資源使用率至反向代理伺服器。
  2. 如請求項1所述的具延遲感知負載平衡的反向代理方法，其中：該預設法則為負載平衡法則；該負載平衡法則模型包括：Container伺服器，該Container伺服器對單一請 求使用者的服務時間平均為
    Figure 109134810-A0305-02-0020-38
    的指數分佈，其中
    Figure 109134810-A0305-02-0020-39
    表示第j個伺服器的運算封包服務率。
  3. 如請求項1所述的具延遲感知負載平衡的反向代理方法，其 中：該預設法則為負載平衡法則；該負載平衡計算流程如下：輸入：M：使用者數量；N：應用服務數量；λ i ：資料傳輸量；
    Figure 109134810-A0305-02-0021-40
    ：計算服務功能的容量；輸出：
    Figure 109134810-A0305-02-0021-41
    ：最佳計算伺服器之比例表格； 初始化：初始化最佳計算伺服器之比例表格
    Figure 109134810-A0305-02-0021-43
    ，並更新時間戳記t U ；迴圈開始：於時間戳記t U 前的每次間格中搜尋多接取邊緣運算中最大計算服務功能的 容量
    Figure 109134810-A0305-02-0021-44
    ； 更新先前紀錄之多接取邊緣運算計算服務功能的容量，
    Figure 109134810-A0305-02-0021-45
    ； 更新最佳計算伺服器之比例表格
    Figure 109134810-A0305-02-0021-46
    ； 結束迴圈。
  4. 如請求項1所述的具延遲感知負載平衡的反向代理方法，其中：該“根據該內外使用資源參數對該應用服務擴展數量進行調整”，還包括步驟：該服務自動伸縮控制器通過Pod水準自動擴展對該應用服務擴展數量進行調整；所需Pod容器數量=ceil[當前Pod容器數量*(當前度量值/指定目標值)]。
  5. 一種存儲裝置，存儲有用以執行具延遲感知負載平衡的反向代理方法的指令集，其中：該指令集用於執行：將反向代理伺服器、應用服務和服務自動伸縮控制器以軟體自訂結構設置於邊緣伺服器中；通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數，該內外使用資源參數包括以下中的一種或多種：邊緣伺服器外的網路傳輸量、邊緣伺服器中各應用服務的資源使用率、服務回應延遲時間；根據該內外使用資源參數對該應用服務擴展數量進行調整；該指令集還用於執行：該“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內 外使用資源參數”前，還包括步驟：回應用戶端指令，該反向代理伺服器根據該指令反向代理至當前負載最低的應用服務；該“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”，還包括步驟：該邊緣伺服器中的資源指標伺服器彙集當前邊緣伺服器中各應用服務的資源使用率和邊緣伺服器外的網路傳輸量；該資源指標伺服器發送該當前邊緣伺服器中各應用服務的資源使用率和邊緣伺服器外的網路傳輸量至該服務自動伸縮控制器；該“根據該內外使用資源參數對該應用服務擴展數量進行調整”，還包括步驟：該服務自動伸縮控制器根據預設法則判斷是否更新應用服務數量，若更新應用服務數量，則重複步驟“通過該邊緣伺服器中的資源指標伺服器監控該邊緣伺服器的內外使用資源參數”，若不需要更新應用服務數量，則該資源指標伺服器彙集該邊緣伺服器當前各應用服務的資源使用率並發送該當前各應用服務的資源使用率至反向代理伺服器。
  6. 如請求項5所述的存儲裝置，其中：該指令集還用於執行：該預設法則為負載平衡法則；該負載平衡法則模型包括：Container伺服器，該Container伺服器對單一請 求使用者的服務時間平均為
    Figure 109134810-A0305-02-0022-47
    的指數分佈，其中
    Figure 109134810-A0305-02-0022-49
    表示第j個伺服器的運算封包服務率。
  7. 如請求項5所述的存儲裝置，其中：該指令集還用於執行：該預設法則為負載平衡法則；該負載平衡計算流程如下：輸入：M：使用者數量；N：應用服務數量；λ i ：資料傳輸量；
    Figure 109134810-A0305-02-0022-50
    ：計算服務功能的容量；輸出：
    Figure 109134810-A0305-02-0022-51
    ：最佳計算伺服器之比例表格； 初始化：初始化最佳計算伺服器之比例表格
    Figure 109134810-A0305-02-0023-52
    ，並更新時間戳記t U ；迴圈開始：於時間戳記t U 前的每次間格中搜尋多接取邊緣運算中最大計算服務功能的 容量
    Figure 109134810-A0305-02-0023-53
    ； 更新先前紀錄之多接取邊緣運算計算服務功能的容量，
    Figure 109134810-A0305-02-0023-54
    ； 更新最佳計算伺服器之比例表格
    Figure 109134810-A0305-02-0023-55
    ；結束迴圈。
  8. 如請求項5所述的存儲裝置，其中：該指令集還用於執行：該“根據該內外使用資源參數對該應用服務擴展數量進行調整”，還包括步驟：該服務自動伸縮控制器通過Pod水準自動擴展對該應用服務擴展數量進行調整；所需Pod容器數量=ceil[當前Pod容器數量*(當前度量值/指定目標值)]。
TW109134810A 2020-10-07 2020-10-07 一種具延遲感知負載平衡的反向代理方法和存儲裝置 TWI766387B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109134810A TWI766387B (zh) 2020-10-07 2020-10-07 一種具延遲感知負載平衡的反向代理方法和存儲裝置
CN202011068027.6A CN114301922A (zh) 2020-10-07 2020-10-08 一种具延迟感知负载平衡的反向代理方法和存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109134810A TWI766387B (zh) 2020-10-07 2020-10-07 一種具延遲感知負載平衡的反向代理方法和存儲裝置

Publications (2)

Publication Number Publication Date
TW202215262A TW202215262A (zh) 2022-04-16
TWI766387B true TWI766387B (zh) 2022-06-01

Family

ID=80964075

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109134810A TWI766387B (zh) 2020-10-07 2020-10-07 一種具延遲感知負載平衡的反向代理方法和存儲裝置

Country Status (2)

Country Link
CN (1) CN114301922A (zh)
TW (1) TWI766387B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821038B (zh) * 2022-11-22 2023-11-01 財團法人工業技術研究院 運算工作分派方法及應用其之終端電子裝置與運算系統

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101595476A (zh) * 2006-08-31 2009-12-02 启创互联公司 用于客户定义信息架构的系统、方法和计算机程序
CN103858157A (zh) * 2011-09-27 2014-06-11 甲骨文国际公司 用于通信量引导器环境中的资源服务器的动态发现和配置的系统和方法
TWI470435B (zh) * 2009-09-18 2015-01-21 Intel Corp 為本地與遠端實體記憶體間之共用虛擬記憶體提供硬體支援
TWI546688B (zh) * 2014-02-18 2016-08-21 群暉科技股份有限公司 對網路位址進行處理的方法及相關的伺服器與非暫態電腦可讀取儲存媒體
CN107667517A (zh) * 2015-06-03 2018-02-06 瑞典爱立信有限公司 用于能够实现第二容器上的反向代理的在第一服务容器内的被植入代理器
CN109150616A (zh) * 2018-09-03 2019-01-04 成都嗨翻屋科技有限公司 一种可自动增加https入口的智能型网关及其工作方法
JP6476995B2 (ja) * 2015-02-24 2019-03-06 沖電気工業株式会社 中継装置、コンテンツ配信システム、中継方法およびプログラム
CN110837418A (zh) * 2019-11-06 2020-02-25 浪潮云信息技术有限公司 一种基于容器的高并发web系统及实现方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109362064A (zh) * 2018-09-14 2019-02-19 重庆邮电大学 在移动边缘计算网络中基于mec的任务缓存分配策略
CN110933134A (zh) * 2019-10-30 2020-03-27 中国科学院计算机网络信息中心 一种面向工业互联网的边缘计算服务器负载均衡方法及系统
CN111444009B (zh) * 2019-11-15 2022-10-14 北京邮电大学 一种基于深度强化学习的资源分配方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101595476A (zh) * 2006-08-31 2009-12-02 启创互联公司 用于客户定义信息架构的系统、方法和计算机程序
TWI470435B (zh) * 2009-09-18 2015-01-21 Intel Corp 為本地與遠端實體記憶體間之共用虛擬記憶體提供硬體支援
CN103858157A (zh) * 2011-09-27 2014-06-11 甲骨文国际公司 用于通信量引导器环境中的资源服务器的动态发现和配置的系统和方法
US8914502B2 (en) * 2011-09-27 2014-12-16 Oracle International Corporation System and method for dynamic discovery of origin servers in a traffic director environment
TWI546688B (zh) * 2014-02-18 2016-08-21 群暉科技股份有限公司 對網路位址進行處理的方法及相關的伺服器與非暫態電腦可讀取儲存媒體
JP6476995B2 (ja) * 2015-02-24 2019-03-06 沖電気工業株式会社 中継装置、コンテンツ配信システム、中継方法およびプログラム
CN107667517A (zh) * 2015-06-03 2018-02-06 瑞典爱立信有限公司 用于能够实现第二容器上的反向代理的在第一服务容器内的被植入代理器
CN109150616A (zh) * 2018-09-03 2019-01-04 成都嗨翻屋科技有限公司 一种可自动增加https入口的智能型网关及其工作方法
CN110837418A (zh) * 2019-11-06 2020-02-25 浪潮云信息技术有限公司 一种基于容器的高并发web系统及实现方法

Also Published As

Publication number Publication date
CN114301922A (zh) 2022-04-08
TW202215262A (zh) 2022-04-16

Similar Documents

Publication Publication Date Title
US11012892B2 (en) Resource obtaining method, apparatus, and system
US11888756B2 (en) Software load balancer to maximize utilization
CN109684358B (zh) 数据查询的方法和装置
US20150213134A1 (en) Data query method and system and storage medium
CN110545246A (zh) 一种基于令牌桶的限流方法和装置
WO2020199487A1 (zh) 访问请求的响应方法、装置、设备及存储介质
CN111786895A (zh) 动态全局限流的方法和装置
WO2020019743A1 (zh) 流量控制方法及装置
CN112860695B (zh) 监控数据查询方法、装置、设备、存储介质及程序产品
US20130117438A1 (en) Methods for adapting application services based on current server usage and devices thereof
US20230161541A1 (en) Screen projection method and system
CN113381944A (zh) 系统限流方法、装置、电子设备、介质和程序产品
WO2022242361A1 (zh) 数据下载方法、装置、计算机设备和存储介质
US9386353B2 (en) Child node, parent node, and caching method and system for multi-layer video network
CN114339135A (zh) 一种负载均衡方法、装置、电子设备和存储介质
TWI766387B (zh) 一種具延遲感知負載平衡的反向代理方法和存儲裝置
Chen et al. Latency minimization for mobile edge computing networks
WO2022057727A1 (zh) 网络质量确定方法、装置、电子设备和可读存储介质
WO2020134753A1 (zh) 请求消息处理方法、装置及系统、服务器、存储介质
CN113810461B (zh) 带宽控制方法、装置、设备及可读存储介质
JP2023031248A (ja) エッジコンピューティングネットワーク、データ伝送方法、装置、機器、及び記憶媒体
CN112073223B (zh) 一种管控云计算终端和云服务器运作的系统及其方法
US20020002616A1 (en) Method and apparatus for providing multimedia service in network environment
CN111988403A (zh) 电子设备的请求处理方法、系统、存储介质和电子设备
US11799750B1 (en) Systems and methods for HPACK table restoration