JP7330602B2 - インテリジェントロードバランサ - Google Patents
インテリジェントロードバランサ Download PDFInfo
- Publication number
- JP7330602B2 JP7330602B2 JP2021577218A JP2021577218A JP7330602B2 JP 7330602 B2 JP7330602 B2 JP 7330602B2 JP 2021577218 A JP2021577218 A JP 2021577218A JP 2021577218 A JP2021577218 A JP 2021577218A JP 7330602 B2 JP7330602 B2 JP 7330602B2
- Authority
- JP
- Japan
- Prior art keywords
- requests
- time
- network
- request
- time window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 8
- 238000012856 packing Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims 1
- 238000013459 approach Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013179 statistical model Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/83—Admission control; Resource allocation based on usage prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1014—Server selection for load balancing based on the content of a request
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1021—Server selection for load balancing based on client or server locations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5019—Workload prediction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Description
Claims (20)
- 複数のアプリケーションサーバを含むデータセンタと、
複数のクライアントデバイスを含むクライアントネットワークであって、前記複数のクライアントデバイスは、前記アプリケーションサーバによって処理されるリクエストを生成する、前記クライアントネットワークと、
前記リクエストが前記クライアントネットワークと前記データセンタとの間をそれを介して移動するネットワークと、
予測されたネットワークイベントに基づいた優先度ツリーを使用して前記アプリケーションサーバ間で前記リクエストをルーティングするように構成された1つ以上のロードバランサと
を含み、前記1つ以上のロードバランサは、
時間間隔に対応する幅を有する時間ウィンドウを生成することと、
一連の将来の時間を通して前記時間ウィンドウを段階的に移動させることと、
前記一連の将来の時間毎に、前記時間ウィンドウに含まれる前記時間間隔内の個別の前記将来の時間における個別のリクエストタイプの予想されるリクエストの最も可能性の高い数を判定するために、前記時間ウィンドウに確率モデルを適用することと、
前記一連の将来の時間毎の前記個別のリクエストタイプの予想されるリクエストの前記最も可能性の高い数に基づいて、ビンパッキングルーチンを用いて、予想されるリクエスト及び予想されるリクエストタイプに対応するノードを含む優先度ツリーを生成することと、
前記ロードバランサにおいて受信したリクエストを前記優先度ツリーの個別のノードに割り当てることと、
前記個別のノードへの個別のリクエストの前記割り当てに基づいて、前記個別のリクエストを個別のアプリケーションサーバにルーティングすること
を含む動作を実施することによって前記優先度ツリーを生成及び使用する、
クラウドプラットフォーム。 - 前記クライアントネットワークは、クライアントインスタンスの一部として前記ネットワークを介して前記データセンタと相互作用する、請求項1に記載のクラウドプラットフォーム。
- 前記確率モデルは、ポアソン確率分布又はガウス確率分布の内の1つを含む、請求項1に記載のクラウドプラットフォーム。
- 前記リクエストタイプは、前記クライアントデバイスによって生成されたリクエストと関連付けられた異なるタイプのデータ又はクエリに対応する、請求項1に記載のクラウドプラットフォーム。
- 前記優先度ツリーは、リクエストがいつ到来すると予想されるかに基づいた、時間的に順序付けられたノードのセットを含む、請求項1に記載のクラウドプラットフォーム。
- 前記1つ以上のロードバランサは、
前記個別のノードと関連付けられた時間が経過した後に、対応する要求が受信されなかったノードを削除するように、前記優先度ツリーを更新すること
を含む動作を更に実施する、請求項1に記載のクラウドプラットフォーム。 - 前記1つ以上のロードバランサは、
前記時間ウィンドウが前記一連の将来の時間を通って移動するときにノードを追加するように前記優先度ツリーを更新すること
を含む動作を更に実施する、請求項1に記載のクラウドプラットフォーム。 - 個別のノードにリクエストを割り当てることは、前記個別のリクエストの到来時間とリクエストタイプの内の一方又は両方に基づく、請求項1に記載のクラウドプラットフォーム。
- 時間ウィンドウを指定された時間増分で時間的に前方に移動させることであって、前記時間ウィンドウは、時間間隔に対応する幅を有することと、
前記時間ウィンドウが時間的に前方に移動させられるとき、前記時間ウィンドウが移動させられる個別の時間増分に対応する時間毎に1つ以上のリクエストタイプの各々に対してリクエストの予想数を判定することと、
異なる将来の時間における1つ以上のリクエストタイプの各々に対するリクエストの前記予想数に基づいて、ビンパッキングルーチンを用いて、ノードを含む優先度ツリーを生成することであって、各ノードは、将来の時間における個別のリクエストタイプの予想されるリクエストに対応することと、
リクエストが受信されるとき、各リクエストを前記優先度ツリーの個別のノードに割り当てることであって、個別のリクエストの割り当ては、前記個別のノードと関連付けられたネットワークリソースにルーティングされる前記個別のリクエストに対応すること
の動作を含む、ネットワーク上のリクエストを分散するための方法。 - 前記ネットワークは、クラウドプラットフォーム上のクライアントインスタンスの一部である、請求項9に記載の方法。
- 時間毎に1つ以上のリクエストタイプの各々に対してリクエストの前記予想数を判定することは、確率モデルを時間毎に前記時間ウィンドウに適用することを含む、請求項9に記載の方法。
- 前記確率モデルは、ポアソン確率分布又はガウス確率分布の内の1つを含む、請求項11に記載の方法。
- 前記1つ以上のリクエストタイプは、異なるタイプのデータに対する、又は前記ネットワーク上のクライアントデバイスにより異なるクエリ毎に生成されるリクエストを含む、請求項9に記載の方法。
- 前記優先度ツリーは、リクエストがいつ到来すると予想されるかに基づいた、時間的に順序付けられたノードのセットを含む、請求項9に記載の方法。
- 前記時間ウィンドウが時間的に前方に移動せられるときに前記優先度ツリーを更新することを更に含む、請求項9に記載の方法。
- 格納されたルーチンを実行するように構成された処理コンポーネントと、
実行可能ルーチンを格納するように構成されたメモリコンポーネントであって、前記実行可能ルーチンは、前記処理コンポーネントによって実行される場合に、
時間ウィンドウを指定された時間増分で時間的に前方に移動させることであって、前記時間ウィンドウは、時間間隔に対応する幅を有することと、
前記時間ウィンドウが時間的に前方に移動させられるとき、前記時間ウィンドウが移動させられる個別の時間増分に対応する時間毎に1つ以上のリクエストタイプの各々に対してリクエストの予想数を判定することと、
異なる将来の時間における1つ以上のリクエストタイプの各々に対するリクエストの前記予想数に基づいて、ビンパッキングルーチンを用いて、ノードを含む優先度ツリーを生成することであって、各ノードは、将来の時間における個別のリクエストタイプの予想されるリクエストに対応することと、
リクエストが受信されるとき、各リクエストを前記優先度ツリーの個別のノードに割り当てることであって、個別のリクエストの割り当ては、前記個別のノードと関連付けられたネットワークリソースにルーティングされる前記個別のリクエストに対応すること
を含む動作を前記処理コンポーネントに実施させる、前記メモリコンポーネントと
を含む、ロードバランサ。 - 前記ロードバランサは、クライアントインスタンス内の複数のクライアントデバイスから前記クライアントインスタンス内の複数のアプリケーションサーバにリクエストをルーティングするように構成される、請求項16に記載のロードバランサ。
- 時間毎に1つ以上のリクエストタイプの各々に対してリクエストの前記予想数を判定することは、確率モデルを時間毎に前記時間ウィンドウに適用することを含む、請求項16に記載のロードバランサ。
- 前記確率モデルは、ポアソン確率分布又はガウス確率分布の内の1つを含む、請求項18に記載のロードバランサ。
- 前記実行可能ルーチンは、前記処理コンポーネントによって実行される場合に、
前記時間ウィンドウが時間的に前方に移動させられるとき、前記優先度ツリーを更新すること
を含む動作を前記処理コンポーネントに更に実施させる、請求項16に記載のロードバランサ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/504,044 US10855808B1 (en) | 2019-07-05 | 2019-07-05 | Intelligent load balancer |
US16/504,044 | 2019-07-05 | ||
PCT/US2020/040750 WO2021007112A1 (en) | 2019-07-05 | 2020-07-02 | Intelligent load balancer |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022540785A JP2022540785A (ja) | 2022-09-20 |
JP7330602B2 true JP7330602B2 (ja) | 2023-08-22 |
Family
ID=71784708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021577218A Active JP7330602B2 (ja) | 2019-07-05 | 2020-07-02 | インテリジェントロードバランサ |
Country Status (6)
Country | Link |
---|---|
US (1) | US10855808B1 (ja) |
EP (1) | EP3994577A1 (ja) |
JP (1) | JP7330602B2 (ja) |
KR (1) | KR20220028110A (ja) |
AU (1) | AU2020310108B2 (ja) |
WO (1) | WO2021007112A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11729263B2 (en) * | 2020-09-22 | 2023-08-15 | Ribbon Communications Operating Company, Inc. | Methods, apparatus and systems for cloud native application multi-factor load balancing |
US20230071278A1 (en) * | 2021-09-03 | 2023-03-09 | International Business Machines Corporation | Using a machine learning module to determine a group of execution paths of program code and a computational resource allocation to use to execute the group of execution paths |
CN117112239B (zh) * | 2023-10-23 | 2024-02-09 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种异构推理后端上的可扩展负载均衡方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007055222A1 (ja) | 2005-11-08 | 2007-05-18 | Tohoku University | ネットワーク異常検知方法およびネットワーク異常検知システム |
JP2014502382A (ja) | 2010-09-30 | 2014-01-30 | エイ10 ネットワークス インコーポレイテッド | サーバ負荷状態に基づきサーバをバランスさせるシステムと方法 |
WO2014049943A1 (ja) | 2012-09-27 | 2014-04-03 | 日本電気株式会社 | マルチメディアデータ通信装置、方法、プログラムおよび有効データ増加率算出装置 |
US20150287057A1 (en) | 2014-04-04 | 2015-10-08 | International Business Machines Corporation | Network demand forecasting |
CN107948330A (zh) | 2018-01-04 | 2018-04-20 | 郑州云海信息技术有限公司 | 一种云环境下基于动态优先级的负载均衡策略 |
JP2019012318A (ja) | 2017-06-29 | 2019-01-24 | 富士通株式会社 | アクセス制御方法、アクセス制御装置、及びアクセス制御プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030105797A1 (en) * | 2001-12-04 | 2003-06-05 | Dan Dolev | Dynamic load balancing among a set of servers |
JP3993848B2 (ja) * | 2003-10-24 | 2007-10-17 | 株式会社日立製作所 | 計算機装置及び計算機装置の制御方法 |
US10361924B2 (en) * | 2014-04-04 | 2019-07-23 | International Business Machines Corporation | Forecasting computer resources demand |
US10554560B2 (en) * | 2014-07-21 | 2020-02-04 | Cisco Technology, Inc. | Predictive time allocation scheduling for computer networks |
US10116521B2 (en) * | 2015-10-15 | 2018-10-30 | Citrix Systems, Inc. | Systems and methods for determining network configurations using historical real-time network metrics data |
US10554738B1 (en) * | 2018-03-02 | 2020-02-04 | Syncsort Incorporated | Methods and apparatus for load balance optimization based on machine learning |
-
2019
- 2019-07-05 US US16/504,044 patent/US10855808B1/en active Active
-
2020
- 2020-07-02 AU AU2020310108A patent/AU2020310108B2/en active Active
- 2020-07-02 KR KR1020227003869A patent/KR20220028110A/ko not_active Application Discontinuation
- 2020-07-02 JP JP2021577218A patent/JP7330602B2/ja active Active
- 2020-07-02 EP EP20745427.3A patent/EP3994577A1/en not_active Withdrawn
- 2020-07-02 WO PCT/US2020/040750 patent/WO2021007112A1/en unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007055222A1 (ja) | 2005-11-08 | 2007-05-18 | Tohoku University | ネットワーク異常検知方法およびネットワーク異常検知システム |
JP2014502382A (ja) | 2010-09-30 | 2014-01-30 | エイ10 ネットワークス インコーポレイテッド | サーバ負荷状態に基づきサーバをバランスさせるシステムと方法 |
WO2014049943A1 (ja) | 2012-09-27 | 2014-04-03 | 日本電気株式会社 | マルチメディアデータ通信装置、方法、プログラムおよび有効データ増加率算出装置 |
US20150287057A1 (en) | 2014-04-04 | 2015-10-08 | International Business Machines Corporation | Network demand forecasting |
JP2019012318A (ja) | 2017-06-29 | 2019-01-24 | 富士通株式会社 | アクセス制御方法、アクセス制御装置、及びアクセス制御プログラム |
CN107948330A (zh) | 2018-01-04 | 2018-04-20 | 郑州云海信息技术有限公司 | 一种云环境下基于动态优先级的负载均衡策略 |
Also Published As
Publication number | Publication date |
---|---|
WO2021007112A1 (en) | 2021-01-14 |
EP3994577A1 (en) | 2022-05-11 |
KR20220028110A (ko) | 2022-03-08 |
AU2020310108B2 (en) | 2023-03-30 |
US10855808B1 (en) | 2020-12-01 |
JP2022540785A (ja) | 2022-09-20 |
AU2020310108A1 (en) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hosseinioun et al. | aTask scheduling approaches in fog computing: A survey | |
CN108737270B (zh) | 一种服务器集群的资源管理方法和装置 | |
JP7330602B2 (ja) | インテリジェントロードバランサ | |
US11086677B2 (en) | Lock scheduling using machine learning | |
Javadpour | Improving resources management in network virtualization by utilizing a software-based network | |
US11398989B2 (en) | Cloud service for cross-cloud operations | |
US9184982B2 (en) | Balancing the allocation of virtual machines in cloud systems | |
US20210382775A1 (en) | Systems and methods for classifying and predicting the cause of information technology incidents using machine learning | |
US11489942B2 (en) | Time series data analysis | |
Ungureanu et al. | Collaborative cloud-edge: A declarative api orchestration model for the nextgen 5g core | |
US10579511B2 (en) | Flexible testing environment using a cloud infrastructure—cloud technology | |
US10795669B2 (en) | Systems and methods for integrating software source control, building, and testing applications | |
Nardelli | A Framework for Data Stream Applications in a Distributed Cloud. | |
Litke et al. | Fault tolerant and prioritized scheduling in OGSA‐based mobile grids | |
US11811676B2 (en) | Proactive auto-scaling | |
JP7336534B2 (ja) | 作業アイテムのスキル決定のためのシステムおよび方法 | |
US11784944B2 (en) | Dynamic bandwidth allocation in cloud network switches based on traffic demand prediction | |
US20230273813A1 (en) | Schedule management for machine learning model-based processing in computing environment | |
Bumgardner et al. | Toward Edge-enabled Cyber-Physical Systems Testbeds | |
Chen | A scalable architecture for federated service chaining | |
Spinnewyn | Network-aware resource allocation algorithms for service orchestration in heterogeneous cloud environments | |
JP2024079760A (ja) | クロス・クラウド・オペレーションのためのクラウド・サービス |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7330602 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |