JP6602252B2 - リソース管理装置及びリソース管理方法 - Google Patents
リソース管理装置及びリソース管理方法 Download PDFInfo
- Publication number
- JP6602252B2 JP6602252B2 JP2016081038A JP2016081038A JP6602252B2 JP 6602252 B2 JP6602252 B2 JP 6602252B2 JP 2016081038 A JP2016081038 A JP 2016081038A JP 2016081038 A JP2016081038 A JP 2016081038A JP 6602252 B2 JP6602252 B2 JP 6602252B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- resource
- allocation
- states
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Description
仮想マシンへのリソースの割り当てを行う制御を行動とし、該行動によってリソースが割り当てられた割り当て状態における当該仮想マシンの性能に基づく報酬値を用いた強化学習によって、前記割り当て状態における前記制御の評価値である制御評価値を求める状態管理部を備え、
前記状態管理部は、
前記割り当て状態が適当か否かを前記制御評価値に基づいて判定する判定機能と、
適当でないと判定された前記割り当て状態を分割して新たな割り当て状態を生成する分割機能と、
適当であると判定された前記割り当て状態のうちのリソースに対する前記行動が一致する複数の割り当て状態を1つの割り当て状態に集約する集約機能と、
を備え、
前記集約機能は、1つのリソースのみが異なる2つの割り当て状態が存在し、前記2つの割り当て状態で異なる前記1つのリソースのうちの一方の割り当て状態のリソースの下限と他方の割り当て状態のリソースの上限とが一致する場合に、前記2つの割り当て状態を1つの割り当て状態に集約する。
仮想マシンへのリソースの割り当てを行う制御を行動とし、該行動によってリソースが割り当てられた割り当て状態における当該仮想マシンの性能に基づく報酬値を用いた強化学習によって、前記割り当て状態における前記制御の評価値である制御評価値を求める状態管理手順を有し、
前記状態管理手順は、
前記割り当て状態が適当か否かを前記制御評価値に基づいて判定する判定手順と、
適当でないと判定された前記割り当て状態を分割して新たな割り当て状態を生成する分割手順と、
適当であると判定された前記割り当て状態のうちのリソースに対する前記行動が一致する複数の割り当て状態を1つの割り当て状態に集約する集約手順と、
を含み、
前記集約手順では、1つのリソースのみが異なる2つの割り当て状態が存在し、前記2つの割り当て状態で異なる前記1つのリソースのうちの一方の割り当て状態のリソースの下限と他方の割り当て状態のリソースの上限とが一致する場合に、前記2つの割り当て状態を1つの割り当て状態に集約する。
図1に、実施形態に係るサーバの構成例を示す。実施形態に係るサーバ91は、仮想マシン(VM)を管理するリソース管理装置として機能し、リソース制御部、状態管理部、およびVMの状態DBを備える。リソース制御部、状態管理部、および状態DBは、サーバ91のハイパーバイザ上に設けられる。ハイパーバイザは、任意の仮想化基盤を用いることが可能であり、例えば、Xenが例示できる。
状態DBは、以下の形式で表現される各VMへのリソース割り当て状態をKeyとし、Keyを指定した際に、返り値として、当該状態における制御評価値を出力するデータベースである。Keyとなる状態sは、以下のとおりである。
リソース制御部は、各VM81におけるサーバリソースのパラメータに対して、increase、decrease、nooperationの3つの制御を行う。どのリソースをどのVM81に割り当てるかは、現在のリソース割り当てをKeyとして状態DBに入力し、返り値として得られる各VM81に対するリソース割り当てに対する評価値をもとに決定する。具体的には、返り値として、各VM81における2つのリソースに対して3つの制御の合計6n要素を持つ配列を得て、各要素の値が高い制御ほど高い確率で選択し、当該制御を行うことにする。
リソース制御部にて制御を行った後、状態管理部は、各VM81におけるスループットやSLA違反を次の制御を行うまでに観測し、制御後のリソース割り当て状態の制御評価値を更新する。その際、状態DB内に保存されているリソース割り当て状態と当該状態における制御評価値に対して、類似度を計算し、類似性が高い状態同士を一つの状態にまとめることを行う。
状態管理部は、分割機能を有し、分割手順を実行する。状態sへの遷移が十分に行われているにも関わらず、制御評価値のエントロピーI(s)が高い場合、当該状態の範囲を分割し、状態を細かく区切る必要がある。状態sの区切り方は、例えば、各範囲を二等分する。これにより、状態sから2nの新たな割り当て状態が生成される。例えば、n=2の場合、図2に示すように、学習が収束した状態s1から状態s2へ移行するに際し、4つの状態R21,R22,R23,R24が生成される。このときの深さは、log2|State/2!|で近似されうる。
状態管理部は、集約機能を有し、集約手順を実行する。状態sへの遷移が十分に行われ、かつ制御評価値のエントロピーI(s)が十分に低けれれば、当該状態における学習が収束したと判断できる。この時、状態sに隣接する状態で、最適な行動が状態sと一致するものがあれば、両状態を一つの状態に集約する。例えば、図2に示す分割を行ったときに、学習が収束した状態R21及びR22における最適な行動が一致する場合、図4に示すように、状態R21及びR22を1つの状態R25に集約する。
汎用サーバ上にて3台から5台のVM81を運用し、各VMにおけるSLA違反率、生成された状態の数、全状態における収束具合の検証時間をシミュレーションを通して評価した。汎用サーバはメモリ16GBと8コアのCPUを有し、エージェントの各行動は、メモリを128MB単位で割り当てる(削除する)かCPUを1コア単位で割り当てる(削除する)かである。各VMに対するリクエストの到着頻度と、各リクエストに対する処理時間は、実データセンタの解析結果に基づくモデルを利用した[例えば、非特許文献17参照。]。また、割り当てたリソースに応じてスループットが線形で増加するものとし、各VMのSLAは全てのリソースを当該VMに割り当てた際のスループット50%を下回る場合に、SLA違反と見なす[例えば、非特許文献18参照。]。
上記の設定を利用し、実施形態の各VM81のSLA違反率を計測した。図5に、SLA違反率の比較結果の一例を示す。なお、非特許文献8のVCONFを同等の設定にてSLA違反率を評価し、その値を比較例として示す。各VMの優先度は、VMの番号が小さいほど高くし、番号の増加と共に各重みが指数的に減少するように設定した。実験結果より、実施形態は、VCONFと類似したSLA違反率となっており、有意な差は見られなかった。なお、SLAの平均違反率は、実施形態のほうが非特許文献8のVCONFと比べ5%−11%程度低かった。
VMの台数を5台とし、実施形態における2つのパラメータ(収束判定に利用する、遷移回数と制御評価値のエントロピーの閾値)を変化させ、上記と同様の実験を行った。実験終了後に、生成された状態数を計測し、さらに、各状態が収束しているか否かを検証した際に費やした時間を計測した。図6に、生成された状態数の比較結果の一例を示す。図7に、検証時間の計測結果の一例を示す。
VMの台数を5台とし、実施形態における2つのパラメータ(収束判定に利用する、遷移回数とQ値のエントロピーの閾値)を変化させ、上記と同様の実験を行った。実験終了後に、生成された状態数を計測し、さらに、各状態が収束しているか否かを検証した際に費やした時間を計測した(図6及び図7)。遷移回数の閾値を高く設定すればするほど、状態が分割されにくくなるため、状態数は少なくなり検証時間も短時間(220秒以下)で済むことが分かった。Q値のエントロピーの閾値を変化させた結果では、状態数と検証時間がエントロピーの閾値にあまり依存しない結果となった。しかしながら閾値が0.5の結果では0.9および0.99の結果よりも20秒程度遅かった。
91:サーバ
Claims (2)
- 強化学習を用いて仮想マシンのリソースを管理するリソース管理装置であって、
仮想マシンへのリソースの割り当てを行う制御を行動とし、該行動によってリソースが割り当てられた割り当て状態における当該仮想マシンの性能に基づく報酬値を用いた強化学習によって、前記割り当て状態における前記制御の評価値である制御評価値を求める状態管理部を備え、
前記状態管理部は、
前記割り当て状態が適当か否かを前記制御評価値に基づいて判定する判定機能と、
適当でないと判定された前記割り当て状態を分割して新たな割り当て状態を生成する分割機能と、
適当であると判定された前記割り当て状態のうちのリソースに対する前記行動が一致する複数の割り当て状態を1つの割り当て状態に集約する集約機能と、
を備え、
前記集約機能は、1つのリソースのみが異なる2つの割り当て状態が存在し、前記2つの割り当て状態で異なる前記1つのリソースのうちの一方の割り当て状態のリソースの下限と他方の割り当て状態のリソースの上限とが一致する場合に、前記2つの割り当て状態を1つの割り当て状態に集約する、リソース管理装置。 - 強化学習を用いて仮想マシンのリソースを管理するリソース管理装置が実行するリソース管理方法であって、
仮想マシンへのリソースの割り当てを行う制御を行動とし、該行動によってリソースが割り当てられた割り当て状態における当該仮想マシンの性能に基づく報酬値を用いた強化学習によって、前記割り当て状態における前記制御の評価値である制御評価値を求める状態管理手順を有し、
前記状態管理手順は、
前記割り当て状態が適当か否かを前記制御評価値に基づいて判定する判定手順と、
適当でないと判定された前記割り当て状態を分割して新たな割り当て状態を生成する分割手順と、
適当であると判定された前記割り当て状態のうちのリソースに対する前記行動が一致する複数の割り当て状態を1つの割り当て状態に集約する集約手順と、
を含み、
前記集約手順では、1つのリソースのみが異なる2つの割り当て状態が存在し、前記2つの割り当て状態で異なる前記1つのリソースのうちの一方の割り当て状態のリソースの下限と他方の割り当て状態のリソースの上限とが一致する場合に、前記2つの割り当て状態を1つの割り当て状態に集約する、リソース管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016081038A JP6602252B2 (ja) | 2016-04-14 | 2016-04-14 | リソース管理装置及びリソース管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016081038A JP6602252B2 (ja) | 2016-04-14 | 2016-04-14 | リソース管理装置及びリソース管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017191485A JP2017191485A (ja) | 2017-10-19 |
JP6602252B2 true JP6602252B2 (ja) | 2019-11-06 |
Family
ID=60085994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016081038A Active JP6602252B2 (ja) | 2016-04-14 | 2016-04-14 | リソース管理装置及びリソース管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6602252B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110944219B (zh) * | 2019-11-20 | 2023-03-14 | 北京达佳互联信息技术有限公司 | 资源分配方法、装置、服务器及存储介质 |
-
2016
- 2016-04-14 JP JP2016081038A patent/JP6602252B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017191485A (ja) | 2017-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110869909B (zh) | 应用机器学习算法来计算健康分数以进行工作负载调度的系统和方法 | |
US10558483B2 (en) | Optimal dynamic placement of virtual machines in geographically distributed cloud data centers | |
US10339152B2 (en) | Managing software asset environment using cognitive distributed cloud infrastructure | |
US20180365072A1 (en) | Optimizing resource usage in distributed computing environments by dynamically adjusting resource unit size | |
US9002893B2 (en) | Optimizing a clustered virtual computing environment | |
JP2018198068A (ja) | 分散型クラウドにおける作業負荷移動に基づくプロファイルベースのsla保証 | |
US9582328B1 (en) | Allocation of resources in computing environments | |
US20160300142A1 (en) | System and method for analytics-driven sla management and insight generation in clouds | |
US10346206B2 (en) | System, method and computer program product for resource management in a distributed computation system | |
US20180052714A1 (en) | Optimized resource metering in a multi tenanted distributed file system | |
US9998399B2 (en) | Cloud independent tuning service for autonomously managed workloads | |
CN107645407B (zh) | 一种适配QoS的方法和装置 | |
US10834183B2 (en) | Managing idle and active servers in cloud data centers | |
WO2017185303A1 (zh) | 一种nfv mano策略描述符的管理方法及装置 | |
US9722947B2 (en) | Managing task in mobile device | |
US11055139B2 (en) | Smart accelerator allocation and reclamation for deep learning jobs in a computing cluster | |
US10243816B2 (en) | Automatically optimizing network traffic | |
US9769022B2 (en) | Timeout value adaptation | |
US20230060623A1 (en) | Network improvement with reinforcement learning | |
Li et al. | Research on energy‐saving virtual machine migration algorithm for green data center | |
JP2018036724A (ja) | 仮想マシンのリソース管理方法、サーバ、及びプログラム | |
JP6602252B2 (ja) | リソース管理装置及びリソース管理方法 | |
KR20130090628A (ko) | 모바일 클라우드를 위한 온톨로지 기반의 가상 머신 할당 장치 및 그 방법 | |
Garg et al. | Heuristic and reinforcement learning algorithms for dynamic service placement on mobile edge cloud | |
CN112685218B (zh) | 用于管理备份系统的方法、装置和计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20160426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190312 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6602252 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |