JP6380110B2 - リソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラム - Google Patents

リソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラム Download PDF

Info

Publication number
JP6380110B2
JP6380110B2 JP2014559769A JP2014559769A JP6380110B2 JP 6380110 B2 JP6380110 B2 JP 6380110B2 JP 2014559769 A JP2014559769 A JP 2014559769A JP 2014559769 A JP2014559769 A JP 2014559769A JP 6380110 B2 JP6380110 B2 JP 6380110B2
Authority
JP
Japan
Prior art keywords
control
resource
virtual
virtual system
control pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014559769A
Other languages
English (en)
Other versions
JPWO2014119719A1 (ja
Inventor
清一 小泉
清一 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014119719A1 publication Critical patent/JPWO2014119719A1/ja
Application granted granted Critical
Publication of JP6380110B2 publication Critical patent/JP6380110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3457—Performance evaluation by simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/83—Admission control; Resource allocation based on usage prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Description

［関連出願についての記載］
本発明は、日本国特許出願：特願２０１３−０１８２０２号（２０１３年２月１日出願）に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、リソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラムに関し、特に、仮想データセンタ上で動作する仮想システムに割り当てるリソースの制御を行うリソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラムに関する。
ＩａａＳ（Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）等のクラウドプラットフォーム上では、複数の利用者の仮想データセンタ（ｖｉｒｔｕａｌ ＤａｔａＣｅｎｔｅｒ：以下、「ｖＤＣ」とも記す。）が同居（仮想データセンタがクラウドプラットフォームの物理資源を共有して動作している状態）し、そのｖＤＣ上でWebサーバや動画配信といった多様な仮想システムが稼働している。
これらの仮想システムの利用状況は逐次変化しているため、その利用状況に合わせてリアルタイムに、仮想ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やメモリなどのサーバリソースの割当量を変更するサーバリソースやネットワークの自律制御技術が知られている。
特許文献１に、各資源ノードに割り当てられた各サービスに応じた優先度を当該各資源ノードに対応付けて設定し、前記各資源ノードによる前記各サービスの処理時間の経過に応じて、当該各資源ノードについて設定された優先度を、より優先度の高いものに更新し、新たなサービスを割り当てる空きの資源ノードが存在しない場合に、サービスが既に割り当てられた第１の資源ノードと第２の資源ノードのうち、更新された優先度がより低い資源ノードに割り当てられているサービスを当該新たなサービスに切り替えるという資源ブローカリングシステムが開示されている。
特許文献２に、転送優先度と呼損率とを組み合わせてサービスレベルを差別化することによって、通信サービスの品質レベルのマルチクラス化を実現する通信サービス制御システムが開示されている。同文献によると、この通信サービス制御システムは、上記ネットワークでの情報転送を転送優先度に基づき制御する転送制御手段と、予め複数定められた上記通信サービスの利用要求の受付優先度に対応付けて、当該受付優先度が高いほど多くなる上記リソース量の閾値を記憶装置に記憶するリソース管理手段と、上記通信サービスの利用要求があれば、要求されたリソース使用量と当該通信サービスに利用するリンクの現在のリソース使用量とを加算すると共に、上記記憶装置から当該利用要求の受付優先度に対応する上記リソース量の閾値を読み出し、該読み出した閾値と上記加算したリソース使用量とを比較して、該リソース使用量が上記閾値を超えなければ当該利用要求を受け付け、超えれば当該利用要求の受付を拒否する受付制御手段とを有する。そして、この通信サービス制御システムは、同じ転送優先度の通信サービスに対し、受付優先度に応じて受付を許可できる残りリソース量の基準を変えて、同じ転送優先度の通信サービスの通信品質レベルを差別化することで、上記転送優先度に基づく転送制御と上記受付優先度に基づく受付制御とを組み合わせた複数の通信品質レベルでの通信サービスを提供する、と記載されている。
特許文献３に、業務処理の流れを複数のワークフロー実行装置にて行う分散ワークフローシステムにおけるリソース共有の影響を考慮したシミュレーションを実現できる分散ワークフローシミュレーションシステムが開示されている。
非特許文献１、２には、ネットワークリソースの動的制御が可能なオープンフローという技術が紹介されている。
特許第４５５７９４９号公報 特許第４６２７４６１号公報 特許第４８７２７０２号公報
Ｎｉｃｋ ＭｃＫｅｏｗｎほか７名、"ＯｐｅｎＦｌｏｗ： Ｅｎａｂｌｉｎｇ Ｉｎｎｏｖａｔｉｏｎ ｉｎ Ｃａｍｐｕｓ Ｎｅｔｗｏｒｋｓ"、［ｏｎｌｉｎｅ］、［平成２５（２０１３）年１月９日検索］、インターネット〈URL:http://www.openflow.org/documents/openflow-wp-latest.pdf〉 "ＯｐｅｎＦｌｏｗ Ｓｗｉｔｃｈ Ｓｐｅｃｉｆｉｃａｔｉｏｎ" Ｖｅｒｓｉｏｎ １．３．１ （Ｗｉｒｅ Ｐｒｏｔｏｃｏｌ ０ｘ０４）、［ｏｎｌｉｎｅ］、［平成２５（２０１３）年１月９日検索］、インターネット〈URL: https://www.opennetworking.org/images/stories/downloads/specification/openflow-spec-v1.3.1.pdf〉
以下の分析は、本発明によって与えられたものである。冒頭に述べた仮想データセンタ上で動作する仮想システムにおいては、パフォーマンスのサービスレベルを維持しつつリソース消費量をなるべく少なくするといった制御が求められている。そのためには、サーバリソースとネットワークリソースを何時・どれだけ割り当てればよいかを判断し、その判断結果を反映することが求められている。
この点、上記した特許文献１、２は、ｖＤＣ上の仮想システムのリソース割り当てに適用しても、所望の結果が得られる保証がないという問題点がある。例えば、特許文献１の資源ブローカリングシステムでは、資源ノードの配分を行うことが可能となっているが、ネットワークリソースが考慮されていない。同様に、特許文献２のこの通信サービス制御システムでは、ネットワークリソースの最適化は可能だが、サーバリソースが考慮されていない。
本発明は、仮想データセンタ上で動作する仮想システムへのリソースの効率配分に貢献できるリソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラムを提供することを目的とする。
第１の視点によれば、仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する制御パターン生成手段と、前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用する制御手段と、を備えたリソース制御システムが提供される。
第２の視点によれば、仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する制御パターン生成装置が提供される。
第３の視点によれば、仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用する制御装置が提供される。
第４の視点によれば、仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成するステップと、前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用するステップと、を含むリソース制御方法が提供される。本方法は、仮想データセンタ上で動作する仮想システムに割り当てるリソースを制御するリソース制御システムという、特定の機械に結びつけられている。
第５の視点によれば、リソース制御装置を構成するコンピュータに、仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する処理と、前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジエントな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
本発明によれば、仮想データセンタ上で動作する仮想システムに、リソースを効率よく配分することが可能となる。
本発明の一実施形態の構成を示す図である。 本発明の第１の実施形態のシステム構成を示す図である。 本発明の第１の実施形態の詳細構成を示す機能ブロック図である。 仮想データセンタ（ｖＤＣ）上で稼働する仮想システムの例を示す図である。 本発明の第１の実施形態のリソース制御システムの動作（制御パターン生成処理）を示す流れ図である。 本発明の第１の実施形態のリソース制御システムの動作（自律制御）を示す流れ図である。 仮想データセンタ（ｖＤＣ）上で稼働する仮想システムのモニタリング情報の例を示す図である。 図４の仮想システムをグラフで表した図である。 図８の仮想システムに対応する構成情報の例である。 本発明の第１の実施形態のリソース制御システムが生成する予測式の一例を示す図である。 本発明の第１の実施形態のリソース制御システムが生成する仮想システムモデルの一例を表した図である。 リソース割当変更ポリシーの例を示す図である。 図１２のリソース割当変更ポリシーに対応するマッチング用のリソース割当変更ポリシーを示す図である。 図１１の仮想システムモデルに、図１２のリソース割当変更ポリシー（ロードバランサ切替）を適用して得られる制御パターンを示す図である。 図１４の制御パターンをグラフで表した図である。 図１１の仮想システムモデルに、図１２のリソース割当変更ポリシー（ＤＢ用サーバリソース追加）を適用して得られる制御パターンを示す図である。 図１６の続図である。 図１６及び図１７の制御パターンをグラフで表した図である。 リソース割当変更ポリシーの別の一例を示す図である。 リソース割当変更ポリシーの別の一例を示す図である。 図１４、図１６−図１７の制御パターンを用いたシミュレーション結果の例を示す図である。 仮想データセンタ（ｖＤＣ）上で稼働する仮想システムのサービスレベル指定の例を示す図である。 評価済み（選定済み）の制御パターンの例を示す図である。 制御パターンの選択を説明するための別の仮想システムの図である。 図２４の仮想システムに適用可能なリソース割当変更ポリシーの候補を示す図である。 図２５のリソース割当変更ポリシーを用いて生成した制御パターンによるシミュレーション結果と、選択される候補を説明するための図である。
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。
本発明は、その一実施形態において、図１に示すように、仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する制御パターン生成手段１１と、制御パターンの中から選定した制御パターンを用いて仮想システムを制御する制御手段１２と、を含む構成にて実現できる。
より具体的には、制御パターン生成手段１１は、仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めた資源割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する。
制御手段１２は、前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の基準を満たす制御パターンを選定して適用する。
前記所定の基準として、例えば、ネットワークリソースとサーバリソースの消費量が最も少ない制御パターンを採用する基準を用いれば、当該仮想システムのリソースの使用量を最小化することができる。これにより、他の仮想データセンタ（ｖＤＣ）や他の仮想システムに割当可能なリソースを増やすことが可能となる。
また、前記所定の基準としては、リソース消費量が最も少ないものを選択するものに限られない。例えば、全体的なリソースの逼迫状況を考慮して、サーバリソース又はネットワークリソースのいずれか優先度の高い方のリソース消費量を少なくする制御パターンを選択するようにしてもよい。また例えば、統計的に得られたサービス需要やネットワークトラヒックを考慮して、予測した将来時点の状況に適った制御パターンを選定するようにしてもよい。
以上のように、本実施形態によれば、ネットワークリソースとサーバリソースとを最適配分できるようになる。また、本実施形態によれば、仮想データセンタ（ｖＤＣ）上の仮想システムの運用コストを低減することも可能となる。その理由は、自動でサーバリソース・ネットワークリソース割り当て量を制御できるため、運用オペレータの作業量を削減できるからである。
［第１の実施形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態のシステム構成を示す図である。図２を参照すると、クラウドプラットフォーム上に同居する複数の仮想データセンタ４００と、仮想データセンタ４００上の仮想システムにリソースを割り当てる仮想リソース管理装置３００と、リソース制御システム１００と、をネットワークを介して接続した構成が示されている。
図３は、本発明の第１の実施形態の詳細構成を示す機能ブロック図である。仮想データセンタ（ｖＤＣ）４００は、複数の仮想データセンタ利用者に対し、仮想アプライアンスや仮想サーバによって構成された仮想システムを提供している。
図４は、仮想データセンタ（ｖＤＣ）４００が、仮想データセンタ利用者に提供する仮想システムの一例である。図４の例では、インターネットと仮想システムとの通信を制御するファイアウォールと、インターネット側からのアクセスを複数のＷｅｂサーバに振り分けるロードバランサと、Ｗｅｂサーバからの要求に応じてそれぞれサービスを提供するアプリケーションサーバ及びＤＢサーバ（データベースサーバ）とを含む構成が示されている。なお、これらの機器は、物理的に独立した機器で構成されている必要はなく、仮想的なエンティティによって構成されている。例えば、Ｗｅｂサーバ、アプリケーションサーバ及びＤＢサーバ（データベースサーバ）としては、サーバ仮想化技術による仮想サーバを利用することができる。また、ファイアウォールやロードバランサは、非特許文献１、２を用いて、特定のスイッチを、ファイアウォールやロードバランサ同様に振舞わせることで実現できる。
仮想リソース管理装置３００は、仮想データセンタ４００上の仮想システムに割り当てるリソース量を管理し、また仮想システムの利用状況をモニタリングする機能を提供する機器である。具体的には、仮想リソース管理装置３００は、上記Ｗｅｂサーバ、アプリケーションサーバ及びＤＢサーバ等の仮想サーバのリソースを管理する仮想サーバリソース管理手段３０１と、ネットワークリソースを管理する仮想ネットワークリソース管理手段３０２と、所定の時間間隔でｖＤＣモニタリング情報記憶装置３０４に仮想システムの利用状況を出力し、仮想システムのモニタリング機能を提供する仮想データセンタ（ｖＤＣ）モニタリング手段３０３とを備える。
リソース制御システム１００は、制御パターン生成手段１１０と、自律制御手段１２０とを備え、制御指示の候補となる制御パターンの生成と、仮想システムの稼働状況に合わせた制御パターンを選定して仮想リソース管理装置を通じてリソース割り当てを変更する機能を提供する。
ｖＤＣ構成記憶装置２０１は、リソース制御システム１００の制御対象となる仮想データセンタ（ｖＤＣ）上で稼動する仮想システムの構成情報（例えば、図７、図８参照）を記憶する。
リソース割当変更ポリシー記憶装置２０３は、仮想システムの構成コンポーネントについて適用可能なリソース割当変更ポリシー（例えば、図１３、図１５、図１６参照）を記憶する。なお、リソース割当変更ポリシーには、それぞれ制御に必要となる追加リソース量を定量化したリソース消費量の値が設定されているものとする（例えば、図１４のリソース消費量フィールド参照。）。
制御パターン生成手段１１０は、予測式生成手段１１１と、モデル生成手段１１２と、制御パターン派生手段１１３とを備える。
予測式生成手段１１１は、ｖＤＣ構成記憶装置２０１に格納された仮想システムの構成情報から仮想システムの仮想アプライアンスや仮想サーバ等の予測対象のコンポーネント情報を取り出し、各コンポーネントへの割当リソース量を変更したときの処理時間を求める予測式を生成する。このような予測式は、例えば、各仮想アプライアンスや仮想サーバの実際の単位リクエストあたりの処理時間と、割当済みリソース量のモニタリング情報等を元にして多変量解析を用いて生成することができる。そして、この予測式に、予測時点に見込まれる同時処理リクエスト数と割当リソース量とを入力することで、予測結果として処理時間を得ることができる。
モデル生成手段１１２は、ｖＤＣ構成記憶装置２０１に格納された仮想システムの構成情報に、予測式を合成することにより、仮想データセンタ（ｖＤＣ）内で稼働する仮想システムの振る舞いを抽象化した仮想システムモデルを生成する。
制御パターン派生手段１１３は、仮想システムモデルに適用可能なリソース割当変更ポリシーを選定し、そのリソース割当変更ポリシーを組み合わせることにより制御指示内容の候補となる複数の制御パターンを生成する。制御パターン派生手段１１３は、生成した制御パターンを制御パターン記憶手段１０１に格納する。
自律制御手段１２０は、シミュレーション実行手段１２１と、制御パターン評価手段１２２と、制御パターン適用手段１２３を備え、制御パターンと仮想データセンタ（ｖＤＣ）上の仮想システムのモニタリング情報及び仮想システムのサービスレベル情報から、最適なサーバリソースとネットワークリソースの制御パターンを選定して適用する。この制御パターンには、必要となるリソース消費量の情報を付随させてもよい。
シミュレーション実行手段１２１は、制御パターン記憶手段１０１からシミュレーション対象の仮想システムの制御パターンを取り出し、ｖＤＣモニタリング情報の内容を入力して、各制御パターンの振る舞いをシミュレートし、平均の処理時間を予測する。シミュレートした結果は、シミュレーション結果記憶手段１２４に保存される。
制御パターン評価手段１２２は、所定の制御パターン選択規則を用いて、シミュレーション実行手段１２１にて予測された各制御パターンの中から、適用する制御パターンを選定する。本実施形態では、平均処理時間がサービスレベル記憶手段２０２に記憶されたサービスレベルを満たし、かつ、リソース消費量が最小となる制御パターンを選択するとの制御パターン選択規則が設定されているものとする。制御パターン評価手段１２２による評価の結果は、評価済み制御パターン記憶手段１２５に保存される。
制御パターン適用手段１２３は、制御パターン評価手段１２２にて選定された制御パターンをサーバリソース制御指示とネットワークリソース制御指示に分解し、仮想リソース管理装置３００に通知することで、リソース割り当てを変更する。
なお、図１に示したリソース制御装置の各部（処理手段）は、リソース制御装置を構成するコンピュータに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することもできる。また、上記した構成中、「手段」と表示した構成要素は、「部」ないし「ユニット」とも表示することができ、いずれもハードウェア又はコンピュータプログラムによる構成要素の単位ないしシステムの構成単位を表すものである。
続いて、本実施形態の動作について図面を参照して詳細に説明する。はじめに、図５の流れ図を参照して、第１の実施形態のリソース制御システムによる制御パターン生成処理について説明する。
［制御パターン生成手順］
図５は、本発明の第１の実施形態のリソース制御システムの動作（制御パターン生成処理）を示す流れ図である。図５を参照すると、まず、制御パターン生成手段１１０の予測式生成手段１１１は、ｖＤＣ構成記憶装置２０１より、仮想データセンタ（ｖＤＣ）上で稼働する仮想システムを構成する仮想サーバ及び仮想アプライアンス情報を取り出し、仮想サーバ及び仮想アプライアンスそれぞれについて、処理時間を求めるための予測式を生成する（ステップＡ１〜Ａ４のループ）。
具体的には、予測式生成手段１１１は、ｖＤＣモニタリング情報記憶装置３０４より対象仮想システムのモニタリング情報を取り出し、予測式の作成対象の仮想サーバ又は仮想アプライアンスへのリクエスト毎の処理時間と、その時間内の平均リクエスト数を得る。また、予測式生成手段１１１は、ｖＤＣ構成記憶装置２０１より、予測式の作成対象の仮想サーバ又は仮想アプライアンスに割り当てられたＣＰＵコア数、メモリリソース量等を取得する（ステップＡ２）。
そして、予測式生成手段１１１は、リクエスト毎の処理時間と、その時間内の平均同時リクエスト数及びリソース量の関係を定式化し、予測式として予測式記憶手段１１４に格納する（ステップＡ３）。
この予測式の生成方法としては、例えば、特許文献３の方法を用いることができる。Ｔを予測式の作成対象の仮想サーバ又は仮想アプライアンスの処理時間、Ｍを平均同時リクエスト数、γ、δを定式化による係数及び定数とすると、次式のような予測式が生成される。
Ｔ＝γＭ＋δ
次に、モデル生成手段１１２は、ｖＤＣ構成記憶装置２０１より取り出した仮想システムの構成情報と、前述の予測式とを用いて、仮想システムモデルの生成対象となる仮想システムそれぞれについて、仮想システムモデルを生成する（ステップＡ５〜Ａ７のループ）。
具体的には、モデル生成手段１１２は、予測式記憶手段１１４から予測式を取り出して、仮想システムモデルの生成対象となる仮想システムの構成情報に追加することにより仮想システムモデルを生成し、モデル記憶手段１１５に格納する（ステップＡ６）。
次に、制御パターン派生手段１１３は、モデル記憶手段１１５より取り出した仮想システムモデルと、リソース割当変更ポリシー記憶装置２０３より取り出したリソース割り当ての変更方法を記載したリソース割当変更ポリシーとを照合し、各仮想システムに適用可能なリソース割当変更ポリシーを選定する（ステップＡ８〜Ａ１０のループ）。
具体的には、制御パターン派生手段１１３は、モデル記憶手段１１５より取り出した仮想システムモデルに、リソース割当変更ポリシーをパターンマッチングし、適合するリソース割当変更ポリシーを選定する（ステップＡ９）。
次に、制御パターン派生手段１１３は、モデル記憶手段１１５より取り出した仮想システムモデルについて、適用可能なリソース割当変更ポリシー同士を組み合わせて、該当システムに対する制御指示内容の候補となる制御パターンを生成し、制御パターン記憶手段１０１に格納する（ステップＡ１１〜Ａ１３のループ）。前記制御パターン記憶手段１０１に格納される制御パターンには、各制御パターンのリソース消費量も対応付けて格納される。本実施形態では、制御パターンのリソース消費量として、組み合わせられたリソース割当変更ポリシーのリソース消費量の和を用いるものとする。
続いて、図６の流れ図を参照して、第１の実施形態のリソース制御システムによる自律制御動作について説明する。
［制御パターン生成手順］
図６は、本発明の第１の実施形態のリソース制御システムの動作（自律制御）を示す流れ図である。図６を参照すると、まず、自律制御手段１２０のシミュレーション実行手段１２１は、制御パターン記憶手段１０１から、ある仮想データセンタ（ｖＤＣ）上で稼働する仮想システムに関する制御パターンの集合を読み出し、さらに、ｖＤＣモニタリング情報記憶装置３０４より、当該仮想システムの直近のモニタリング情報を取り出し、すべての制御パターンをシミュレートして制御パターン毎の平均処理時間を予測し、シミュレーション結果記憶手段１２４に格納する（ステップＢ１）。
次に、制御パターン評価手段１２２は、シミュレーション結果記憶手段１２４よりシミュレーション結果を取り出し、さらにサービスレベル記憶装置２０２より、当該仮想システムのサービスレベル指定を取り出し、平均処理時間がサービスレベル以下かどうかを判定する（ステップＢ２）。
前記判定の結果、平均処理時間がサービスレベルを超えている場合（サービスレベルを満たしていない）、制御パターン評価手段１２２は、制御パターンを適用候補から除外する（ステップＢ３）。
制御パターン評価手段１２２は、平均処理時間がサービスレベル以下の制御パターンを相互比較し、例えば、リソース消費量が最小の制御パターンを選択して、評価済み制御パターン記憶手段１２５に格納する（ステップＢ４）。これにより、仮想システムの直近の稼働状況に適した制御パターンが選定される。
その後、制御パターン適用手段１２３は、評価済み制御パターン記憶装置１２５の情報に基づき、制御パターン記憶手段１０１より選定済みの制御パターンを取り出す。そして、制御パターン適用手段１２３は、当該制御パターンをサーバリソース制御指示とネットワークリソース制御指示に分解し、仮想リソース管理装置３００の仮想サーバリソース管理手段３０１と、仮想ネットワークリソース管理手段３０２に制御指示を出す。これにより、仮想データセンタ（ｖＤＣ）上の仮想システムのリソース割り当てが変更される。
以上のように、本実施形態によれば、自律制御手段１２０が仮想データセンタ（ｖＤＣ）上の仮想システムの直近の稼働状況に合わせて、最適な制御パターンを選定して適用するというように構成されているため、仮想システムのリソース割当が最適化される。
続いて、具体的な例を用いて、本発明の第１の実施形態の動作を補足的に説明する。以下の説明では、図４に示すように、仮想データセンタ（ｖＤＣ）上でファイアウォール、ロードバランサ、Ｗｅｂサーバ、アプリケーションサーバ、ＤＢサーバといった仮想アプライアンス及び仮想サーバをコンポーネントとした仮想システムが稼働しているものとする。ここで、仮想アプライアンスとは、ファイアウォールやロードバランサといったネットワークアプライアンスとして動作する仮想マシンを指す。このシステムの稼働状況は、ｖＤＣモニタリング手段３０３がコンポーネント毎にモニタリングを行い、ｖＤＣモニタリング情報記憶装置３０４に格納する。
図７は、ｖＤＣモニタリング情報記憶装置３０４に格納されたモニタリング情報の例を示す図である。図７の例では、仮想データセンタＩＤ（ｖＤＣＩＤ）が１である仮想データセンタにおいて、Ｗｅｂサーバ（Ｗｅｂ１）と、ファイアウォール（ＦＷ１）のモニタリング情報が格納されている。また、図７の例では、あるコンポーネントにおいて同時に処理しているリクエストがある場合は、その数が平均同時リクエスト数として記録されている。
また、この仮想システムは、Ｐｅｔｒｉ Ｎｅｔに代表されるモデル化手法を用いると、図８のような、コンポーネントをトランジションで表し、対応するメッセージをプレース（円形）で表した有向２部グラフで表現できる。ｖＤＣ構成記憶装置２０１には、この有向２部グラフと等価の構成情報を格納すればよい。
図９は、ｖＤＣ構成記憶装置２０１に格納される仮想システムの構成情報である。図９の例では、プレースの定義の後、仮想データセンタ（ｖＤＣ）の仮想システムのコンポーネントがトランジションとして記述され、その次に、これらの連携（接続関係）を示す情報が格納されている。
［制御パターン生成処理］
以上の前提を元に、先の制御パターン生成処理について説明する。まず、制御パターン生成手段１１０の予測式生成手段１１１は、ｖＤＣ構成記憶装置２０１より、図９に示す仮想システムの構成情報を取り出す。次に、予測式生成手段１１１は、その中でトランジションとして記述された仮想サーバ・仮想アプライアンス名（例：ＦＷ１、Ｗｅｂ１）をキーとして、ｖＤＣモニタリング情報記憶装置３０４から該当するコンポーネントのモニタリング情報を取り出し、これらコンポーネントのリクエストの処理時間と、その時間内の平均リクエスト数を得る。さらに、予測式生成手段１１１は、ｖＤＣ構成記憶装置２０１より、仮想サーバ・仮想アプライアンスに割り当てられたＣＰＵコア数やメモリ量等の割当済みリソース量を取得する。そして、多変量解析を用いて、リクエスト毎の処理時間と、その時間内の平均同時リクエスト数及びリソース量の関係を予測式として定式化する。
図１０は、予測式生成手段１１１により生成され、予測式記憶手段１１４に格納される予測式の例である。図１０の例では、Ｗｅｂサーバ“Ｗｅｂ１”について、次のような予測式が生成されている。
Ｔ＿ｗｅｂ１＝α３＊Ｘ＿ｐ０４／（γ３＊ｃｐｕ３＋δ３＊ｒａｍ３）＋β３
ここで、Ｘ＿ｐ０４はＷｅｂ１における同時リクエスト数、ｃｐｕ３は割り当てられた仮想ＣＰＵコア数、ｒａｍ３は、割り当てられたＲＡＭメモリ量を示すパラメータである。また、α3、γ3、δ3、β3は、多変量解析により求められた係数と切片である。なお、Ｗｅｂサーバ“Ｗｅｂ１”等のコンポーネントが、種類の異なるリクエストを受ける場合がある。この場合、これらのリクエストの処理時間を別々に計算して加重平均等を行う予測式を生成してもよいし、種類が異なるが処理時間に差異のないものは同種のリクエストとして取り扱ってもよい。
モデル生成手段１１２は、ｖＤＣ構成記憶装置２０１より、図９に示したような仮想システムの構成情報に、予測式記憶手段１１４から取り出した予測式を追加することにより仮想システムモデルを生成し、モデル記憶手段１１５に格納する。
図１１は、モデル生成手段１１２により生成され、モデル記憶手段１１５に格納される仮想システムモデルの例である。図１１の例では、図９に示したような仮想システムの構成情報の各コンポーネントについて、それぞれ予測式が追加されている。
次に、制御パターン派生手段１１３は、図１１に示す仮想システムモデルと、リソース割当変更ポリシーとを照合して、当該仮想システムモデルに適用可能なリソース割当変更ポリシーを抽出する。
図１２は、仮想システム上のロードバランサに適用可能なリソース割当変更ポリシーを上述のＰｅｔｒｉ Ｎｅｔと同様の方法で表した図である。図１２のリソース割当変更ポリシーＡは、あるロードバランサを、１つのフローコントローラ（ＦＣ１）と、２つのロードバランサに切り替えるリソース割当変更ポリシーを示す。図１２のリソース割当変更ポリシーＢは、あるロードバランサにリソース（ＣＰＵコア数及びメモリ）を追加するリソース割当変更ポリシーを示す。
図１３は、図１２に示したリソース割当変更ポリシーと等価のリソース割当変更ポリシーを示す図である。図１３の例では、ポリシーＩＤと、ポリシー名に加えて、図１２の各リソース割当変更ポリシーを採用した場合のリソース消費量と、仮想システムとのマッチングに用いる適用パターン情報と、リソース割当変更ポリシーの詳細内容とを対応付けた、エントリが示されている。
図１３のようなリソース割当変更ポリシーの適用パターンと、図１１に示す仮想システムモデルとをマッチングすることで、当該仮想システムモデルに適用可能なリソース割当変更ポリシーを抽出することができる。例えば、図１２、図１３に示すリソース割当変更ポリシーＡ（ロードバランサ切替）の場合、図１１に示す仮想システムモデル中のロードバランサに関する構成情報がマッチングすることになる。同様に、図１２、図１３に示すリソース割当変更ポリシーＢ（ＤＢ用サーバリソース追加）も、図１１に示す仮想システムモデル中のＤＢサーバに関する構成情報がマッチングすることになる。
制御パターン派生手段１１３は、上記のようにして得られたリソース割当変更ポリシーを組み合わせて、制御パターンを生成する。図１４は、図１１に示す仮想システムモデルに、図１２、図１３に示すリソース割当変更ポリシーＡ（ロードバランサ切替）のみを適用した例である。図１５は、図１４と等価のグラフである。
同様に、図１６、図１７は、図１１に示す仮想システムモデルに、図１２、図１３に示すリソース割当変更ポリシーＡ（ロードバランサ切替）とリソース割当変更ポリシーＢ（ＤＢ用サーバリソース追加）との双方を適用した例である。図１８は、図１６及び図１７と等価のグラフである。なお、図１６の例では、リソース割当変更ポリシーＡ（ロードバランサ切替）とリソース割当変更ポリシーＢ（ＤＢ用サーバリソース追加）との双方が適用されているため、リソース消費量は、それぞれリソース割当変更ポリシーのリソース消費量の和になり、“６”となる。
このほか、制御パターン派生手段１１３は、図１１に示す仮想システムモデルに、図１２、図１３のリソース割当変更ポリシーＢ（ＤＢ用サーバリソース追加）のみを適用した制御パターンを作成する。
なお、上記の例では、説明を簡単にするために、リソース割当変更ポリシーは２つであるものとして説明したが、リソース割当変更ポリシーは、図１９、図２０に示すように、さまざまなパターンに類型化することができる。例えば、図１９は、図１２と同様に、１つのコンポーネントに対し、クローンを追加し、スケールアウトを行うリソース割当変更ポリシーと、１つのコンポーネントにリソースを追加するリソース割当変更ポリシーを表している。また、図２０の上段は、１つのコンポーネントに対し、クローンを追加するだけでなく、フローコントローラを追加して、経路制御も実行するリソース割当変更ポリシーを示している。また、図２０の下段は、１つのコンポーネントの前段に、フローコントローラを追加して、流量制御も実行するリソース割当変更ポリシーを示している。制御パターン派生手段１１３は、このようなリソース割当変更ポリシーを組み合わせて制御パターンを生成することになる。
［自律制御手順］
続いて、先の自律制御処理について説明する。まず、自律制御手段１２０のシミュレーション実行手段１２１は、制御パターン記憶手段１０１より、図１４、図１６−図１７に示すような、自律制御対象の仮想システムの制御パターンの集合を読み出す。さらに、シミュレーション実行手段１２１は、ｖＤＣモニタリング情報記憶装置３０４から、該当仮想システムのモニタリング情報のうち、直近（例えば、３０分間）の仮想システムへの入力となるファイアウォール部分のモニタリング情報を取り出し、前記各制御パターンに入力して、各制御パターンの平均処理時間を予測する。図２１は、シミュレーション実行手段１２１による図１４、図１６−図１７の制御パターンのシミュレーション実行結果を示している。
制御パターン評価手段１２２は、シミュレーション結果記憶手段１２４よりシミュレーション結果を取り出し、さらにサービスレベル記憶手段２０２より、図２２に示すような仮想システムのサービスレベル指定を取り出し、各制御パターンを採用したときに予測される平均処理時間がサービスレベル以下かどうかを判定する。
前記判定の結果、平均処理時間がサービスレベルを超えている場合、制御パターン評価手段１２２は、当該制御パターンを適用候補から除外する。そして、制御パターン評価手段１２２は、平均処理時間がサービスレベル以下の制御パターンを相互比較し、リソース消費量が最小の制御パターンを選択する。
例えば、図２２に示すように、サービスレベルとして５０（秒）が設定されている場合、図２１の制御パターンは、いずれもサービスレベルを満たしているといえる。そこで、制御パターン評価手段１２２は、図２１のシミュレーション実行結果を比較し、リソース消費量の少ない制御パターンＩＤがｐａｔｔｒｅｎ１の制御パターンを選択する。
図２３は、評価済み制御パターン記憶手段１２５に格納された評価済制御パターン情報の例である。制御パターン適用手段１２３は、評価済制御パターン情報に対応する制御パターンを制御パターン記憶手段１０１から取り出し、仮想リソース管理装置３００の仮想サーバリソース管理手段３０１と、仮想ネットワークリソース管理手段３０２に制御指示を出す。この結果、図８に示すようにリソースが割り当てられていた仮想システムは、図１５に示すようなリソース割当に切り替えられる。また、この変更後のリソース割当は、シミュレーション実行手段１２１にて予測された結果に基づいて選択されたものであるため、該当仮想システムに求められるサービスレベルを満たし、かつ、リソース消費量を最小にするものとなっている。
上記制御パターンの選択について別の仮想システムの例を用いて説明する。図２４は、ある仮想システムの有向２部グラフで表した図である。図２５は、上記仮想システムに適用可能なリソース割当変更ポリシーの例である。候補１は、仮想システム中のＷｅｂサーバに対し、ロードバランサとクローンＷｅｂサーバを追加するリソース割当変更ポリシーの例である。候補２は、仮想システム中のＷｅｂサーバの性能を強化するリソース割当変更ポリシーの例である。候補３は、仮想システム中のＷｅｂサーバの前段にフローコントローラを配置し、接続数に制限を加えるリソース割当変更ポリシーの例である。
図２６の上段は、各候補をそれぞれ１つ用いて生成した制御パターンを適用して、シミュレーション実行手段１２１にてサービスレベルを予測した結果を示している。例えば、サービスレベルとして５（秒）が設定されている場合、候補３は、サービスレベルを満たすことができない制御パターンであるため、採用対象から除外される。そして、制御パターン評価手段１２２は、候補１と候補２とを比較して、リソース消費量の少ない候補２を選択する。この結果、図２４に示すようにリソースが割り当てられていた仮想システムは、図２６の下段に示すようなリソース割当（Ｗｅｂサーバの性能強化）に切り替えられる。
以上、本発明の実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、上記した実施形態で用いたネットワーク構成や、要素の数に制約は無い。
また例えば、上記した実施形態では、サービスレベルを満たす制御パターンのうち、リソース消費量が最小の制御パターンを選択するものとして説明したが、その他の基準で制御パターンを選択してもよい。例えば、リソース消費量が最小の制御パターンであっても、予測されるサービスレベルが要求サービスレベルに極めて近い値である場合には、当該制御パターンを選択しないようにすることができる。このようにすることで、直近モニタリング値よりもリクエストが増大してしまった場合にもサービスレベルを満たすことができる制御パターンを選択することができる。
また、システム全体の余力に応じて、サーバリソースとネットワークリソースのいずれかを優先し、制御パターンを選択することもできる。例えば、リソース消費量を“２”増大させる制御パターンが２つあった場合、サーバリソースの方に余裕があるならば、サーバリソースを“２”増大させる制御パターンを選択するといった制御パターン選択基準も採用可能である。また例えば、同じくリソース消費量を“３”増大させる制御パターンと、リソース消費量を“２”増大させる制御パターンとがあった場合、リソース消費量が大きい方であっても、ネットワークリソースの消費量を増大させない方の制御パターンを選択するといった制御パターン選択基準も採用可能である。
また例えば、上記した実施形態では、直近のモニタリング情報を入力値として用いてシミュレーションを実行するものとして説明したが、例えば、統計情報や各種補正値を用いて、より精度の高いシミュレーションを実行することもできる。
また例えば、上記した実施形態では、リソースの割当を増やす方向で変更を加えるリソース割当変更ポリシーを用いる例を挙げて説明したが、リソースの割当を減らす方向で変更を加えるリソース割当変更ポリシーを用いることもできる。この場合、リソース割当変更ポリシーは、例えば、図１２の右側に記載されているグラフが適用パターンとなり、図１２の左側のグラフがリソース割当変更ポリシーとなる。また、この場合のリソース消費量は、負の値を持つことになる。
最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点によるリソース制御システム参照）
［第２の形態］
第１の形態のリソース制御システムにおいて、
前記制御パターン生成手段は、クラウドプラットフォーム上に同居する複数の仮想データセンタの仮想システムについてそれぞれ制御パターンを複数作成し、
前記制御手段は、各仮想データセンタの仮想システムに対する制御パターンを選定して適用するリソース制御システム。
［第３の形態］
第１又は第２の形態のリソース制御システムにおいて、
前記所定の選択基準は、前記サービスレベルを満たす複数の制御パターンのうち、リソースの消費量の少ない制御パターンを選択する基準であるリソース制御システム。
［第４の形態］
第１から第３いずれか一の形態のリソース制御システムにおいて、
前記所定の選択基準は、前記サービスレベルを満たす複数の制御パターンのうち、サーバリソース又はネットワークリソースのいずれか優先度の高い方のリソース消費量が少ない方の制御パターンを選択する基準であるリソース制御システム。
［第５の形態］
第１から第４いずれか一の形態のリソース制御システムにおいて、
前記制御パターン生成手段は、
前記仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバのそれぞれについて、割当済みリソース量と、前記割当済みリソース量による処理時間の測定結果とに基づいて、割り当てリソースを変更した場合の処理時間を予測する予測式を生成する予測式生成手段と、
前記仮想データセンタ上で動作する仮想システムの構成情報と、前記予測式生成手段にて生成された予測式とを用いて、前記仮想システムモデルを生成する仮想システムモデル生成手段と、
前記仮想システムモデル生成手段にて生成された仮想システムモデルに含まれる構成に適用可能なリソース割当変更ポリシーを組み合わせて、前記制御パターンを生成する制御パターン派生手段と、
を含むリソース制御システム。
［第６の形態］
第１から第５いずれか一の形態のリソース制御システムにおいて、
前記制御手段は、
前記複数の制御パターンを用いてサービスレベルを予測するシミュレーションを実行するシミュレーション実行手段と、
前記シミュレーション結果を元に、前記仮想システムのサービスレベルを満たし、かつ、リソースの消費量が前記所定の選択基準を満たす制御パターンを選定する制御パターン評価手段と、
前記選定した制御パターンに従い、ネットワークリソースとサーバリソースの割り当てを変更する制御パターン適用手段と、
を含むリソース制御システム。
［第７の形態］
第１から第６いずれか一の形態のリソース制御システムにおいて、
前記リソース割当変更ポリシーに、経路制御と流量制御を実行するリソース割当変更ポリシーが含まれているリソース制御システム。
［第８の形態］
（上記第２の視点による制御パターン生成装置参照）
［第９の形態］
（上記第３の視点による制御装置参照）
［第１０の形態］
（上記第４の視点によるリソース制御方法参照）
［第１１の形態］
（上記第５の視点によるプログラム参照）
なお、上記第８〜第１１の形態は、第１の形態と同様に、第２〜第７の形態に展開することが可能である。
なお、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
１１、１１０ 制御パターン生成手段
１２ 制御手段
１００ リソース制御システム
１０１ 制御パターン記憶手段
１１１ 予測式生成手段
１１２ モデル生成手段
１１３ 制御パターン派生手段
１１４ 予測式記憶手段
１１５ モデル記憶手段
１２０ 自律制御手段
１２１ シミュレーション実行手段
１２２ 制御パターン評価手段
１２３ 制御パターン適用手段
１２４ シミュレーション結果記憶手段
１２５ 評価済み制御パターン記憶手段
２０１ 仮想データセンタ（ｖＤＣ）構成記憶装置
２０２ サービスレベル記憶手段
２０３ リソース割当変更ポリシー記憶装置
３００ 仮想リソース管理装置
３０１ 仮想サーバリソース管理手段
３０２ 仮想ネットワークリソース管理手段
３０３ 仮想データセンタ（ｖＤＣ）モニタリング手段
３０４ 仮想データセンタ（ｖＤＣ）モニタリング情報記憶装置
４００ 仮想データセンタ（ｖＤＣ）

Claims (10)

  1. 仮想データセンタ上で動作する仮想システムの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムに割り当てるネットワークリソースとサーバリソースの量を管理する仮想リソース管理装置に対する、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する制御パターン生成手段と、
    前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して前記仮想リソース管理装置に通知する制御手段と、
    を備えたリソース制御システム。
  2. 前記制御パターン生成手段は、クラウドプラットフォーム上に同居する複数の仮想データセンタの仮想システムについてそれぞれ制御パターンを複数作成し、
    前記制御手段は、各仮想データセンタの仮想システムに対する制御パターンを選定して前記仮想リソース管理装置に通知する請求項１のリソース制御システム。
  3. 前記所定の選択基準は、前記サービスレベルを満たす複数の制御パターンのうち、リソースの消費量の少ない制御パターンを選択する基準である請求項１又は２のリソース制御システム。
  4. 前記所定の選択基準は、前記サービスレベルを満たす複数の制御パターンのうち、サーバリソース又はネットワークリソースのいずれか優先度の高い方のリソース消費量が少ない方の制御パターンを選択する基準である請求項１又は２のリソース制御システム。
  5. 前記制御パターン生成手段は、
    前記仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバのそれぞれについて、割当済みリソース量と、前記割当済みリソース量による処理時間の測定結果とに基づいて、割り当てリソースを変更した場合の処理時間を予測する予測式を生成する予測式生成手段と、
    前記仮想データセンタ上で動作する仮想システムの構成情報と、前記予測式生成手段にて生成された予測式とを用いて、前記仮想システムモデルを生成する仮想システムモデル生成手段と、
    前記仮想システムモデル生成手段にて生成された仮想システムモデルに含まれる構成に適用可能なリソース割当変更ポリシーを組み合わせて、前記制御パターンを生成する制御パターン派生手段と、
    を含む請求項１から４いずれか一のリソース制御システム。
  6. 前記制御手段は、
    前記複数の制御パターンを用いてサービスレベルを予測するシミュレーションを実行するシミュレーション実行手段と、
    前記シミュレーション結果を元に、前記仮想システムのサービスレベルを満たし、かつ、前記所定の選択基準を満たす制御パターンを選定する制御パターン評価手段と、
    前記選定した制御パターンに従い、ネットワークリソースとサーバリソースの割り当てを変更する制御パターン適用手段と、
    を含む請求項１から５いずれか一のリソース制御システム。
  7. 前記リソース割当変更ポリシーに、経路制御と流量制御を実行するリソース割当変更ポリシーが含まれている請求項１から６いずれか一のリソース制御システム。
  8. 仮想データセンタ上で動作する仮想システムの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムに割り当てるリソース量を管理する仮想リソース管理装置に通知する、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する制御パターン生成装置。
  9. 仮想データセンタ上で動作する仮想システムの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムに割り当てるネットワークリソースとサーバリソースの量を管理する仮想リソース管理装置に対する、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成するステップと、
    前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用するステップと、
    を含むリソース制御方法。
  10. リソース制御装置を構成するコンピュータに、
    仮想データセンタ上で動作する仮想システムの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムに割り当てるネットワークリソースとサーバリソースの量を管理する仮想リソース管理装置に対する、前記仮想システムネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する処理と、
    前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用する処理と、
    を実行させるプログラム。
JP2014559769A 2013-02-01 2014-01-31 リソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラム Active JP6380110B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013018202 2013-02-01
JP2013018202 2013-02-01
PCT/JP2014/052239 WO2014119719A1 (ja) 2013-02-01 2014-01-31 リソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2014119719A1 JPWO2014119719A1 (ja) 2017-01-26
JP6380110B2 true JP6380110B2 (ja) 2018-08-29

Family

ID=51262416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014559769A Active JP6380110B2 (ja) 2013-02-01 2014-01-31 リソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラム

Country Status (5)

Country Link
US (1) US9740534B2 (ja)
EP (1) EP2953024A1 (ja)
JP (1) JP6380110B2 (ja)
CN (1) CN104981782B (ja)
WO (1) WO2014119719A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10097410B2 (en) 2014-06-26 2018-10-09 Vmware, Inc. Methods and apparatus to scale application deployments in cloud computing environments
WO2016162748A1 (en) * 2015-04-07 2016-10-13 Umbra Technologies Ltd. Multi-perimeter firewall in the cloud
US10678596B2 (en) * 2016-02-24 2020-06-09 Alibaba Group Holding Limited User behavior-based dynamic resource capacity adjustment
US10796035B1 (en) * 2016-03-21 2020-10-06 EMC IP Holding Company LLC Computing system with simulated hardware infrastructure to support development and testing of management and orchestration software
US20200013107A1 (en) * 2017-03-30 2020-01-09 Nec Corporation Recommendation system, method, apparatus and program
US11347561B1 (en) * 2018-04-30 2022-05-31 Vmware, Inc. Core to resource mapping and resource to core mapping
JP2019211890A (ja) * 2018-06-01 2019-12-12 日本電信電話株式会社 リソース予約管理装置およびリソース予約管理方法
CA3057032C (en) 2018-09-28 2023-03-21 Element Ai Inc. System and method for managing network resources
US11184234B2 (en) * 2019-04-16 2021-11-23 Ciena Corporation Self-optimizing fabric architecture and self-assembling network
JP7324315B2 (ja) * 2020-01-24 2023-08-09 ファナック株式会社 データ収集装置
US11635981B2 (en) * 2020-08-25 2023-04-25 Microsoft Technology Licensing, Llc Virtualizing shared computing resources
US11956213B2 (en) 2022-05-18 2024-04-09 VMware LLC Using firewall policies to map data messages to secure tunnels
US20230388180A1 (en) * 2022-05-31 2023-11-30 Microsoft Technology Licensing, Llc Techniques for provisioning workspaces in cloud-based computing platforms

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8087025B1 (en) * 2004-06-30 2011-12-27 Hewlett-Packard Development Company, L.P. Workload placement among resource-on-demand systems
US8104038B1 (en) * 2004-06-30 2012-01-24 Hewlett-Packard Development Company, L.P. Matching descriptions of resources with workload requirements
US8549513B2 (en) * 2005-06-29 2013-10-01 Microsoft Corporation Model-based virtual system provisioning
JP4627461B2 (ja) 2005-07-14 2011-02-09 日本電信電話株式会社 通信サービス制御システムと方法およびプログラム
JP2007249445A (ja) * 2006-03-15 2007-09-27 Hitachi Ltd クラスタシステムの負荷分散制御方法およびその装置
JP4557949B2 (ja) 2006-04-10 2010-10-06 富士通株式会社 資源ブローカリングプログラム、該プログラムを記録した記録媒体、資源ブローカリング装置、および資源ブローカリング方法
US20070271560A1 (en) * 2006-05-18 2007-11-22 Microsoft Corporation Deploying virtual machine to host based on workload characterizations
JP4751265B2 (ja) * 2006-08-01 2011-08-17 株式会社日立製作所 リソース管理システム及びその方法
US8555287B2 (en) * 2006-08-31 2013-10-08 Bmc Software, Inc. Automated capacity provisioning method using historical performance data
US8108855B2 (en) * 2007-01-02 2012-01-31 International Business Machines Corporation Method and apparatus for deploying a set of virtual software resource templates to a set of nodes
US8612987B2 (en) * 2007-01-15 2013-12-17 International Business Machines Corporation Prediction-based resource matching for grid environments
JP4872702B2 (ja) * 2007-02-16 2012-02-08 日本電気株式会社 分散ワークフローシミュレーションシステム、方法、及び、プログラム
US9135075B2 (en) * 2007-03-09 2015-09-15 Hewlett-Packard Development Company, L.P. Capacity planning for computing systems hosting multi-tier application based on think time value and resource cost of composite transaction using statistical regression analysis
US8046767B2 (en) * 2007-04-30 2011-10-25 Hewlett-Packard Development Company, L.P. Systems and methods for providing capacity management of resource pools for servicing workloads
US8918496B2 (en) * 2007-04-30 2014-12-23 Hewlett-Packard Development Company, L.P. System and method for generating synthetic workload traces
US8756307B1 (en) * 2007-07-30 2014-06-17 Hewlett-Packard Development Company, L.P. Translating service level objectives to system metrics
WO2009144822A1 (ja) * 2008-05-30 2009-12-03 富士通株式会社 装置構成情報管理プログラム、装置構成情報管理装置及び装置構成情報管理方法
US9842004B2 (en) * 2008-08-22 2017-12-12 Red Hat, Inc. Adjusting resource usage for cloud-based networks
JP5352683B2 (ja) * 2009-01-30 2013-11-27 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． キャパシティ計画及び作業負荷管理を統合するためのシステム及び方法
US8055493B2 (en) * 2009-01-30 2011-11-08 Hewlett-Packard Development Company, L.P. Sizing an infrastructure configuration optimized for a workload mix using a predictive model
JP2010218307A (ja) * 2009-03-17 2010-09-30 Hitachi Ltd 分散計算制御装置及び方法
US8117613B2 (en) * 2009-04-08 2012-02-14 Microsoft Corporation Optimized virtual machine migration mechanism
US20100281478A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Multiphase virtual machine host capacity planning
US8627309B2 (en) * 2010-02-25 2014-01-07 Microsoft Corporation Automated deployment and servicing of distributed applications
US20110214124A1 (en) * 2010-02-26 2011-09-01 James Michael Ferris Systems and methods for generating cross-cloud computing appliances
JP5556507B2 (ja) * 2010-08-30 2014-07-23 富士通株式会社 仮想マシン管理プログラム、仮想マシン管理方法、および仮想マシン管理装置
US20120060167A1 (en) * 2010-09-08 2012-03-08 Salsburg Michael A Method and system of simulating a data center
US8645529B2 (en) * 2010-10-06 2014-02-04 Infosys Limited Automated service level management of applications in cloud computing environment
CN102004671B (zh) * 2010-11-15 2013-03-13 北京航空航天大学 一种云计算环境下数据中心基于统计模型的资源管理方法
US8806487B2 (en) * 2011-01-14 2014-08-12 Nec Laboratories America, Inc. Calculating virtual machine resource utilization information
US8793377B2 (en) * 2011-05-03 2014-07-29 International Business Machines Corporation Identifying optimal virtual machine images in a networked computing environment
US8806015B2 (en) * 2011-05-04 2014-08-12 International Business Machines Corporation Workload-aware placement in private heterogeneous clouds
US8930541B2 (en) * 2011-11-25 2015-01-06 International Business Machines Corporation System, method and program product for cost-aware selection of templates for provisioning shared resources
US8732291B2 (en) * 2012-01-13 2014-05-20 Accenture Global Services Limited Performance interference model for managing consolidated workloads in QOS-aware clouds
US9152443B2 (en) * 2012-07-13 2015-10-06 Ca, Inc. System and method for automated assignment of virtual machines and physical machines to hosts with right-sizing
US9135076B2 (en) * 2012-09-28 2015-09-15 Caplan Software Development S.R.L. Automated capacity aware provisioning

Also Published As

Publication number Publication date
US20150363240A1 (en) 2015-12-17
CN104981782B (zh) 2019-03-26
CN104981782A (zh) 2015-10-14
JPWO2014119719A1 (ja) 2017-01-26
EP2953024A1 (en) 2015-12-09
US9740534B2 (en) 2017-08-22
WO2014119719A1 (ja) 2014-08-07

Similar Documents

Publication Publication Date Title
JP6380110B2 (ja) リソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラム
Islam et al. A survey on task offloading in multi-access edge computing
Gouareb et al. Virtual network functions routing and placement for edge cloud latency minimization
US11395308B2 (en) Monitoring-based edge computing service with delay assurance
Kim et al. Multi-agent reinforcement learning-based resource management for end-to-end network slicing
Cappanera et al. VNF placement for service chaining in a distributed cloud environment with multiple stakeholders
He et al. SLA-aware multiple migration planning and scheduling in SDN-NFV-enabled clouds
Zhang et al. A dynamic planning model for deploying service functions chain in fog-cloud computing
Babar et al. Intelligent computation offloading for IoT applications in scalable edge computing using artificial bee colony optimization
Ibrahim et al. Heuristic resource allocation algorithm for controller placement in multi-control 5G based on SDN/NFV architecture
Baresi et al. PAPS: A Framework for Decentralized Self-management at the Edge
Okwuibe et al. Sdn-enabled resource orchestration for industrial iot in collaborative edge-cloud networks
Bolodurina et al. Development and research of models of organization distributed cloud computing based on the software-defined infrastructure
Farkiani et al. Prioritized deployment of dynamic service function chains
CN116032767A (zh) 一种面向智融标识网络的算力服务链管控系统架构
Mostafa Cooperative fog communications using a multi-level load balancing
CN112219191A (zh) 数据中心中的服务和服务器的自配置
Lin et al. Column generation based service function chaining embedding in multi-domain networks
KR20200062887A (ko) 강화학습에 기반하여 시스템의 제어 동작의 품질을 보장하기 위한 장치 및 방법
Benedetti et al. Reinforcement learning applicability for resource-based auto-scaling in serverless edge applications
Baresi et al. PAPS: A serverless platform for edge computing infrastructures
da Silva Veith et al. Multi-objective reinforcement learning for reconfiguring data stream analytics on edge computing
Antonio et al. Resource management in multi-cloud scenarios via reinforcement learning
Patikirikorala et al. Towards optimal performance and resource management in web systems via model predictive control
Zahedi et al. DSPVR: dynamic SFC placement with VNF reuse in fog-cloud computing using deep reinforcement learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180716

R150 Certificate of patent or registration of utility model

Ref document number: 6380110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350