JP6543219B2 - Virtual machine allocation apparatus and resource management method - Google Patents

Virtual machine allocation apparatus and resource management method Download PDF

Info

Publication number
JP6543219B2
JP6543219B2 JP2016110554A JP2016110554A JP6543219B2 JP 6543219 B2 JP6543219 B2 JP 6543219B2 JP 2016110554 A JP2016110554 A JP 2016110554A JP 2016110554 A JP2016110554 A JP 2016110554A JP 6543219 B2 JP6543219 B2 JP 6543219B2
Authority
JP
Japan
Prior art keywords
cpu
cores
physical server
physical
virtual machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016110554A
Other languages
Japanese (ja)
Other versions
JP2017215884A (en
Inventor
文彦 澤崎
文彦 澤崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016110554A priority Critical patent/JP6543219B2/en
Publication of JP2017215884A publication Critical patent/JP2017215884A/en
Application granted granted Critical
Publication of JP6543219B2 publication Critical patent/JP6543219B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、仮想マシンを複数の物理サーバに配置する仮想マシン配置装置および仮想マシンのリソースを管理するリソース管理方法に関する。   The present invention relates to a virtual machine placement device for placing virtual machines on a plurality of physical servers, and a resource management method for managing resources of virtual machines.

近年、ＮＦＶ（Network Functions Virtualization：ネットワーク機能仮想化）の仮想アプライアンスに代表されるように、処理の低遅延が要求されるアプリケーション（以下、単にアプリケーション）をＶＭ（Virtual Machine：仮想マシン）で実行・運用する技術が関心を集めている。
このようなアプリケーションでは、遅延を低減させるために、ＶＭの仮想ＣＰＵと物理ＣＰＵのコアとを固定的に割り当てる（括りつける）ことが多い。これは、コアのＣＰＵ時間のリソースを、ＶＭが占有することを意図しており、他のＶＭにリソースをディスパッチされないことから、遅延を低減する効果がある。 In recent years, as typified by a virtual appliance of Network Functions Virtualization (NFV), an application that requires low processing delay (hereinafter simply referred to as an application) is executed using a virtual machine (VM). The technology to operate is attracting attention.
In such applications, in order to reduce the delay, the virtual CPUs of VMs and the cores of physical CPUs are often fixedly allocated. This is effective in reducing the delay since the VM is intended to occupy the CPU time resource of the core and is not dispatched to other VMs.

また、このようなアプリケーションでは、同一の物理ＣＰＵ上のコアという限定を付けてＶＭの仮想ＣＰＵと物理ＣＰＵのコアとを固定的に割り当てることもある。これは、ＶＭ内のプロセス・スレッド間通信を同一物理ＣＰＵ内で実行することができることから、キャッシュヒット率を高くすることができ、遅延を低減する手段として極めて高い効果がある。   Moreover, in such an application, there is also a case where the virtual CPU of VM and the core of physical CPU are fixedly assigned with the limitation of the core on the same physical CPU. This enables communication between processes and threads in VMs to be performed in the same physical CPU, so that the cache hit rate can be increased, which is extremely effective as a means for reducing delay.

従来、このようなＶＭの仮想ＣＰＵを物理ＣＰＵに固定的に割り当てる方法は、ＫＶＭ（Kernel-based Virtual Machine：カーネル仮想化基盤）等で提供される機能（ＣＰＵピニング）で実現することができる（非特許文献１参照）。この手法は、コンピュータを介して、コマンドを手動で発行し、そのコマンドを取得した物理サーバ（サーバハード）が、同サーバ上で動作するＶＭの仮想ＣＰＵと物理ＣＰＵとの割り当てを行っている。
一方、ＯｐｅｎＳｔａｃｋ等のリソース管理システムでは、ＶＭにリソースを自動的に割り当てている（非特許文献２参照）。このリソース管理システムは、ＣＰＵ負荷の低い物理サーバにＶＭを配置することで、リソースを割り当てている。 Conventionally, such a method of fixedly allocating a virtual CPU of a VM to a physical CPU can be realized by a function (CPU pinning) provided by KVM (Kernel-based Virtual Machine: kernel virtualization base) or the like ( Non-Patent Document 1). In this method, a command is manually issued via a computer, and a physical server (server hardware) that has acquired the command assigns virtual CPUs and physical CPUs of VMs operating on the server.
On the other hand, resource management systems such as OpenStack automatically allocate resources to VMs (see Non-Patent Document 2). This resource management system allocates resources by arranging VMs on a physical server with low CPU load.

“ＫＶＭプロセッサーアフィニティの設定”、［online］、［平成２８年５月２０日検索］、インターネット〈URL：https://docs.fedoraproject.org/ja-JP/Fedora/13/html/Virtualization_Guide/ch25s06.html〉"Setting of KVM processor affinity", [online], [search on May 20, 2016], Internet <URL: https://docs.fedoraproject.org/ja-JP/Fedora/13/html/Virtualization_Guide/ch25s06 .html> “Virtualization Driver Guest CPU / Memory Placement”、［online］、［平成２８年５月２０日検索］、インターネット〈https://wiki.openstack.org/wiki/VirtDriverGuestCPUMemoryPlacement〉“Virtualization Driver Guest CPU / Memory Placement”, [online], [search May 20, 2016], Internet <https://wiki.openstack.org/wiki/VirtDriverGuestCPUMemoryPlacement>

従来の非特許文献１の手法では、人手によってＣＰＵ等のリソースの割り当てを行うため、手間がかかるとともに、操作ミスが起こりやすいといった問題がある。
また、従来の非特許文献２の手法では、ＶＭにリソースを自動的に割り当てることはできるが、ＶＭの仮想ＣＰＵと物理ＣＰＵのコアとを固定的に割り当てるようなアプリケーションには適用できず、ＣＰＵ負荷の低い物理サーバにＶＭを配置することしかできない。
このように、従来の手法は、ＶＭの仮想ＣＰＵと物理ＣＰＵのコアとを固定的に割り当てることを前提としたシステムにおいて、自動的にリソースを割り当てることは困難であった。 In the method of the conventional non-patent document 1, since resources such as a CPU are manually allocated, there is a problem that it takes time and trouble in operation.
In addition, in the method of the conventional non-patent document 2, although resources can be automatically allocated to VMs, it can not be applied to an application in which virtual CPUs of VMs and cores of physical CPUs are fixedly allocated. You can only deploy VMs on low-load physical servers.
As described above, in the conventional method, it is difficult to automatically allocate resources in a system on the premise that virtual CPUs of VMs and cores of physical CPUs are fixedly allocated.

また、従来の手法は、ＶＭのリソースの確保、ＶＭ停止後のリソースの回収を繰り返すと使用中のリソースと小さな未使用のリソースとが混在し、大きな未使用のリソースを確保することができない、いわゆる、リソースの断片化が発生する。そのため、従来の手法は、システム全体で未使用リソースが十分であっても、同一の物理ＣＰＵ上でＶＭが必要とする未使用リソースを確保することができないという問題が発生する場合がある。   Also, in the conventional method, when resources of VM are secured and resources are recovered after VM stop, resources in use and small unused resources are mixed, and large unused resources can not be secured. So-called resource fragmentation occurs. Therefore, in the conventional method, even when the unused resources in the entire system are sufficient, there may be a problem that the unused resources required by the VM can not be secured on the same physical CPU.

本発明は、このような問題に鑑みてなされたもので、仮想マシン（ＶＭ）に、人手を介さずにリソースを確保するとともに、リソースの断片化を防止することが可能な仮想マシン配置装置およびリソース管理方法を提供することを課題とする。   The present invention has been made in view of such problems, and provides a virtual machine (VM) with resources without human intervention and capable of preventing fragmentation of resources, and a virtual machine allocation apparatus The task is to provide a resource management method.

前記課題を解決するため、請求項１に記載の仮想マシン配置装置は、複数のコアで構成されるＣＰＵを複数有する物理サーバを複数備えたコンピュータシステムにおいて、仮想マシンを予め同一のＣＰＵのコアに割り当てて前記物理サーバに配置する仮想マシン配置装置であって、前記物理サーバと前記ＣＰＵと前記コアとを対応付けるとともに、前記コアがどの仮想マシンに使用されているのかを示すリソース管理データを記憶する記憶手段と、前記リソース管理データを参照して、新たな仮想マシンが予め必要とする必要コア数を同一ＣＰＵ上に確保できるか否かを判定する空きリソース判定手段と、前記空きリソース判定手段で同一ＣＰＵ上に前記必要コア数を確保できない場合に、動作中の仮想マシンが割り当てられているコアを、当該仮想マシンが動作している物理サーバの他のＣＰＵ、または、他の物理サーバのＣＰＵに割り当て直すコンパクション実行手段と、確保された同一ＣＰＵ上のコアに、前記新たな仮想マシンを配置する配置実行手段と、を備え、前記空きリソース判定手段は、前記同一ＣＰＵで前記必要コア数を確保できない場合に、個々の物理サーバ内で、前記動作中の仮想マシンに割り当てられているコアを、他のＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定する物理サーバ単位リソース判定手段と、前記物理サーバ内で前記必要コア数を確保できない場合に、すべての物理サーバ間で、前記動作中の仮想マシンに割り当てられているコアを、他の物理サーバのＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定する全物理サーバリソース判定手段と、を備えることを特徴とする。 In order to solve the above-mentioned subject, in a computer system provided with a plurality of physical servers having a plurality of CPUs composed of a plurality of cores, in a virtual machine arranging apparatus according to claim 1, A virtual machine allocation apparatus allocated and arranged in the physical server, which associates the physical server with the CPU and the core, and stores resource management data indicating which virtual machine the core is being used for Storage means, free resource determination means for determining whether or not the required number of cores required by a new virtual machine can be secured in advance on the same CPU with reference to the resource management data, and the free resource determination means If the required number of cores can not be secured on the same CPU, a core to which a virtual machine in operation is assigned, Arrangement to arrange the new virtual machine in the core of the same CPU on the same CPU as the execution unit for reassignment to another CPU of the physical server on which the virtual machine is operating or to the CPU of the other physical server An execution unit, and the free resource determination unit, when the required number of cores can not be secured by the same CPU, the core assigned to the active virtual machine in each physical server, The physical server unit resource determining unit that determines whether or not the required number of cores can be secured on the same CPU by reassignment to the CPU, and all the number of required cores can not be secured in the physical server. By reassigning the core assigned to the active virtual machine to the CPU of another physical server among physical servers, the required core The and a full physical server resources determining means for determining whether or not can be secured on the same CPU, characterized in Rukoto.

かかる構成によれば、仮想マシン配置装置は、空きリソース判定手段によって、新たに配置する仮想マシンが必要とするコア数を、同一ＣＰＵ上に確保できるか否かを判定することができる。そして、仮想マシン配置装置は、コンパクション実行手段によって、物理サーバ内でＣＰＵのコアの割り当てや、物理サーバ間でＣＰＵのコアの割り当てを変更することができる。これによって、仮想マシン配置装置は、リソース（コア）が分断化されている場合でも、コンパクションによってリソースを有効に活用することができる。   According to this configuration, the virtual machine placement device can use the free resource determination means to determine whether or not the number of cores required by the newly placed virtual machine can be secured on the same CPU. Then, the virtual machine allocation apparatus can change the CPU core allocation in the physical server and the CPU core allocation between physical servers by the compaction execution unit. By this, even when the resource (core) is divided, the virtual machine placement device can effectively utilize the resource by compaction.

また、仮想マシン配置装置は、物理サーバ単位リソース判定手段によって、物理サーバ内でのコンパクションによって、新たに配置する仮想マシンが必要とするコア数を、同一ＣＰＵ上に確保できるか否かを判定することができる。また、仮想マシン配置装置は、全物理サーバリソース判定手段によって、物理サーバ間のコンパクションによって、新たに配置する仮想マシンが必要とするコア数を、同一ＣＰＵ上に確保できるか否かを判定することができる。これによって、仮想マシン配置装置は、物理サーバ内、物理サーバ間と階層的にリソースを確保することができる。 Also , the virtual machine placement device determines whether or not the number of cores required by the virtual machine to be newly placed can be secured on the same CPU by means of physical server unit compaction by means of physical server unit resource determination means. be able to. In addition, the virtual machine placement device determines whether or not the number of cores required by the virtual machine to be newly placed can be secured on the same CPU by compaction among physical servers by the all physical server resource determination means. Can. By this, the virtual machine placement device can secure resources hierarchically between physical servers and between physical servers.

また、前記課題を解決するため、請求項２に記載のリソース管理方法は、複数のコアで構成されるＣＰＵを複数有する物理サーバを複数備えたコンピュータシステムにおいて、仮想マシン配置装置が、仮想マシンを予め同一のＣＰＵのコアに割り当てて前記物理サーバに配置するためのリソースを確保するリソース管理方法であって、ＣＰＵ単位リソース判定手段によって、前記物理サーバと前記ＣＰＵと前記コアとを対応付けるとともに、前記コアがどの仮想マシンに使用されているのかを示すリソース管理データを参照して、同一ＣＰＵ内で新たな仮想マシンが予め必要とする必要コア数を確保できるか否かを判定するステップと、同一ＣＰＵ内で前記必要コア数を確保できない場合に、物理サーバ単位リソース判定手段によって、前記リソース管理データを参照して、個々の物理サーバ内で、動作中の仮想マシンに割り当てられているコアを、他のＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定するステップと、前記物理サーバ内で前記必要コア数を確保できる場合に、物理サーバ内割り当て変更手段によって、前記物理サーバ内でコアの割り当てを変更するステップと、前記物理サーバ内で前記必要コア数を確保できない場合に、全物理サーバリソース判定手段によって、前記リソース管理データを参照して、すべての物理サーバ間で、動作中の仮想マシンに割り当てられているコアを、他の物理サーバのＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定するステップと、前記物理サーバ間で前記必要コア数を確保できる場合に、物理サーバ間割り当て変更手段によって、前記物理サーバ間でコアの割り当てを変更するステップと、を含むことを特徴とする。 Further, in order to solve the above problem, according to a resource management method according to claim 2 , in a computer system provided with a plurality of physical servers having a plurality of CPUs constituted of a plurality of cores, the virtual machine placement device comprises A resource management method for securing resources to be allocated to the same CPU core in advance and arranged in the physical server, and the CPU unit resource determination means associates the physical server, the CPU, and the core, and The same step of determining whether or not the required number of cores required by a new virtual machine can be secured in advance within the same CPU with reference to resource management data indicating which virtual machine is used by which core. When the required number of cores can not be secured in the CPU, the physical server unit resource determination unit Whether or not the required number of cores can be secured on the same CPU by reassigning cores assigned to active virtual machines to other CPUs in individual physical servers with reference to source control data Determining the core number in the physical server by the physical server internal allocation changing unit when the required number of cores can be secured in the physical server; and changing the core allocation in the physical server; If the required number of cores can not be secured, all physical server resource determination means refers to the resource management data, and all physical servers are assigned cores to active virtual machines among other physical servers. Between the physical servers and determining whether or not the required number of cores can be secured on the same CPU by reassignment to the CPU of If you can secure a number of the required cores, the physical servers inter-allocation changing means, characterized in that it comprises the steps of: changing the allocation of the core between the physical servers.

かかる手順によれば、リソース管理方法は、物理サーバ内でのコンパクションによって、新たに配置する仮想マシンが必要とするコア数を、同一ＣＰＵ上に確保できるか否かを判定することができる。また、リソース管理方法は、物理サーバ間のコンパクションによって、新たに配置する仮想マシンが必要とするコア数を、同一ＣＰＵ上に確保できるか否かを判定することができる。これによって、リソース管理方法は、物理サーバ内、物理サーバ間と階層的にリソースを確保することができる。   According to this procedure, the resource management method can determine whether or not the number of cores required by the virtual machine to be newly arranged can be secured on the same CPU by compaction in the physical server. Further, the resource management method can determine whether or not the number of cores required by a virtual machine to be newly disposed can be secured on the same CPU by compaction among physical servers. Thus, the resource management method can secure resources hierarchically between physical servers and between physical servers.

本発明によれば、仮想マシンの仮想ＣＰＵと物理ＣＰＵのコアとを固定的に割り当てることを前提としたシステムにおいて、自動的にリソースを割り当てることができ、人手による手間を少なくし、操作ミスを防止することができる。
また、本発明によれば、コンパクションによって、リソースの断片化を防止することができ、リソースを有効に活用することができる。 According to the present invention, it is possible to automatically allocate resources in a system on the premise of fixedly allocating the virtual CPU of the virtual machine and the core of the physical CPU, thereby reducing the time and effort of manual operation and making an operation error. It can be prevented.
Further, according to the present invention, compaction can prevent fragmentation of resources, and resources can be effectively used.

本発明の実施形態に係るコンピュータシステム（データセンタ）の概要を説明するためのシステム概要図である。It is a system outline figure for explaining an outline of a computer system (data center) concerning an embodiment of the present invention. 図１の物理サーバとその物理サーバ上で動作する仮想マシンとのリソースの割り当てを説明するための説明図である。FIG. 6 is an explanatory diagram for describing resource allocation between the physical server of FIG. 1 and a virtual machine operating on the physical server. 本発明の実施形態に係る仮想ラベル配置装置の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the virtual label arrangement | positioning apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る仮想ラベル配置装置で管理するリソースの構造を示すツリー構造図である。It is a tree structure figure which shows the structure of the resource managed by the virtual label arrangement | positioning apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る仮想ラベル配置装置で管理するリソース管理データのデータ構造の例であって、（ａ）はデータセンタ内物理サーバリスト、（ｂ）は物理サーバ内ＣＰＵリスト、（ｃ）はＣＰＵ内コアリストのデータ構造図である。It is an example of a data structure of the resource management data managed by the virtual label placement apparatus according to the embodiment of the present invention, wherein (a) is a physical server list in a data center, (b) is a CPU list in a physical server, (c) Is a data structure diagram of the in-CPU core list. 本発明の実施形態に係る仮想ラベル配置装置で管理する仮想マシンで動作するアプリケーションの動作状態（アクティブ／スタンバイ）を示す動作状態リストのデータ構造図である。It is a data structure figure of the operation state list which shows the operation state (active / standby) of the application which operates with the virtual machine managed by the virtual label arrangement device concerning an embodiment of the present invention. 物理サーバに新規に仮想マシンを配置する概念を説明するための説明図である。It is explanatory drawing for demonstrating the concept which arrange | positions a virtual machine newly to a physical server. 物理サーバ内のコンパクション処理を説明するための説明図であって、（ａ）はＣＰＵの空きリソースの多い順番を示す図、（ｂ）は仮想マシンに対するリソース探索を示す図、（ｃ）は新規の仮想マシンを配置した状態を示す図である。FIG. 6 is an explanatory diagram for explaining the compaction processing in the physical server, where (a) shows the order of many CPU free resources, (b) shows resource search for virtual machines, (c) shows new It is a figure which shows the state which arrange | positioned the virtual machine of. 全物理サーバでのコンパクション処理を説明するための説明図であって、（ａ）は全物理サーバのＣＰＵごとの仮想マシンの割り付け状態を示す図、（ｂ）はＣＰＵの空きリソースの多い順番を示す図である。FIG. 6 is an explanatory diagram for describing a compaction process in all physical servers, where (a) is a diagram showing the allocation state of virtual machines for each CPU of all physical servers, (b) is an order of many free CPU resources FIG. 仮想マシンの仮想ＣＰＵと、物理サーバの物理ＣＰＵにおけるコアの割り当ての変更を説明するための説明図である。It is an explanatory view for explaining change of assignment of a core in virtual CPU of a virtual machine, and physical CPU of a physical server. 仮想マシンの物理サーバ間の移動を説明するための説明図である。It is an explanatory view for explaining movement of a virtual machine between physical servers. 仮想マシンで動作するアプリケーションの動作状態（アクティブ／スタンバイ）を考慮した仮想マシンの物理サーバ間の移動を説明するための説明図である。FIG. 16 is an explanatory diagram for explaining movement of a virtual machine between physical servers in consideration of the operation state (active / standby) of an application operating in the virtual machine. 本発明の実施形態に係る仮想ラベル配置装置の動作を示すフローチャート（その１）である。It is a flowchart (the 1) which shows operation | movement of the virtual label arrangement | positioning apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る仮想ラベル配置装置の動作を示すフローチャート（その２）である。It is a flowchart (the 2) which shows operation | movement of the virtual label arrangement | positioning apparatus which concerns on embodiment of this invention.

本発明の実施形態について図面を参照して説明する。
≪データセンタの全体構成≫
まず、図１，図２を参照して、本発明の実施形態に係る仮想マシン配置装置により、仮想マシンの配置およびそのリソース管理を行うコンピュータシステムの例であるデータセンタＳの全体構成について説明する。 Embodiments of the present invention will be described with reference to the drawings.
<< Overall Configuration of Data Center >>
First, with reference to FIG. 1 and FIG. 2, an overall configuration of a data center S, which is an example of a computer system that performs placement of virtual machines and resource management thereof by a virtual machine placement device according to an embodiment of the present invention will be described. .

データセンタＳは、インターネット、ネットワーク事業者網等（不図示）から接続可能な複数のサーバを備えたコンピュータシステムである。
このデータセンタＳは、複数の物理サーバ１，１，…と、図示を省略したネットワーク機器で構成される。また、ここでは、データセンタＳに、仮想マシン配置装置２を備える。なお、仮想マシン配置装置２は、必ずしもデータセンタＳの中に備える必要はなく、各物理サーバ１，１，…と、ネットワーク等で接続可能なデータセンタＳの外に備えることとしてもよい。 The data center S is a computer system provided with a plurality of servers connectable from the Internet, a network operator network, etc. (not shown).
The data center S is composed of a plurality of physical servers 1, 1, ..., and network devices whose illustration is omitted. Also, in this case, the data center S includes the virtual machine allocation device 2. The virtual machine layout device 2 need not necessarily be provided in the data center S, and may be provided outside the data center S that can be connected to the physical servers 1, 1,.

物理サーバ１は、仮想マシン（ＶＭ）１２を動作させるハードウェアである。ここでは、物理サーバ１は、複数のＣＰＵ（Central Processing Unit）１０で構成され、個々のＣＰＵ（物理ＣＰＵ）１０は、複数のコア１１で構成されているものとする。なお、図１では、物理サーバ１として、一般的に備えられる記憶装置、通信制御装置等の図示を省略している。この物理サーバ１は、当該物理サーバ１上で動作する仮想マシン１２に対して、アプリケーションを動作させるためのリソース（ＣＰＵ資源）を提供する。
なお、物理サーバ１上に配置される仮想マシン（以下、ＶＭ）１２は、図２に示すように、複数のプロセス、スレッドが、仮想ＣＰＵ（ｖＣＰＵ）１３で動作する。また、個々の仮想ＣＰＵ１３は、同一のＣＰＵ（物理ＣＰＵ）１０の個別のコア１１に固定的に割り当てられて動作するものとする。なお、以下では、この状態を、ＶＭ１２がＣＰＵ１０のコア１１に割り当てられているという。
これによって、ＶＭ１２は、コア１１のＣＰＵ時間を占有することができ、他のＶＭにリソースをディスパッチされず、遅延を低減することができる。 The physical server 1 is hardware that operates a virtual machine (VM) 12. Here, it is assumed that the physical server 1 is configured by a plurality of CPUs (Central Processing Units) 10, and each CPU (physical CPU) 10 is configured by a plurality of cores 11. Note that in FIG. 1, illustration of a storage device, a communication control device, and the like generally provided as the physical server 1 is omitted. The physical server 1 provides the virtual machine 12 operating on the physical server 1 with a resource (CPU resource) for operating an application.
As shown in FIG. 2, in the virtual machine (hereinafter, VM) 12 disposed on the physical server 1, a plurality of processes and threads operate in the virtual CPU (vCPU) 13. Further, each virtual CPU 13 is fixedly assigned to an individual core 11 of the same CPU (physical CPU) 10 and operates. In the following, this state is referred to as that the VM 12 is assigned to the core 11 of the CPU 10.
By this, the VM 12 can occupy the CPU time of the core 11, can not dispatch resources to other VMs, and can reduce delay.

仮想マシン配置装置２は、データセンタ（コンピュータシステム）Ｓ内のリソースを管理し、ＶＭ１２を同一のＣＰＵ１０のコア１１に割り当てて物理サーバ１に配置するものである。
この仮想マシン配置装置２は、物理サーバ１のＣＰＵ１０に、ＶＭ１２を動作させるために十分なコア１１の空きがある場合、その物理サーバ１にＶＭ１２を配置する。一方、仮想マシン配置装置２は、物理サーバ１のＣＰＵ１０に、ＶＭ１２を動作させるために十分なコア１１の空きがない場合、コア１１の断片化を解消し、コア１１の空きを作ってＶＭ１２を配置する。
この仮想マシン配置装置２の構成については、図３を参照して、後で詳細に説明する。
このように、データセンタＳは、仮想マシン配置装置２によって、複数の物理サーバ１上に自動でＶＭ１２を配置することができ、リソースの管理を行うことができる。 The virtual machine placement device 2 manages resources in the data center (computer system) S, assigns the VMs 12 to the cores 11 of the same CPU 10, and places them on the physical server 1.
The virtual machine placement device 2 places the VM 12 on the physical server 1 when the CPU 10 of the physical server 1 has an enough space for the core 11 to operate the VM 12. On the other hand, if there is not enough space for the core 11 to operate the VM 12 in the CPU 10 of the physical server 1, the virtual machine placement device 2 resolves fragmentation of the core 11 and makes space for the core 11 to create the VM 12. Deploy.
The configuration of the virtual machine placement device 2 will be described in detail later with reference to FIG.
Thus, the data center S can automatically arrange the VMs 12 on the plurality of physical servers 1 by the virtual machine arrangement device 2 and can manage resources.

≪仮想マシン配置装置の構成≫
次に、図３を参照して、仮想マシン配置装置２の構成について説明する。
図３に示すように、仮想マシン配置装置２は、通信部２００と、記憶部２１０と、制御部２２０と、を備える。 << Configuration of virtual machine placement device >>
Next, the configuration of the virtual machine placement device 2 will be described with reference to FIG.
As shown in FIG. 3, the virtual machine placement device 2 includes a communication unit 200, a storage unit 210, and a control unit 220.

通信部（通信手段）２００は、通信回線を介して、物理サーバ１との間で通信データの送受信を行うものである。例えば、通信部２００は、ＮＩＣ（Network Interface Card）等の通信制御手段で構成される。この通信部２００は、制御部２２０から入力される信号（制御情報、データ）を、通信回線を介して、物理サーバ１に送信し、物理サーバ１から受信した信号を制御部２２０に出力する。   The communication unit (communication means) 200 transmits and receives communication data to and from the physical server 1 via a communication line. For example, the communication unit 200 is configured by communication control means such as a NIC (Network Interface Card). The communication unit 200 transmits signals (control information and data) input from the control unit 220 to the physical server 1 via the communication line, and outputs the signal received from the physical server 1 to the control unit 220.

記憶部（記憶手段）２１０は、データセンタＳ内のリソースを管理するデータ（リソース管理データ）を記憶するものである。また、ここでは、ＶＭ１２として動作するアプリケーションは、アクティブ／スタンバイ（ＡＣＴ〔運用系〕／ＳＢＹ〔待機系〕）構成で動作するものとし、記憶部２１０は、ＶＭ１２の動作状態を示すリスト（動作状態リスト）も記憶することとする。この記憶部２１０は、ハードディスク等の一般的な記憶装置で構成される。   The storage unit (storage unit) 210 stores data (resource management data) for managing resources in the data center S. Here, the application operating as the VM 12 is assumed to operate in the active / standby (ACT [operating system] / SBY [standby system] configuration, and the storage unit 210 is a list showing the operating state of the VM 12 (operating state) (List) is also stored. The storage unit 210 is configured of a general storage device such as a hard disk.

ここで、図４，図５を参照して、記憶部２１０に記憶するリソース管理データの例について説明する。図４に示すように、リソース管理データは、リソース（物理サーバ１、ＣＰＵ１０、コア１１）を、データセンタ内物理サーバリスト２１１、物理サーバ内ＣＰＵリスト２１２、ＣＰＵ内コアリスト２１３の順にツリー構造化したデータである。   Here, an example of resource management data stored in the storage unit 210 will be described with reference to FIGS. 4 and 5. As shown in FIG. 4, the resource management data is structured by treeing resources (physical server 1, CPU 10, core 11) in the order of physical server list in data center 211, CPU list in physical server 212, and core list in CPU 213. Data.

データセンタ内物理サーバリスト２１１は、データセンタＳを構成する物理サーバ１のリストである。例えば、データセンタ内物理サーバリスト２１１は、図５（ａ）に示すように、個々の物理サーバ１を識別する識別情報ＳＶ１，ＳＶ２，…（例えば、ＩＰアドレス等）を配列したデータである。
このデータセンタ内物理サーバリスト２１１によって、データセンタＳが何台の物理サーバ１で構成されているのかが管理される。 The data center physical server list 211 is a list of physical servers 1 constituting the data center S. For example, as shown in FIG. 5A, the physical server list in the data center 211 is data in which identification information SV 1 , SV 2 , ... (for example, IP address etc.) for identifying each physical server 1 is arranged. is there.
The physical server list in the data center 211 manages how many physical servers 1 the data center S is configured.

物理サーバ内ＣＰＵリスト２１２は、物理サーバ１を構成するＣＰＵ１０のリストである。例えば、物理サーバ内ＣＰＵリスト２１２は、図５（ｂ）に示すように、物理サーバ１ごとに、構成するＣＰＵ１０を識別する識別情報ＣＰＵ１，ＣＰＵ２，…（例えば、連続番号等）を配列したデータである。
この物理サーバ内ＣＰＵリスト２１２によって、個々の物理サーバ１がいくつのＣＰＵ１０で構成されているのかが管理される。 The physical server CPU list 212 is a list of CPUs 10 that constitute the physical server 1. For example, as shown in FIG. 5B, the physical server CPU list 212 arranges identification information CPU 1 , CPU 2 ,... (For example, consecutive numbers etc.) for identifying the CPUs 10 constituting each physical server 1. Data.
The physical server CPU list 212 manages how many CPUs 10 each physical server 1 is configured.

ＣＰＵ内コアリスト２１３は、ＣＰＵ１０を構成するコア１１のリストである。また、ＣＰＵ内コアリスト２１３は、それぞれのコア１１が、どのＶＭ１２によって使用され、どの仮想ＣＰＵ１３に対応付けられているのかを併せて保持する。
例えば、ＣＰＵ内コアリスト２１３は、図５（ｃ）に示すように、ＣＰＵ１０ごとに、構成するコア１１を識別する識別情報ＣＯＲＥ１，ＣＯＲＥ２，…（例えば、連続番号等）を配列したデータである。さらに、ＣＰＵ内コアリスト２１３は、それぞれのコア１１に対して、図５（ｃ）に示すように、使用状態（使用／未使用）を保持し、使用している場合、どの仮想マシン（ＶＭ）１２によって使用され、どの仮想ＣＰＵ１３に対応付けられているのかを保持する。なお、図５（ｃ）中、ＶＭ１，ＶＭ２，…は、ＶＭ１２を個別に識別する識別情報（例えば、連続番号等）である。また、ｖＣＰＵ１，ｖＣＰＵ２，…は、仮想ＣＰＵ１３を個別に識別する識別情報（例えば、連続番号等）である。
このＣＰＵ内コアリスト２１３によって、個々のＣＰＵ１０がいくつのコア１１で構成されているのかが管理されるとともに、コア１１の使用状況が管理される。 The in-CPU core list 213 is a list of the cores 11 that constitute the CPU 10. Further, the in-CPU core list 213 holds which VM 12 each core 11 is used and which virtual CPU 13 is associated with.
For example, as shown in FIG. 5C, the in-CPU core list 213 is data in which identification information CORE 1 , CORE 2 ,... It is. Furthermore, as shown in FIG. 5C, the in-CPU core list 213 holds the use state (used / not used) for each of the cores 11 and, if it is used, which virtual machine (VM) And 12) which virtual CPU 13 is associated with. Note that, in FIG. 5C, VM 1 , VM 2 ,... Are identification information (for example, consecutive numbers etc.) for identifying the VMs 12 individually. Further, vCPU 1 , vCPU 2 ,... Are identification information (for example, serial numbers etc.) for identifying the virtual CPU 13 individually.
The in-CPU core list 213 manages how many cores 11 each CPU 10 is configured of, and also manages the usage status of the cores 11.

次に、図６を参照して、記憶部２１０に記憶する動作状態リストの例について説明する。図６に示すように、動作状態リスト２１４は、それぞれのＶＭ１２（ＶＭ１，ＶＭ２，…）ごとに、動作しているアプリケーションＡＰＬと、そのアプリケーションＡＰＬがアクティブ（ＡＣＴ）状態かスタンバイ（ＳＢＹ）状態かを示すリストである。例えば、図６は、アプリケーションＡＰＬ１が、ＶＭ１でアクティブ（ＡＣＴ）状態で動作し、ＶＭ２でスタンバイ（ＳＢＹ）状態で動作していることを示している。
図３に戻って、仮想マシン配置装置２の構成について説明を続ける。 Next, with reference to FIG. 6, an example of the operation state list stored in the storage unit 210 will be described. As shown in FIG. 6, the operation state list 214 indicates, for each of the VMs 12 (VM 1 , VM 2 ,...), The application APL being operated and the application APL in an active (ACT) state or standby (SBY) It is a list indicating whether it is a state. For example, FIG. 6 shows that the application APL 1 operates in the active (ACT) state on VM 1 and operates in the standby (SBY) state on VM 2 .
Returning to FIG. 3, the description of the configuration of the virtual machine placement device 2 will be continued.

制御部（制御手段）２２０は、仮想マシン配置装置２の動作を制御するものである。ここでは、制御部２２０は、配置位置制御手段２１と、空きリソース判定手段２２と、コンパクション実行手段２３と、配置実行手段２４と、を備える。   The control unit (control means) 220 controls the operation of the virtual machine placement device 2. Here, the control unit 220 includes the placement position control unit 21, the free resource determination unit 22, the compaction execution unit 23, and the placement execution unit 24.

配置位置制御手段２１は、データセンタＳ内のリソースの使用状態に応じて、ＶＭ１２の配置位置を決定するものである。
この配置位置制御手段２１は、外部からＶＭ１２のプログラム（運用系または待機系のアプリケーションを含む）と、必要とするコア数（必要コア数）とを入力されることで、ＶＭ１２の配置位置を決定する。なお、ＶＭ１２のプログラムや使用コア数は、予め対応付けて記憶部２１０に記憶しておき、配置位置制御手段２１は、配置するＶＭ１２を指定されることで、ＶＭ１２の配置位置を決定することとしてもよい。 The placement position control unit 21 determines the placement position of the VM 12 in accordance with the use state of the resource in the data center S.
The placement position control unit 21 determines the placement position of the VM 12 by externally inputting the program of the VM 12 (including the application of the active system or the standby system) and the required number of cores (the required number of cores) from the outside. Do. The program of the VM 12 and the number of used cores are associated in advance and stored in the storage unit 210, and the arrangement position control unit 21 determines the arrangement position of the VM 12 by specifying the VM 12 to be arranged. It is also good.

ここでは、配置位置制御手段２１は、ＶＭ１２に含まれるアプリケーションの識別情報（ＡＰＬ）と、そのアプリケーションが運用系または待機系のいずれかであるかを示す識別情報（ＡＣＴ／ＳＢＹ）と、必要コア数とを空きリソース判定手段２２に通知する。そして、配置位置制御手段２１は、リソースを確保できる空きのある物理サーバ１上のＣＰＵ１０の識別情報を配置位置として取得し、ＶＭ１２のプログラムとともに配置実行手段２４に出力する。
また、配置位置制御手段２１は、空きリソース判定手段２２から、ＶＭ１２を配置するために、コア１１の断片化を解消してコア１１を再編（コンパクション）する必要である旨が、その手順（コンパクション手順）として通知された場合、コンパクション手順をコンパクション実行手段２３に出力する。そして、配置位置制御手段２１は、コンパクション実行後、ＶＭ１２のプログラムとその配置位置とを配置実行手段２４に出力する。 Here, the placement position control means 21 includes identification information (APL) of an application included in the VM 12, identification information (ACT / SBY) indicating whether the application is an active system or a standby system, and a required core. The number and the number are notified to the free resource determination means 22. Then, the placement position control means 21 acquires, as a placement position, identification information of the CPU 10 on the physical server 1 with an available space where resources can be secured, and outputs it to the placement execution means 24 together with the program of the VM 12.
In addition, the arrangement position control means 21 has a procedure (compaction) indicating that it is necessary to eliminate fragmentation of the core 11 and reorganize (compaction) the core 11 in order to arrange the VM 12 from the free resource determination means 22. When notified as procedure), the compaction procedure is output to the compaction execution means 23. After the execution of the compaction, the placement position control means 21 outputs the program of the VM 12 and the placement position thereof to the placement execution means 24.

なお、配置位置制御手段２１は、空きリソース判定手段２２から、コンパクションを行っても、ＶＭ１２を配置するためのリソースが確保できない旨が通知された場合、図示を省略した表示装置に警告を表示する。この場合、管理者が、物理サーバ１の増設を行うことで、リソースを増やすこととすればよい。   The placement position control unit 21 displays a warning on a display device (not shown) when it is notified by the free resource determination unit 22 that the resource for placing the VM 12 can not be secured even if the compaction is performed. . In this case, the administrator may increase resources by adding the physical server 1.

空きリソース判定手段２２は、すべての物理サーバ１で、新たに配置するＶＭ１２の必要コア数を、同一のＣＰＵ１０で確保できるか否かを判定するものである。
ここでは、空きリソース判定手段２２は、ＣＰＵ単位リソース判定手段２２ａと、物理サーバ単位リソース判定手段２２ｂと、全物理サーバリソース判定手段２２ｃと、を備える。 The free resource determination unit 22 determines whether or not the necessary number of cores of the VMs 12 to be newly arranged can be secured by the same CPU 10 in all the physical servers 1.
Here, the available resource determination unit 22 includes a CPU-based resource determination unit 22 a, a physical server-based resource determination unit 22 b, and an all-physical server resource determination unit 22 c.

ＣＰＵ単位リソース判定手段２２ａは、物理サーバ１のＣＰＵ１０ごとに、新たに配置するＶＭ１２の必要コア数の空きがあるか否かを判定するものである。
このＣＰＵ単位リソース判定手段２２ａは、１つのＣＰＵ１０のみでリソース（必要コア数）が確保可能であれば、そのＣＰＵ１０をＶＭ１２の配置位置として、配置位置制御手段２１に物理サーバ１およびＣＰＵ１０の識別情報を出力する。この場合、ＣＰＵ単位リソース判定手段２２ａは、コンパクション手順を配置位置制御手段２１に出力しない。
一方、ＣＰＵ単位リソース判定手段２２ａは、１つのＣＰＵ１０のみでリソースが確保できない場合、必要コア数を、物理サーバ単位リソース判定手段２２ｂに出力する。 The CPU-based resource determination unit 22 a determines, for each of the CPUs 10 of the physical server 1, whether or not the required number of cores of the VM 12 to be newly arranged is available.
If the CPU (resource required number) can be secured by only one CPU 10, the CPU unit resource determination unit 22a uses the CPU 10 as an arrangement position of the VM 12 and identifies the physical server 1 and the identification information of the CPU 10 to the arrangement position control unit 21. Output In this case, the CPU unit resource determination means 22a does not output the compaction procedure to the placement position control means 21.
On the other hand, when the resource can not be secured by only one CPU 10, the CPU unit resource determination unit 22a outputs the required number of cores to the physical server unit resource determination unit 22b.

このＣＰＵ単位リソース判定手段２２ａは、記憶部２１０に記憶されているリソース管理データ（図４参照）を参照し、ＣＰＵ内コアリスト（図５（ｃ）参照）で、同一ＣＰＵ１０で「未使用」のコアの数（空き個数）が、必要コア数以上である場合、そのＣＰＵ１０において、リソースを確保することができると判定する。
なお、ＣＰＵ単位リソース判定手段２２ａは、新たに配置するＶＭ１２に含まれるアプリケーションＡＰＬの動作系（運用系または待機系）と異なる動作系がすでに配置されている物理サーバ１のＣＰＵ１０については、必要コア数の空きを判定しないこととする。
これによって、運用系アプリケーションを含むＶＭと、待機系アプリケーションを含むＶＭとを、異なる物理サーバ１に配置することができる。 The CPU unit resource determination unit 22a refers to the resource management data (see FIG. 4) stored in the storage unit 210, and “unused” in the same CPU 10 in the CPU core list (see FIG. 5 (c)). When the number of cores (the number of vacant spaces) is equal to or more than the number of necessary cores, it is determined that resources can be secured in the CPU 10 thereof.
Note that the CPU unit resource determination means 22a is required core for the CPU 10 of the physical server 1 in which an operating system different from the operating system (operating system or standby system) of the application APL included in the newly allocated VM 12 is already arranged. Do not judge the number of vacancies.
As a result, the VM including the operation application and the VM including the standby application can be arranged on different physical servers 1.

ここで、図７を参照して、ＣＰＵ単位リソース判定手段２２ａの処理の具体例について説明する。図７に示すように、例えば、ある物理サーバ１（ＳＶ１）が１８コアのＣＰＵ４個（ＣＰＵ１〜ＣＰＵ４）で構成されており、それぞれのＣＰＵが複数のＶＭ１２で使用されて、コアの空き個数が、７個、５個、７個、６個であったとする。
この状態で、新規に配置するＶＭ１２の必要コア数として４個が通知された場合、ＣＰＵ単位リソース判定手段２２ａは、探索順で最初にリソースを確保することができる物理サーバ１（ＳＶ１）のＣＰＵ１を、ＶＭ１２の配置位置とする。 Here, with reference to FIG. 7, a specific example of the process of the CPU-based resource determination unit 22a will be described. As shown in FIG. 7, for example, one physical server 1 (SV 1 ) is configured by four 18-core CPUs (CPU 1 to CPU 4 ), and each CPU is used by a plurality of VMs 12, and Assume that the number of vacant units is seven, five, seven, and six.
In this state, when four are notified as the required number of cores of the VM 12 to be newly disposed, the CPU unit resource determination unit 22a is able to secure the resource first in the search order of the physical server 1 (SV 1 ) Let CPU 1 be the placement position of VM 12.

一方、新規に配置するＶＭ１２の必要コア数として８個が通知された場合、ＣＰＵ単位リソース判定手段２２ａは、物理サーバ１（ＳＶ１）では、リソースを確保できないと判定する。
図３に戻って、仮想マシン配置装置２の構成について説明を続ける。 On the other hand, when eight are notified as the required number of cores of the VM 12 to be newly arranged, the CPU unit resource determination unit 22a determines that the physical server 1 (SV 1 ) can not secure the resources.
Returning to FIG. 3, the description of the configuration of the virtual machine placement device 2 will be continued.

物理サーバ単位リソース判定手段２２ｂは、ＣＰＵ単位リソース判定手段２２ａにおいて、同一ＣＰＵで必要コア数を確保できない場合に、個々の物理サーバ内で、動作中のＶＭ１２に割り当てられているコア１１を、他のＣＰＵ１０に割り当て直すことで、必要コア数を同一ＣＰＵ上に確保できるか否かを判定するものである。   The physical server unit resource determination unit 22b, when the CPU unit resource determination unit 22a can not ensure the required number of cores by the same CPU, generates the other cores 11 allocated to the running VMs 12 in each physical server. By reassigning to the CPU 10, it is determined whether the required number of cores can be secured on the same CPU.

この物理サーバ単位リソース判定手段２２ｂは、１つの物理サーバ１のコンパクションのみでリソース（必要コア数）が確保可能であれば、そのリソースを有する物理サーバ１およびＣＰＵ１０の識別情報を配置位置として、配置位置制御手段２１に出力する。また、物理サーバ単位リソース判定手段２２ｂは、コンパクション手順を配置位置制御手段２１に出力する。
なお、物理サーバ単位リソース判定手段２２ｂは、新たに配置するＶＭ１２に含まれるアプリケーションＡＰＬの動作系（運用系または待機系）と異なる動作系がすでに配置されている物理サーバ１については、必要コア数の空きを確保できるか否かを判定しないこととする。 If the resource (number of required cores) can be secured only by the compaction of one physical server 1, the physical server unit resource determination means 22b arranges the identification information of the physical server 1 having the resource and the CPU 10 as the arrangement position. Output to position control means 21. Further, the physical server unit resource determination unit 22 b outputs the compaction procedure to the placement position control unit 21.
The physical server unit resource determination unit 22b is configured to acquire the required number of cores for the physical server 1 in which an operating system different from the operating system (operating system or standby system) of the application APL included in the newly arranged VM 12 is already arranged. It shall not be judged whether or not the vacancy can be secured.

ここで、図７，図８を参照して、物理サーバ単位リソース判定手段２２ｂの処理の具体例について説明する。図７は、ＣＰＵ単位リソース判定手段２２ａの処理で説明した図であるため、ここでは説明を省略する。
図７に示した状態で、新規に配置するＶＭ１２の必要コア数として、それぞれのＣＰＵ１０の空きコア数よりも多い個数（ここでは、８個）が通知された場合、物理サーバ単位リソース判定手段２２ｂは、空きコア数の多い順に、物理サーバ１のＣＰＵ１０を並べ替える。ここで、ＣＰＵ１０を並べ替えるとは、物理サーバ単位リソース判定手段２２ｂが、処理対象とするＣＰＵの順番を変えるという意味である。
例えば、図８（ａ）に示すように、物理サーバ単位リソース判定手段２２ｂは、図７のＣＰＵ１０の配列を、ＣＰＵ１，ＣＰＵ３，ＣＰＵ４，ＣＰＵ２の順に並べ替える。 Here, with reference to FIGS. 7 and 8, a specific example of the process of the physical server unit resource determination unit 22b will be described. FIG. 7 is a diagram described in the process of the CPU unit resource determination unit 22a, and thus the description thereof is omitted here.
In the state shown in FIG. 7, when the number (in this case, eight) greater than the number of vacant cores of each CPU 10 is notified as the required number of cores of VM 12 to be newly disposed, physical server unit resource judging means 22b , Rearranges the CPUs 10 of the physical server 1 in descending order of the number of free cores. Here, rearranging the CPUs 10 means that the physical server unit resource determination unit 22 b changes the order of the CPUs to be processed.
For example, as illustrated in FIG. 8A, the physical server unit resource determination unit 22b rearranges the arrangement of the CPUs 10 in FIG. 7 in the order of the CPUs 1 , 3 , 3 , 4 and 2 .

そして、物理サーバ単位リソース判定手段２２ｂは、最も空きコア数の多いＣＰＵ１０から、空きコア数の少ないＣＰＵ１０に対して順に、使用しているコア１１の割り当てを変更可能か否か判定する。これは、空きコア数の多いＣＰＵ１０から、空きコア数の少ないＣＰＵ１０へ割り当てを変更すれば、より多くの空きコア数を確保することが可能になるからである。なお、コア１１の割り当て変更は、ＶＭ１２単位で行うこととする。
例えば、図８（ａ）の例では、最も空きコア数の多いＣＰＵ１０（ＣＰＵ１）には、変更対象としてｖｍ１，ｖｍ２，ｖｍ３の３つのＶＭ１２が存在する。そして、物理サーバ単位リソース判定手段２２ｂは、新たに配置するＶＭ１２の必要コア数に足りないコア数（不足コア数）を計算し、すでに存在するＶＭ１２の組み合わせで、不足コア数よりも多い組み合わせのリストを生成する。図８（ａ）の例では、ＣＰＵ１は、必要コア数８個に対して不足コア数は１個であるため、該当する組み合わせは、ｖｍ１のみ、ｖｍ２のみ、ｖｍ３のみ、ｖｍ１とｖｍ２、ｖｍ１とｖｍ３、ｖｍ２とｖｍ３、ｖｍ１とｖｍ２とｖｍ３、の７通りとなる。 Then, the physical server unit resource determination unit 22b determines whether the allocation of the cores 11 being used can be changed in order from the CPU 10 with the largest number of vacant cores to the CPU 10 with the smallest number of vacant cores. This is because if the assignment is changed from the CPU 10 with many vacant cores to the CPU 10 with few vacant cores, it is possible to secure more vacant cores. The assignment change of the core 11 is performed in units of VMs 12.
For example, in the example of FIG. 8A, three VMs 12 of vm1, vm2, and vm3 as change targets exist in the CPU 10 (CPU 1 ) having the largest number of empty cores. Then, the physical server unit resource determination unit 22b calculates the number of cores lacking (the number of insufficient cores) to the required number of cores of the VM 12 to be newly disposed, and the combination of the existing VMs 12 has a combination larger than the number of insufficient cores. Generate a list. In the example of FIG. 8A, since the CPU 1 has eight cores required and the number of insufficient cores is one, the corresponding combinations are only vm1, only vm2, only vm3, only vm1, vm2, and vm1. And vm3, vm2 and vm3, vm1 and vm2 and vm3, and seven ways.

ここで、物理サーバ単位リソース判定手段２２ｂは、各組み合わせのコア数の多い順に、より空きコア数の少ないＣＰＵ１０に割り当て変更可能な組み合わせを探索する。
図８（ａ）の例では、コア数の多い順に、ｖｍ１とｖｍ２とｖｍ３（コア数１１個）、ｖｍ１とｖｍ３（コア数９個）、ｖｍ１とｖｍ２（コア数８個）、ｖｍ１（コア数６個）、ｖｍ２とｖｍ３（コア数５個）、ｖｍ３（コア数３個）、ｖｍ２（コア数２個）の順となる。 Here, the physical server unit resource determination unit 22b searches for a combination that can be assigned to the CPU 10 with a smaller number of vacant cores in the descending order of the number of cores in each combination.
In the example of FIG. 8A, vm1, vm2 and vm3 (11 cores), vm1 and vm3 (9 cores), vm1 and vm2 (8 cores), vm1 (cores) in descending order of the number of cores The number is six, vm2 and vm3 (five cores), vm3 (three cores), and vm2 (two cores) in this order.

そして、物理サーバ単位リソース判定手段２２ｂは、コア数の多いものから順に、空きコア数の少ないＣＰＵ１０に割り当て変更可能な組み合わせを探索する。この場合、ｖｍ１とｖｍ２とｖｍ３（コア数１１個）、ｖｍ１とｖｍ３（コア数９個）、ｖｍ１とｖｍ２（コア数８個）の各組み合わせは、他のどのＣＰＵにも空きがなく割り当てることができない。そして、次にコア数の多いｖｍ１（コア数６個）は、空きコア数の最も少ないＣＰＵ２には割り当てることができないが、図８（ｂ）に示すように、その次に空きコア数の少ないＣＰＵ４には割り当てることができる。すなわち、物理サーバ単位リソース判定手段２２ｂは、ＣＰＵ１に割り当てられているＶＭ（ｖｍ１）を、ＣＰＵ４に割り当てるようにリソースの再編（コンパクション）を行えば、新規のＶＭ１２へのリソースを確保することができると判定する。 Then, the physical server unit resource determination unit 22b searches for a combination that can be allocated and changed to the CPU 10 with the smaller number of vacant cores in order from the one with the largest number of cores. In this case, each combination of vm1 and vm2 and vm3 (11 number of cores), vm1 and vm3 (9 number of cores), and vm1 and vm2 (8 numbers of cores) should be allocated with no space to any other CPU I can not Then, vm1 (the number of cores: 6) having the next largest number of cores can not be allocated to the CPU 2 having the smallest number of empty cores, but as shown in FIG. It can be allocated to a small number of CPUs 4 . That is, the physical server unit resource determination unit 22b secures the resource for the new VM 12 if the resource reorganization (compaction) is performed so that the VM (vm1) allocated to the CPU 1 is allocated to the CPU 4. It is determined that

なお、変更可能な組み合わせの中で、コア数の合計が同一でＶＭ１２の数が異なる場合は、ＶＭ１２の数が少ない方を優先して変更の対象とすることが望ましい。これは、変更するＶＭ１２の数が多いほど、変更にかかる時間、処理手順の増加等のデータセンタＳ全体に与える影響が増してしまうからである。
これによって、物理サーバ単位リソース判定手段２２ｂは、図８（ｃ）に示すように、物理サーバ１内のコンパクションによって、新規のＶＭ１２（ここでは、コア数８）を、ＣＰＵ１に配置することが可能であると判定する。 When the total number of cores is the same and the number of VMs 12 is different among the combinations which can be changed, it is desirable to prioritize the change with the smaller number of VMs 12 being selected. This is because as the number of VMs 12 to be changed increases, the time required for the change, the increase in the processing procedure, and the like affect the entire data center S as a whole.
As a result, as shown in FIG. 8C, the physical server unit resource determination unit 22b may arrange the new VM 12 (here, the number of cores 8) in the CPU 1 by the compaction in the physical server 1. Determine that it is possible.

ここでは、物理サーバ単位リソース判定手段２２ｂは、最も空きコア数の多いＣＰＵ１０（ここでは、ＣＰＵ１）を基準としてリソースが確保可能か否かを判定したが、リソースが確保できない場合、順次、空きコア数の多いＣＰＵ１０から順（図８の例では、ＣＰＵ１→ＣＰＵ３→ＣＰＵ４→ＣＰＵ２）に同様の処理を行えばよい。 Here, the physical server unit resource determination unit 22b determines whether resources can be secured or not on the basis of the CPU 10 (CPU 1 in this case) with the largest number of vacant cores, but if resources can not be secured, the resources are sequentially vacant. The same processing may be performed in order from the CPU 10 having the large number of cores (in the example of FIG. 8, CPU 1 → CPU 3 → CPU 4 → CPU 2 ).

この物理サーバ単位リソース判定手段２２ｂは、新規ＶＭに必要はリソース（必要コア数）が確保可能であると判定した場合、配置可能な物理サーバ１およびＣＰＵ１０を特定する識別情報（図８の例では、ＳＶ１，ＣＰＵ１）を、配置位置制御手段２１に出力する。また、リソースを確保するためコンパクション手順（図８の例では、ＳＶ１のＣＰＵ１からＣＰＵ４へのｖｍ１の割り当て変更）を配置位置制御手段２１に出力する。
そして、物理サーバ単位リソース判定手段２２ｂは、必要コア数の空きをコンパクションによって確保できない場合、他の物理サーバ１（データセンタ内物理サーバリスト２１１（図５（ａ）参照）の次の物理サーバ）でリソースを探索するように、ＣＰＵ単位リソース判定手段２２ａに指示する。そして、すべての物理サーバ１において、それぞれコンパクションによって必要コア数が確保できなかった場合、物理サーバ単位リソース判定手段２２ｂは、必要コア数を、全物理サーバリソース判定手段２２ｃに出力する。
図３に戻って、仮想マシン配置装置２の構成について説明を続ける。 When the physical server unit resource determination unit 22b determines that the resource (the required number of cores) necessary for the new VM can be secured, identification information for identifying the physical server 1 and the CPU 10 that can be allocated (in the example of FIG. 8) , SV 1 , CPU 1 ) to the placement position control means 21. Further, in order to secure resources, a compaction procedure (in the example of FIG. 8, the assignment change of vm1 from the CPU 1 to the CPU 4 of SV 1 ) is outputted to the placement position control means 21.
If the physical server unit resource determination unit 22b can not secure the required number of cores by compaction, the physical server 1 (the physical server following the physical server list in the data center 211 (see FIG. 5A)) The CPU unit resource determination unit 22a is instructed to search for a resource in Then, in the case where the required number of cores can not be secured due to compaction in all the physical servers 1, the physical server unit resource determination means 22b outputs the required number of cores to the all physical server resource determination means 22c.
Returning to FIG. 3, the description of the configuration of the virtual machine placement device 2 will be continued.

全物理サーバリソース判定手段２２ｃは、物理サーバ１内で必要コア数を確保できない場合に、すべての物理サーバ１間で、動作中のＶＭ１２に割り当てられているコアを、他の物理サーバ１のＣＰＵ１０に割り当て直すことで、必要コア数を同一ＣＰＵ上に確保できるか否かを判定するものである。
この全物理サーバリソース判定手段２２ｃは、コンパクションでリソース（必要コア数）が確保可能であれば、そのリソースを有する物理サーバ１およびＣＰＵ１０の識別情報を、配置位置制御手段２１に出力する。また、全物理サーバリソース判定手段２２ｃは、コンパクション手順を配置位置制御手段２１に出力する。 The all-physical server resource determination unit 22c, when the required number of cores can not be secured in the physical server 1, allows the cores allocated to the running VMs 12 among all the physical servers 1 to be the CPUs 10 of the other physical servers 1. By reassigning to, it is determined whether the required number of cores can be secured on the same CPU.
If all resources (number of required cores) can be secured by compaction, the all physical server resource determination unit 22c outputs the identification information of the physical server 1 having the resource and the CPU 10 to the placement position control unit 21. The all physical server resource determination unit 22 c outputs the compaction procedure to the placement position control unit 21.

例えば、全物理サーバリソース判定手段２２ｃは、図９（ａ）に示すように、物理サーバ１（ＳＶ１，ＳＶ２，ＳＶ３）が、それぞれ１８コアのＣＰＵ４個（ＣＰＵ１〜ＣＰＵ４）、ＣＰＵ２個（ＣＰＵ５，ＣＰＵ６）、ＣＰＵ２個（ＣＰＵ７，ＣＰＵ８）で構成され、それぞれのＣＰＵで複数のＶＭ１２によってコア１１が使用されているとする。
この場合、全物理サーバリソース判定手段２２ｃは、図９（ｂ）に示すように、空きコア数の多い順に、ＣＰＵ１０を並べ替える。すなわち、物理サーバ単位リソース判定手段２２ｂが、１つの物理サーバ１内で並べ替えを行ったのに対し（図８参照）、全物理サーバリソース判定手段２２ｃは、すべての物理サーバ１を対象として、ＣＰＵ１０の並べ替えを行う。
これ以降の処理は、物理サーバ単位リソース判定手段２２ｂの処理（図８参照）と同じであるため、説明を省略する。 For example, as illustrated in FIG. 9A, all physical server resource determination unit 22c has four CPUs (CPU 1 to CPU 4 ) each having 18 cores of physical servers 1 (SV 1 , SV 2 , SV 3 ), It is assumed that two CPUs (CPU 5 and CPU 6 ) and two CPUs (CPU 7 and CPU 8 ) are used, and the cores 11 are used by a plurality of VMs 12 in each CPU.
In this case, the all-physical server resource determination unit 22c rearranges the CPUs 10 in descending order of the number of free cores, as shown in FIG. 9 (b). That is, while the physical server unit resource determination means 22b performs rearrangement within one physical server 1 (see FIG. 8), the all physical server resource determination means 22c targets all physical servers 1 as follows. Rearrange the CPU 10.
The subsequent processing is the same as the processing (see FIG. 8) of the physical server unit resource determination unit 22b, and thus the description thereof is omitted.

ただし、全物理サーバリソース判定手段２２ｃは、図８（ｂ）に示したように、コアの割り当てを変更するリソースを探索する場合、変更後の物理サーバ１において、同じアプリケーションの運用系および待機系が、同じ物理サーバ１のＣＰＵ１０上で動作することがないように、リソースの探索を行うこととする。
また、全物理サーバリソース判定手段２２ｃは、新たに配置するＶＭ１２に含まれるアプリケーションＡＰＬの動作系（運用系または待機系）と異なる動作系がすでに配置されている物理サーバ１については、必要コア数の空きを確保できるか否かを判定しないこととする。 However, as shown in FIG. 8B, when searching for a resource whose core allocation is to be changed, the all physical server resource determination unit 22c operates and standbys the same application in the physical server 1 after the change. However, the resource search is performed so as not to operate on the CPU 10 of the same physical server 1.
In addition, all physical server resource determination means 22c is required for the physical server 1 in which an operating system different from the operating system (operating system or standby system) of the application APL included in the VM 12 to be newly arranged is already arranged. It shall not be judged whether or not the vacancy can be secured.

この全物理サーバリソース判定手段２２ｃは、新規ＶＭに必要なリソース（必要コア数）が確保可能であると判定した場合、配置可能な物理サーバ１およびＣＰＵ１０を特定する識別情報を、配置位置制御手段２１に出力する。また、リソースを確保するためコンパクション手順を配置位置制御手段２１に出力する。
そして、全物理サーバリソース判定手段２２ｃは、すべての物理サーバ１で、必要コア数の空きをコンパクションによって確保できない場合、リソースが確保できない旨を配置位置制御手段２１に出力する。
このように、全物理サーバリソース判定手段２２ｃは、すべての物理サーバ１（すなわち、データセンタＳ）を対象として、新たに配置するＶＭ１２の必要コア数の空きがあるか否かを判定する。
図３に戻って、仮想マシン配置装置２の構成について説明を続ける。 If all physical server resource determination means 22c determines that the resources required for the new VM (number of required cores) can be secured, the identification information for specifying the physical server 1 and the CPU 10 that can be arranged is the placement position control means Output to 21 Also, a compaction procedure is output to the placement position control means 21 in order to secure resources.
Then, when all the physical servers 1 can not secure the required number of cores by compaction, the all physical server resource determination unit 22c outputs to the placement position control unit 21 that the resources can not be secured.
As described above, the all physical server resource determination unit 22c determines whether or not the necessary number of cores of the VM 12 to be newly arranged is available for all the physical servers 1 (that is, the data centers S).
Returning to FIG. 3, the description of the configuration of the virtual machine placement device 2 will be continued.

コンパクション実行手段２３は、配置位置制御手段２１から出力されるコンパクション手順に基づいて、動作中のＶＭ１２が割り当てられているコア１１を、当該ＶＭ１２が動作している同じ物理サーバ１の他のＣＰＵ１０、または、他の物理サーバ１のＣＰＵ１０に割り当て直す（コンパクション）ものである。このコンパクション実行手段２３は、空きリソース判定手段２２で、コンパクションを行わずに同一ＣＰＵ上に必要コア数を確保できない判定された場合に動作する。
ここでは、コンパクション実行手段２３は、物理サーバ内割り当て変更手段２３ａと、物理サーバ間割り当て変更手段２３ｂと、を備える。 The compaction execution unit 23 selects the core 11 to which the VM 12 in operation is allocated based on the compaction procedure output from the arrangement position control unit 21, the other CPU 10 of the same physical server 1 in which the VM 12 is operating, Alternatively, they are reassigned (compaction) to the CPUs 10 of other physical servers 1. The compaction execution unit 23 operates when it is determined by the free resource determination unit 22 that the required number of cores can not be secured on the same CPU without performing compaction.
Here, the compaction execution unit 23 includes an intra-physical server allocation change unit 23 a and an inter-physical server allocation change unit 23 b.

物理サーバ内割り当て変更手段２３ａは、物理サーバ１内で、ＶＭ１２のＣＰＵ１０のコア１１への割り当てを変更するものである。この物理サーバ内割り当て変更手段２３ａは、コンパクション手順として、同一の物理サーバ１内で、コア１１の割り当てを変更する手順が指定された際に動作する。すなわち、この物理サーバ内割り当て変更手段２３ａは、物理サーバ単位リソース判定手段２２ｂによって、リソースを確保することが可能であると判定されたコンパクション手順を実行する。
例えば、物理サーバ内割り当て変更手段２３ａは、図１０に示すように、ＣＰＵ１０Ｂ１のコアに割り当てられているＶＭ１２Ｂの仮想ＣＰＵ（ｖＣＰＵ）を、同じ物理サーバ１Ｂの他のＣＰＵ１０Ｂ２のコアに割り当てる。なお、この割り当ての手法は、従来の一般的な手法（非特許文献１）であるため、ここでは、詳細な説明を省略する。 The physical server internal allocation changing means 23 a changes the allocation of the VM 12 to the core 11 in the physical server 1. The intra-physical-server allocation changing means 23a operates when a procedure for changing the allocation of the cores 11 is designated in the same physical server 1 as the compaction procedure. That is, the in-physical server allocation change unit 23a executes the compaction procedure determined by the physical server unit resource determination unit 22b to be able to secure the resource.
For example, physical servers within allocation change means 23a, as shown in FIG. 10, the virtual CPU of VM12B assigned to the core of the CPU 10B 1 (vCPUs), assigned to the other CPU 10B 2 of the core of the same physical server 1B. In addition, since the method of this allocation is a conventional general method (nonpatent literature 1), detailed description is abbreviate | omitted here.

この物理サーバ内割り当て変更手段２３ａは、割り当て変更後、記憶部２１０に記憶されているリソース管理データを更新する。すなわち、物理サーバ内割り当て変更手段２３ａは、コアを解放したＣＰＵのＣＰＵ内コアリスト２１３（図５（ｃ）参照）において、割り当てを変更したＶＭ１２を「使用ＶＭ」から削除するとともに、ＶＭ１２が使用していたコアの「使用」を「未使用」に変更する。また、物理サーバ内割り当て変更手段２３ａは、新たにコアを割り当てたＣＰＵ１０のＣＰＵ内コアリスト２１３（図５（ｃ）参照）において、割り当てを変更したＶＭ１２に割り当てたコア１１を「未使用」から「使用」に変更するとともに、「使用ＶＭ」に割り当てを変更したＶＭ１２の識別情報とコア１１に割り当てた仮想ＣＰＵ１３の識別情報とを設定する。
この物理サーバ内割り当て変更手段２３ａは、コンパクションを実行し、リソース管理データを更新した後、コンパクションが完了した旨を配置位置制御手段２１に通知する。 The intra-physical-server allocation changing unit 23a updates the resource management data stored in the storage unit 210 after the allocation change. That is, the physical server allocation changing means 23a deletes the VM 12 whose allocation has been changed from the "used VM" in the in-CPU core list 213 (see FIG. 5C) of the CPU which released the core, and the VM 12 uses it. Change the core's "use" to "unused". Further, the physical server allocation changing means 23a "unused" the cores 11 allocated to the VM 12 whose allocation has been changed in the in-CPU core list 213 (see FIG. 5C) of the CPU 10 newly allocated cores. While changing to "use", the identification information of the VM 12 whose allocation is changed to "use VM" and the identification information of the virtual CPU 13 allocated to the core 11 are set.
The physical server internal allocation changing means 23a executes the compaction and updates the resource management data, and then notifies the placement position control means 21 that the compaction is completed.

物理サーバ間割り当て変更手段２３ｂは、異なる物理サーバ１間で、ＶＭ１２のＣＰＵ１０のコア１１への割り当てを変更するものである。この物理サーバ間割り当て変更手段２３ｂは、コンパクション手順として、異なる物理サーバ１間で、コア１１の割り当てを変更する手順が指定された際に動作する。すなわち、この物理サーバ間割り当て変更手段２３ｂは、全物理サーバリソース判定手段２２ｃによって、リソースを確保することが可能であると判定されたコンパクション手順を実行する。
例えば、物理サーバ間割り当て変更手段２３ｂは、図１１に示すように、物理サーバ１ＢのＣＰＵ１０Ｂのコアに割り当てられているＶＭ１２Ｂを、物理サーバ１ＣのＣＰＵ１０Ｃのコアに割り当てる。すなわち、物理サーバ間割り当て変更手段２３ｂは、ＶＭ１２Ｂを、物理サーバ１Ｂから物理サーバ１Ｃに移動させて、コアの割り当てを変更する。 The inter-physical-server allocation changing unit 23 b changes the allocation of the VM 12 to the core 11 among the different physical servers 1. The inter-physical-server allocation changing means 23b operates when a procedure for changing the allocation of the cores 11 is specified between different physical servers 1 as a compaction procedure. That is, the inter-physical-server allocation changing unit 23b executes the compaction procedure determined by the all-physical server resource determining unit 22c that the resources can be secured.
For example, as illustrated in FIG. 11, the inter-physical-server allocation changing unit 23b allocates the VM 12B allocated to the core of the CPU 10B of the physical server 1B to the core of the CPU 10C of the physical server 1C. That is, the inter-physical server allocation changing unit 23b moves the VM 12B from the physical server 1B to the physical server 1C, and changes the core allocation.

この物理サーバ間割り当て変更手段２３ｂは、割り当て変更後、記憶部２１０に記憶されているリソース管理データを更新する。この物理サーバ間割り当て変更手段２３ｂのリソース管理データの更新は、物理サーバ内割り当て変更手段２３ａと同様であり、物理サーバ１を跨っている点のみが異なるため、ここでは説明を省略する。
なお、物理サーバ間割り当て変更手段２３ｂは、異なる物理サーバ１間でＶＭ１２の移動を行うため、ＶＭ１２の起動状態を制御して移動を行う必要がある。 The inter-physical-server allocation changing unit 23b updates the resource management data stored in the storage unit 210 after the allocation change. The update of the resource management data of the inter-physical-server allocation changing means 23b is the same as that of the in-physical-server allocation changing means 23a, except that the physical server 1 is straddled.
In order to move the VM 12 between different physical servers 1, the inter-physical-server allocation change unit 23 b needs to control the activation state of the VM 12 and perform the movement.

ここで、図１１，図１２を参照して、アクティブ／スタンバイ構成でアプリケーションが動作しているＶＭ１２のコアの割り当ての変更について説明する。
「０．初期状態」として、物理サーバ１Ａにおいて、ＶＭ１２Ａでアプリケーションがスタンバイ（ＳＢＹ）状態で起動中であって、物理サーバ１Ｂにおいて、ＶＭ１２Ｂでアプリケーションがアクティブ（ＡＣＴ）状態で起動中であるとする。すなわち、物理サーバ１Ａ，１Ｂで、アプリケーションが二重化されて動作しているものとする。
ここで、ＶＭ１２Ｂを、物理サーバ１Ｂから物理サーバ１Ｃに移動させることとする。 Here, with reference to FIGS. 11 and 12, the change of the core allocation of the VM 12 in which the application is operating in the active / standby configuration will be described.
In the “0. initial state”, in the physical server 1A, it is assumed that the application is running in the standby (SBY) state in the VM 12A and the application is running in the active (ACT) state in the VM 12B in the physical server 1B. . That is, in the physical servers 1A and 1B, it is assumed that applications are duplicated and operating.
Here, it is assumed that the VM 12B is moved from the physical server 1B to the physical server 1C.

「１．系切り替え」として、物理サーバ間割り当て変更手段２３ｂは、物理サーバ１ＡのＶＭ１２ＡでＳＢＹ状態として起動中のアプリケーションをＡＣＴ状態に変更するとともに、物理サーバ１ＢのＶＭ１２ＢでＡＣＴ状態として起動中のアプリケーションをＳＢＹ状態に変更する。これによって、アプリケーションの動作系が変更される。   As “1. System switching”, the inter-server allocation changing means 23b changes the application being activated as the SBY state in the VM 12A of the physical server 1A to the ACT state, and is activating as the ACT state in the VM 12B of the physical server 1B Change the application to SBY state. This changes the operating system of the application.

「２．ＳＢＹ停止」として、物理サーバ間割り当て変更手段２３ｂは、物理サーバ１ＢのＶＭ１２Ｂのアプリケーションを停止させる。この場合でも、アプリケーションは、物理サーバ１Ａで１系統（運用系）が動作している。   As “2. SBY stop”, the inter-physical server allocation change unit 23 b stops the application of the VM 12 B of the physical server 1 B. Even in this case, one system (operating system) of the application is operating on the physical server 1A.

「３．ＶＭ移動」として、物理サーバ間割り当て変更手段２３ｂは、ＶＭ１２（アプリケーションを含む）を物理サーバ１Ｂから物理サーバ１Ｃに移動させる。すなわち、物理サーバ間割り当て変更手段２３ｂは、ＶＭ１２（アプリケーションを含む）を物理サーバ１Ｃにコピーし、物理サーバ１Ｂから削除する。このとき、物理サーバ間割り当て変更手段２３ｂは、前記したようにコアの割り当てを変更する。   As “3. VM migration”, the inter-physical-server allocation changing unit 23b migrates the VM 12 (including the application) from the physical server 1B to the physical server 1C. That is, the inter-physical-server allocation changing unit 23b copies the VM 12 (including the application) to the physical server 1C and deletes the VM 12 from the physical server 1B. At this time, the inter-physical-server allocation changing unit 23b changes the core allocation as described above.

「４．ＳＢＹ立ち上げ」として、物理サーバ間割り当て変更手段２３ｂは、物理サーバ１ＣのＶＭ１２ＢのアプリケーションをＳＢＹ状態で起動させる。
「５．系切り替え」として、物理サーバ間割り当て変更手段２３ｂは、物理サーバ１ＡのＶＭ１２ＡでＡＣＴ状態として起動中のアプリケーションをＳＢＹ状態に変更するとともに、物理サーバ１ＣのＶＭ１２ＢでＳＢＹ状態として起動中のアプリケーションをＡＣＴ状態に変更する。 As “4. SBY startup”, the inter-physical-server allocation changing unit 23b starts the application of the VM 12B of the physical server 1C in the SBY state.
As “5. System switching”, the inter-server allocation changing means 23b changes the application being activated as the ACT state in the VM 12A of the physical server 1A to the SBY state, and in the SBY state as the SBY state in the VM 12B of the physical server 1C. Change the application to ACT state.

なお、ここでは、移動対象のＶＭ１２Ｂのアプリケーションが初期状態においてＡＣＴ状態である場合について説明した。
しかし、移動対象のＶＭ１２Ｂのアプリケーションが初期状態においてＳＢＹ状態である場合、すなわち、アプリケーションが二重化されているＶＭ１２Ａのアプリケーションが初期状態においてＡＣＴ状態である場合、物理サーバ間割り当て変更手段２３ｂは、図１２において、「１．系切り替え」から「４．ＳＢＹ立ち上げ」までの処理を行えばよい。
このように、物理サーバ間割り当て変更手段２３ｂは、アプリケーションのサービスを中断することなく、コアの割り当てを変更することができる。
図３に戻って、仮想マシン配置装置２の構成について説明を続ける。 Here, the case where the application of the migration target VM 12B is in the ACT state in the initial state has been described.
However, when the application of the migration target VM 12B is in the SBY state in the initial state, that is, when the application of the VM 12A in which the application is duplicated is in the ACT state in the initial state, the inter-physical server allocation change unit 23b is shown in FIG. In the above, the processing from “1. system switching” to “4. SBY startup” may be performed.
In this way, the physical server inter-server allocation changing means 23b can change the core allocation without interrupting the service of the application.
Returning to FIG. 3, the description of the configuration of the virtual machine placement device 2 will be continued.

配置実行手段２４は、配置位置制御手段２１で決定された配置位置に、新規のＶＭ１２を配置するものである。
この配置実行手段２４は、新規のＶＭ１２のプログラムを、配置位置として指定される物理サーバ１に通信部２００を介してコピーし、同じく配置位置として指定されるＣＰＵ１０の空きコアにＶＭ１２の仮想ＣＰＵ１３を割り当てる。 The placement execution means 24 places the new VM 12 at the placement position determined by the placement position control means 21.
The placement execution unit 24 copies the program of the new VM 12 to the physical server 1 designated as the placement position via the communication unit 200, and puts the virtual CPU 13 of the VM 12 in the empty core of the CPU 10 designated similarly as the placement position. assign.

なお、配置実行手段２４は、記憶部２１０に記憶されているリソース管理データ（図５参照）を参照し、指定された物理サーバ１のＣＰＵ１０のコアで未使用のコアに、必要コア数分のＶＭ１２の仮想ＣＰＵを割り当てる。そして、配置実行手段２４は、リソース管理データのＣＰＵ内コアリスト２１３（図５（ｃ）参照）において、割り当てたコアの「使用／未使用」を「使用」に設定するとともに、「使用ＶＭ」に、新たに配置したＶＭ１２の識別情報と仮想ＣＰＵ１３の識別情報とを設定する。
また、配置実行手段２４は、記憶部２１０に記憶されている動作状態リスト２１４（図６参照）において、新規のＶＭ１２のプログラムを識別するＶＭ１２の識別情報を設定するとともに、アプリケーションの識別情報と運用系または待機系のいずれかであるかを示す識別情報（ＡＣＴ／ＳＢＹ）とを設定する。 The placement execution unit 24 refers to the resource management data (see FIG. 5) stored in the storage unit 210, and the cores of the CPU 10 of the designated physical server 1 are not used by the number of cores required. Allocate virtual CPU of VM12. Then, the placement execution unit 24 sets “used / unused” of the allocated core to “used” in the in-CPU core list 213 (refer to FIG. 5C) of the resource management data, and “used VM”. Then, the identification information of the newly arranged VM 12 and the identification information of the virtual CPU 13 are set.
In addition, the arrangement execution means 24 sets the identification information of the VM 12 for identifying the program of the new VM 12 in the operation state list 214 (see FIG. 6) stored in the storage unit 210, and the identification information and operation of the application. The identification information (ACT / SBY) indicating whether it is a system or a standby system is set.

なお、配置実行手段２４は、外部からＶＭ１２の削除を指示された場合、通信部２００を介して、対応する物理サーバ１に対して、ＶＭ１２の削除を指示し、記憶部２１０のリソース管理データのＣＰＵ内コアリスト（図５（ｃ）参照）と、動作状態リスト（図６参照）とを更新することとする。   Note that, when instructed to delete the VM 12 from the outside, the placement execution unit 24 instructs the corresponding physical server 1 to delete the VM 12 via the communication unit 200, and the resource management data of the storage unit 210 is The CPU core list (see FIG. 5C) and the operation state list (see FIG. 6) are updated.

以上説明したように仮想マシン配置装置２を構成することで、仮想マシン配置装置２は、ＣＰＵ１０のコア１１に仮想マシン（ＶＭ）１２の仮想ＣＰＵ（ｖＣＰＵ）１３を割り当てて動作させるシステムにおいて、その割り当て処理を自動で行うことができる。
また、仮想マシン配置装置２は、ＶＭ１２の配置によるリソースの獲得、停止によるリソースの回収を繰り返すことによりリソースの断片化が発生した場合でも、コンパクションにより新規に配置するＶＭ１２に対してリソースを確保することができる。
なお、仮想マシン配置装置２は、コンピュータを、前記した各手段として機能させるプログラム（仮想マシン配置プログラム）で動作させることができる。 As described above, by configuring the virtual machine placement device 2, the virtual machine placement device 2 assigns the virtual CPU (vCPU) 13 of the virtual machine (VM) 12 to the core 11 of the CPU 10 and operates it. Allocation processing can be performed automatically.
In addition, even when resource fragmentation occurs by repeating acquisition of resources by allocation of VM 12 and recovery of resources by suspension, the virtual machine allocation device 2 secures resources for the VM 12 to be newly allocated by compaction. be able to.
Note that the virtual machine placement device 2 can operate a computer (a virtual machine placement program) that causes the computer to function as the above-described means.

≪仮想マシン配置装置の動作≫
次に、図１３，図１４を参照（構成については、適宜、図１〜図３参照）して、仮想マシン配置装置２の動作について説明する。
まず、仮想マシン配置装置２は、配置位置制御手段２１に新規のＶＭ１２の配置を指示された場合、空きリソース判定手段２２のＣＰＵ単位リソース判定手段２２ａによって、ＣＰＵ単位でのリソース確保を試みる。
すなわち、空きリソース判定手段２２は、記憶部２１０に記憶されているデータセンタ内物理サーバリスト２１１（図５（ａ）参照）から、最初の物理サーバを選択する（ステップＳ１）。なお、空きリソース判定手段２２は、動作状態リスト２１４（図６参照）を参照して、新たに追加するＶＭ１２のアプリケーションとは異なる他の動作系（運用系または待機系）と同じアプリケーションが動作している場合、その動作している物理サーバは選択から除外する。 << Operation of virtual machine placement device >>
Next, the operation of the virtual machine placement device 2 will be described with reference to FIGS. 13 and 14 (for the configuration, refer to FIGS. 1 to 3 as needed).
First, when the virtual machine placement device 2 is instructed by the placement location control means 21 to place a new VM 12, the CPU unit resource determination means 22a of the free resource determination means 22 tries to reserve resources in CPU units.
That is, the free resource determination unit 22 selects the first physical server from the data center physical server list 211 (see FIG. 5A) stored in the storage unit 210 (step S1). The free resource determination unit 22 refers to the operation state list 214 (see FIG. 6) and operates the same application as another operation system (operating system or standby system) different from the application of the VM 12 to be newly added. If it is, the physical server that is operating is excluded from selection.

そして、ＣＰＵ単位リソース判定手段２２ａは、選択した物理サーバに対応する物理サーバ内ＣＰＵリスト２１２（図５（ｂ）参照）から、最初のＣＰＵを選択する（ステップＳ２）。   Then, the CPU unit resource determination unit 22a selects the first CPU from the physical server CPU list 212 (see FIG. 5B) corresponding to the selected physical server (step S2).

そして、ＣＰＵ単位リソース判定手段２２ａは、選択したＣＰＵ１０に対応するＣＰＵ内コアリスト２１３（図５（ｃ）参照）を参照して、新たに配置するＶＭ１２の必要コア数の空きがあるか否かを判定する（ステップＳ３）。すなわち、ＣＰＵ単位リソース判定手段２２ａは、ＣＰＵ内コアリスト２１３で、コア１１の「未使用」の数が、必要コア数以上であるか否かを判定する。   Then, with reference to the in-CPU core list 213 (see FIG. 5C) corresponding to the selected CPU 10, the CPU unit resource determination unit 22a determines whether or not the required number of cores of the VM 12 to be newly arranged is available. Is determined (step S3). That is, the CPU unit resource determination unit 22 a determines whether the number of “unused” of the cores 11 in the in-CPU core list 213 is equal to or more than the required number of cores.

ここで、必要コア数の空きがある場合（ステップＳ３でＹｅｓ）、仮想マシン配置装置２は、配置実行手段２４によって、選択されたＣＰＵを配置位置として、ＶＭ１２を配置する（ステップＳ４）。ここでは、ＣＰＵ単位リソース判定手段２２ａが、選択した物理サーバ１およびＣＰＵ１０の識別情報を配置位置として配置位置制御手段２１に通知し、配置位置制御手段２１が、その配置位置にＶＭ１２を配置する旨を配置実行手段２４に指示することで、ＶＭ１２の配置が実行される。
そして、配置実行手段２４は、記憶部２１０のリソース管理データのＣＰＵ内コアリスト（図５（ｃ）参照）と、動作状態リスト（図６参照）とを更新する（不図示）。 Here, when there is a space required for the required number of cores (Yes in step S3), the virtual machine arrangement device 2 arranges the VM 12 with the selected CPU as the arrangement position by the arrangement execution unit 24 (step S4). Here, the CPU unit resource determination means 22a notifies the arrangement position control means 21 of the identification information of the selected physical server 1 and CPU 10 as the arrangement position, and the arrangement position control means 21 arranges the VM 12 at the arrangement position Is instructed to the placement execution means 24 to place the VM 12.
Then, the placement execution unit 24 updates the in-CPU core list (see FIG. 5C) of the resource management data of the storage unit 210 and the operation state list (see FIG. 6) (not shown).

一方、選択されたＣＰＵに必要コア数の空きがない場合（ステップＳ３でＮｏ）、ＣＰＵ単位リソース判定手段２２ａは、物理サーバ内ＣＰＵリスト２１２（図５（ｂ）参照）に次のＣＰＵ１０があるか否かを判定する（ステップＳ５）。
ここで、次のＣＰＵ１０が存在する場合（ステップＳ５でＹｅｓ）、ＣＰＵ単位リソース判定手段２２ａは、次のＣＰＵ１０を選択し（ステップＳ６）、ステップＳ３に動作を戻す。
そして、次のＣＰＵ１０が存在しない場合（ステップＳ５でＮｏ）、ＣＰＵ単位リソース判定手段２２ａは、ステップＳ７（図１４）に動作を移す（Ａ）。 On the other hand, when the selected CPU does not have the necessary number of cores available (No in step S3), the CPU unit resource determination unit 22a has the next CPU 10 in the physical server CPU list 212 (see FIG. 5B). It is determined whether or not (step S5).
Here, when the next CPU 10 exists (Yes in step S5), the CPU-based resource determination unit 22a selects the next CPU 10 (step S6), and returns the operation to step S3.
When the next CPU 10 does not exist (No in step S5), the CPU unit resource determination unit 22a shifts the operation to step S7 (FIG. 14) (A).

この場合、選択した物理サーバ１内のＣＰＵ単位では、新たなＶＭ１２のためのリソースを確保できないため、仮想マシン配置装置２は、物理サーバ単位リソース判定手段２２ｂによって、選択した物理サーバ全体でのリソース確保を試みる。   In this case, the resource for the new VM 12 can not be secured in the CPU unit in the selected physical server 1. Therefore, the virtual machine allocation device 2 uses the physical server unit resource determination unit 22b to select resources for the entire selected physical server. Try to secure.

すなわち、物理サーバ単位リソース判定手段２２ｂは、選択した物理サーバ１に対応する物理サーバ内ＣＰＵリスト２１２（図５（ｂ）参照）により、当該物理サーバ１に含まれるすべてのＣＰＵ１０に対応するＣＰＵ内コアリスト２１３（図５（ｃ）参照）を参照して、物理サーバ１内に新たに配置するＶＭ１２の必要コア数を確保できるか否かを判定する（ステップＳ７）。このとき、物理サーバ単位リソース判定手段２２ｂは、図７，図８で説明したように、物理サーバ１内でコンパクションによってリソース（必要コア数）を確保できるか否かを判定する。   That is, the physical server unit resource determination unit 22 b determines the internal CPUs corresponding to all the CPUs 10 included in the physical server 1 according to the physical server CPU list 212 (see FIG. 5B) corresponding to the selected physical server 1. It is determined with reference to the core list 213 (see FIG. 5C) whether or not the required number of cores of the VMs 12 to be newly disposed in the physical server 1 can be secured (step S7). At this time, the physical server unit resource determination unit 22b determines whether or not the resources (the required number of cores) can be secured by compaction in the physical server 1 as described with reference to FIGS. 7 and 8.

ここで、必要コア数が確保できる場合（ステップＳ７でＹｅｓ）、仮想マシン配置装置２は、コンパクション実行手段２３の物理サーバ内割り当て変更手段２３ａによって、物理サーバ１内でコンパクションを実行する（ステップＳ８）。ここでは、物理サーバ単位リソース判定手段２２ｂが、コンパクションによってリソースが確保されるコンパクション手順を配置位置制御手段２１に通知し、物理サーバ内割り当て変更手段２３ａが、そのコンパクション手順を実行する。   Here, when the required number of cores can be secured (Yes in step S7), the virtual machine allocation device 2 executes the compaction in the physical server 1 by the in-physical server allocation changing means 23a of the compaction execution means 23 (step S8). ). Here, the physical server unit resource determination means 22b notifies the placement position control means 21 of the compaction procedure in which the resource is secured by the compaction, and the physical server internal allocation change means 23a executes the compaction procedure.

そして、仮想マシン配置装置２は、配置実行手段２４によって、リソースが確保された配置位置に、ＶＭ１２を配置する（ステップＳ９）。ここでは、物理サーバ単位リソース判定手段２２ｂが、コンパクションによりリソースを確保可能な物理サーバ１およびＣＰＵ１０の識別情報を配置位置として配置位置制御手段２１に通知し、配置位置制御手段２１が、その配置位置にＶＭ１２を配置する旨を配置実行手段２４に指示することで、ＶＭ１２の配置が実行される。
そして、配置実行手段２４は、記憶部２１０のリソース管理データのＣＰＵ内コアリスト（図５（ｃ）参照）と、動作状態リスト（図６参照）とを更新する（不図示）。 Then, the virtual machine placement device 2 places the VM 12 at the placement position where the resource is secured by the placement execution unit 24 (step S9). Here, the physical server unit resource determination unit 22b notifies the arrangement position control unit 21 of the identification information of the physical server 1 and the CPU 10 capable of securing resources by compaction as the arrangement position, and the arrangement position control unit 21 arranges the arrangement position The placement of the VM 12 is executed by instructing the placement execution unit 24 to place the VM 12 on the
Then, the placement execution unit 24 updates the in-CPU core list (see FIG. 5C) of the resource management data of the storage unit 210 and the operation state list (see FIG. 6) (not shown).

一方、選択された物理サーバ１内に必要コア数が確保できない場合（ステップＳ７でＮｏ）、物理サーバ単位リソース判定手段２２ｂは、データセンタ内物理サーバリスト２１１（図５（ａ）参照）に次の物理サーバ１があるか否かを判定する（ステップＳ１０）。
ここで、次の物理サーバが存在する場合（ステップＳ１０でＹｅｓ）、物理サーバ単位リソース判定手段２２ｂは、次の物理サーバ１を選択し（ステップＳ１１）、ステップＳ２（図１３）に動作を戻す（Ｂ）。 On the other hand, when the required number of cores can not be secured in the selected physical server 1 (No in step S7), the physical server unit resource determination unit 22b continues to the physical server list in data center 211 (see FIG. 5A). It is determined whether there is any physical server 1 (step S10).
Here, when the next physical server exists (Yes in step S10), the physical server unit resource determination unit 22b selects the next physical server 1 (step S11), and returns the operation to step S2 (FIG. 13). (B).

なお、物理サーバ単位リソース判定手段２２ｂは、動作状態リスト２１４（図６参照）を参照して、新たに追加するＶＭ１２のアプリケーションとは異なる他の動作系（運用系または待機系）と同じアプリケーションが動作している場合、その動作している物理サーバは選択から除外する。   The physical server unit resource determination unit 22b refers to the operation state list 214 (see FIG. 6) and the same application as another operation system (operating system or standby system) different from the application of the VM 12 to be newly added. If it is running, the running physical server is excluded from selection.

そして、次の物理サーバ１が存在しない場合（ステップＳ１０でＮｏ）、物理サーバ単位リソース判定手段２２ｂは、ステップＳ１２に動作を移す。
この場合、物理サーバ単位では、新たなＶＭ１２のためのリソースを確保できないため、仮想マシン配置装置２は、全物理サーバリソース判定手段２２ｃによって、すべての物理サーバ１でのリソース確保を試みる。 Then, when the next physical server 1 does not exist (No in step S10), the physical server unit resource determination unit 22b shifts the operation to step S12.
In this case, since resources for a new VM 12 can not be secured on a physical server basis, the virtual machine allocation device 2 attempts to secure resources on all physical servers 1 by the all-physical server resource determination unit 22c.

すなわち、全物理サーバリソース判定手段２２ｃは、データセンタ内物理サーバリスト２１１（図５（ａ）参照）で特定されるすべての物理サーバ１に対応する物理サーバ内ＣＰＵリスト２１２（図５（ｂ）参照）により、すべての物理サーバ１に含まれるすべてのＣＰＵ１０に対応するＣＰＵ内コアリスト２１３（図５（ｃ）参照）を参照して、物理サーバ１内に新たに配置するＶＭ１２の必要コア数を確保できるか否かを判定する（ステップＳ１２）。このとき、全物理サーバリソース判定手段２２ｃは、データセンタＳ内でコンパクションによってリソース（必要コア数）を確保できるか否かを判定する。   That is, the all-physical server resource determination unit 22c stores the in-physical server CPU list 212 (FIG. 5 (b)) corresponding to all the physical servers 1 specified in the in-data center physical server list 211 (see FIG. 5 (a)). With reference to the in-CPU core list 213 (see FIG. 5C) corresponding to all the CPUs 10 included in all the physical servers 1, the required number of cores of the VM 12 to be newly disposed in the physical server 1). It is determined whether it is possible to secure (step S12). At this time, the all physical server resource determination unit 22c determines whether or not the resources (the number of necessary cores) can be secured in the data center S by compaction.

ここで、必要コア数が確保できる場合（ステップＳ１２でＹｅｓ）、仮想マシン配置装置２は、コンパクション実行手段２３の物理サーバ間割り当て変更手段２３ｂによって、物理サーバ１間でコンパクションを実行する（ステップＳ１３）。ここでは、全物理サーバリソース判定手段２２ｃが、コンパクションによってリソースが確保されるコンパクション手順を配置位置制御手段２１に通知し、物理サーバ間割り当て変更手段２３ｂが、そのコンパクション手順を実行する。   Here, when the required number of cores can be secured (Yes in step S12), the virtual machine allocation device 2 executes compaction among the physical servers 1 by the inter-physical server allocation changing means 23b of the compaction execution means 23 (step S13). ). Here, the all physical server resource determination unit 22c notifies the placement position control unit 21 of the compaction procedure in which the resource is secured by the compaction, and the inter-physical server allocation change unit 23b executes the compaction procedure.

そして、仮想マシン配置装置２は、配置実行手段２４によって、リソースが確保された配置位置に、ＶＭ１２を配置する（ステップＳ１４）。ここでは、全物理サーバリソース判定手段２２ｃが、コンパクションによりリソースを確保可能な物理サーバ１およびＣＰＵ１０の識別情報を配置位置として配置位置制御手段２１に通知し、配置位置制御手段２１が、その配置位置にＶＭ１２を配置する旨を配置実行手段２４に指示することで、ＶＭ１２の配置が実行される。   Then, the virtual machine placement device 2 places the VM 12 at the placement position where the resource is secured by the placement execution unit 24 (step S14). Here, the all physical server resource determination means 22c notifies the arrangement position control means 21 of the identification information of the physical server 1 and CPU 10 capable of securing resources by compaction as the arrangement position, and the arrangement position control means 21 arranges the arrangement position The placement of the VM 12 is executed by instructing the placement execution unit 24 to place the VM 12 on the

そして、配置実行手段２４は、記憶部２１０のリソース管理データのＣＰＵ内コアリスト（図５（ｃ）参照）と、動作状態リスト（図６参照）とを更新する（不図示）。
一方、すべての物理サーバによっても、必要コア数が確保できない場合（ステップＳ１２でＮｏ）、仮想マシン配置装置２は、配置位置制御手段２１によって、図示を省略した表示装置に警告を表示する（ステップＳ１５）。
この場合、データセンタＳ内に新たに物理サーバを追加した後（ステップＳ１６）、新たなＶＭを配置することとする（ステップＳ１７）。 Then, the placement execution unit 24 updates the in-CPU core list (see FIG. 5C) of the resource management data of the storage unit 210 and the operation state list (see FIG. 6) (not shown).
On the other hand, when the required number of cores can not be secured by all physical servers (No in step S12), the virtual machine placement device 2 causes the placement position control means 21 to display a warning on the display device (not shown) (step S15).
In this case, after a physical server is newly added in the data center S (step S16), a new VM is placed (step S17).

以上の動作によって、仮想マシン配置装置２は、データセンタＳ内のリソース管理を行って、リソースの断片化が発生した場合でも、コンパクションにより新規に配置するＶＭ１２にリソースを確保することができる。   By the above operation, the virtual machine arrangement device 2 can perform resource management in the data center S, and can secure resources in the VM 12 to be newly arranged by compaction even when resource fragmentation occurs.

以上、本発明の実施形態について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、仮想マシン配置装置２は、配置位置制御手段２１が、外部からＶＭ１２の配置や削除を指示されるたびに、リソース管理データを更新することとした。
しかし、仮想マシン配置装置２は、データセンタＳ内の物理サーバ１から、通信部２００を介して、ＶＭの終了通知を受信することで、配置実行手段２４が、リソースを更新（解放）することとしてもよい。あるいは、配置実行手段２４は定期的にＶＭ１２の動作確認を行って、動作確認のとれないＶＭ１２のリソースを更新（解放）することとしてもよい。
これによって、物理サーバ１が、自発的にＶＭ１２の削除を行った場合でも、仮想マシン配置装置２がリソースを管理することができる。 As mentioned above, although embodiment of this invention was described, this invention is not limited to this embodiment.
For example, here, the virtual machine placement device 2 updates the resource management data each time the placement position control means 21 is instructed from outside to place or delete the VM 12.
However, the virtual machine placement device 2 updates (releases) the resource by receiving a VM termination notice from the physical server 1 in the data center S via the communication unit 200. It may be Alternatively, the placement execution unit 24 may periodically check the operation of the VM 12 and update (release) the resources of the VM 12 for which the operation check can not be made.
Thus, even when the physical server 1 voluntarily deletes the VM 12, the virtual machine allocation device 2 can manage the resources.

また、ここでは、空きリソース判定手段２２は、ある物理サーバ１においてＣＰＵ１０ごとにリソースが確保できるか探索し、確保できない場合にその物理サーバ１内でコンパクションを行うことでリソースを確保できるか否かを判定した。すなわち、空きリソース判定手段２２は、ＣＰＵ単位の探索と物理サーバ単位の探索とを、物理サーバ１ごとに順次繰り返してリソースを確保できるか否か判定した。
しかし、空きリソース判定手段２２は、すべての物理サーバ１内のすべてのＣＰＵ１０でリソースが確保できるか探索し、確保できない場合に、物理サーバ単位でコンパクションすることでリソースを確保できるか否かを判定することとしてもよい。すなわち、空きリソース判定手段２２は、すべての物理サーバ１でＣＰＵ単位の探索を行った後、すべての物理サーバ１に対して、物理サーバ単位の探索を行うこととしてもよい。 Furthermore, here, the free resource determination unit 22 searches whether or not a resource can be secured for each CPU 10 in a certain physical server 1, and if the resource can not be secured, whether or not the resource can be secured by performing compaction in the physical server 1 Was judged. That is, the free resource determination unit 22 determines whether the resources can be secured by sequentially repeating the search in the CPU unit and the search in the physical server unit for each physical server 1.
However, the free resource determination unit 22 searches whether all the CPUs 10 in all the physical servers 1 can secure resources, and when it is not possible, determines whether resources can be secured by performing compaction in units of physical servers. You may do it. That is, the free resource determination unit 22 may search for all physical servers 1 in units of physical servers after searching for CPU units in all physical servers 1.

Ｓ データセンタ（コンピュータシステム）
１ 物理サーバ（サーバハード）
１０ ＣＰＵ
１１ コア
１２ 仮想マシン（ＶＭ）
１３ 仮想ＣＰＵ（ｖＣＰＵ）
２ 仮想マシン配置装置
２１ 配置位置制御手段
２２ 空きリソース判定手段
２２ａ ＣＰＵ単位リソース判定手段
２２ｂ 物理サーバ単位判定手段
２２ｃ 全物理サーバリソース判定手段
２３ コンパクション実行手段
２３ａ 物理サーバ内割り当て変更手段
２３ｂ 物理サーバ間割り当て変更手段
２４ 配置実行手段
２００ 通信部（通信手段）
２１０ 記憶部（記憶手段）
２２０ 制御部（制御手段） S Data Center (Computer System)
1 Physical server (server hardware)
10 CPU
11 cores 12 virtual machines (VMs)
13 Virtual CPU (vCPU)
2 Virtual Machine Placement Device 21 Placement Location Control Means 22 Free Resource Determination Means 22a CPU Unit Resource Determination Means 22b Physical Server Unit Determination Means 22c All Physical Server Resource Determination Means 23 Compaction Execution Means 23a Allocation in Physical Server Allocation Means 23b Allocation Between Physical Servers Changing means 24 Arrangement executing means 200 Communication unit (communication means)
210 Storage unit (storage means)
220 Control unit (control means)

Claims (2)

複数のコアで構成されるＣＰＵを複数有する物理サーバを複数備えたコンピュータシステムにおいて、仮想マシンを予め同一のＣＰＵのコアに割り当てて前記物理サーバに配置する仮想マシン配置装置であって、
前記物理サーバと前記ＣＰＵと前記コアとを対応付けるとともに、前記コアがどの仮想マシンに使用されているのかを示すリソース管理データを記憶する記憶手段と、
前記リソース管理データを参照して、新たな仮想マシンが予め必要とする必要コア数を同一ＣＰＵ上に確保できるか否かを判定する空きリソース判定手段と、
前記空きリソース判定手段で同一ＣＰＵ上に前記必要コア数を確保できない場合に、動作中の仮想マシンが割り当てられているコアを、当該仮想マシンが動作している物理サーバの他のＣＰＵ、または、他の物理サーバのＣＰＵに割り当て直すコンパクション実行手段と、
確保された同一ＣＰＵ上のコアに、前記新たな仮想マシンを配置する配置実行手段と、
を備え、
前記空きリソース判定手段は、
前記同一ＣＰＵで前記必要コア数を確保できない場合に、個々の物理サーバ内で、前記動作中の仮想マシンに割り当てられているコアを、他のＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定する物理サーバ単位リソース判定手段と、
前記物理サーバ内で前記必要コア数を確保できない場合に、すべての物理サーバ間で、前記動作中の仮想マシンに割り当てられているコアを、他の物理サーバのＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定する全物理サーバリソース判定手段と、を備えることを特徴とする仮想マシン配置装置。 A computer system comprising a plurality of physical servers having a plurality of CPUs configured with a plurality of cores, wherein virtual machines are allocated to cores of the same CPU in advance and arranged in the physical servers,
Storage means for correlating the physical server, the CPU, and the core, and storing resource management data indicating which virtual machine the core is being used for;
Free resource determination means for determining whether or not the required number of cores required by a new virtual machine can be secured on the same CPU with reference to the resource management data;
When the necessary resource count can not be secured on the same CPU by the free resource determination means, a core to which a virtual machine in operation is allocated is another CPU of a physical server on which the virtual machine is operating, or Compaction execution means for reassigning to CPUs of other physical servers;
Placement execution means for placing the new virtual machine in the secured core on the same CPU;
Equipped with
The free resource determination means
If the required number of cores can not be secured by the same CPU, the cores allocated to the active virtual machine are reassigned to another CPU in each physical server, so that the required number of cores is the same. A physical server unit resource determination unit that determines whether or not it can be secured on the CPU;
When the required number of cores can not be secured in the physical server, the core assigned to the active virtual machine is reassigned to the CPUs of other physical servers among all the physical servers. virtual machine placement apparatus according to claim Rukoto and a full physical server resources determining means for determining whether the number of cores can be secured on the same CPU. 複数のコアで構成されるＣＰＵを複数有する物理サーバを複数備えたコンピュータシステムにおいて、仮想マシン配置装置が、仮想マシンを予め同一のＣＰＵのコアに割り当てて前記物理サーバに配置するためのリソースを確保するリソース管理方法であって、
ＣＰＵ単位リソース判定手段によって、前記物理サーバと前記ＣＰＵと前記コアとを対応付けるとともに、前記コアがどの仮想マシンに使用されているのかを示すリソース管理データを参照して、同一ＣＰＵ内で新たな仮想マシンが予め必要とする必要コア数を確保できるか否かを判定するステップと、
同一ＣＰＵ内で前記必要コア数を確保できない場合に、物理サーバ単位リソース判定手段によって、前記リソース管理データを参照して、個々の物理サーバ内で、動作中の仮想マシンに割り当てられているコアを、他のＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定するステップと、
前記物理サーバ内で前記必要コア数を確保できる場合に、物理サーバ内割り当て変更手段によって、前記物理サーバ内でコアの割り当てを変更するステップと、
前記物理サーバ内で前記必要コア数を確保できない場合に、全物理サーバリソース判定手段によって、前記リソース管理データを参照して、すべての物理サーバ間で、動作中の仮想マシンに割り当てられているコアを、他の物理サーバのＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定するステップと、
前記物理サーバ間で前記必要コア数を確保できる場合に、物理サーバ間割り当て変更手段によって、前記物理サーバ間でコアの割り当てを変更するステップと、
を含むことを特徴とするリソース管理方法。 In a computer system provided with a plurality of physical servers having a plurality of CPUs composed of a plurality of cores, the virtual machine placement device reserves a resource for assigning virtual machines to the cores of the same CPU in advance and placing them on the physical servers Resource management method, and
The CPU-based resource determination unit associates the physical server, the CPU, and the core with each other, and refers to resource management data indicating which virtual machine the core is being used for, and creates a new virtual within the same CPU. Determining whether or not the necessary number of cores required by the machine can be secured in advance;
When the required number of cores can not be secured in the same CPU, the physical server unit resource determination unit refers to the resource management data, and the cores assigned to the operating virtual machines in each physical server are selected. Determining whether the required number of cores can be secured on the same CPU by reassigning to another CPU;
Changing the core allocation in the physical server by the physical server internal allocation changing unit when the required number of cores can be secured in the physical server;
When it is not possible to secure the required number of cores in the physical server, all physical server resource determination means refers to the resource management data, and a core allocated to a virtual machine in operation among all the physical servers Determining whether or not the required number of cores can be secured on the same CPU by reassigning to the CPUs of other physical servers.
Changing the core allocation among the physical servers by the physical server inter-allocation changing unit when the required number of cores can be secured between the physical servers;
A resource management method comprising:
JP2016110554A 2016-06-02 2016-06-02 Virtual machine allocation apparatus and resource management method Active JP6543219B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016110554A JP6543219B2 (en) 2016-06-02 2016-06-02 Virtual machine allocation apparatus and resource management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016110554A JP6543219B2 (en) 2016-06-02 2016-06-02 Virtual machine allocation apparatus and resource management method

Publications (2)

Publication Number Publication Date
JP2017215884A JP2017215884A (en) 2017-12-07
JP6543219B2 true JP6543219B2 (en) 2019-07-10

Family

ID=60577054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016110554A Active JP6543219B2 (en) 2016-06-02 2016-06-02 Virtual machine allocation apparatus and resource management method

Country Status (1)

Country Link
JP (1) JP6543219B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6958414B2 (en) * 2018-02-19 2021-11-02 日本電信電話株式会社 Virtual resource management device, virtual resource allocation method, virtual resource allocation program, and virtual resource management system
CN111400020B (en) * 2019-01-02 2023-05-09 中国移动通信有限公司研究院 Virtual machine scheduling method and device and computer readable storage medium
JP7010272B2 (en) * 2019-10-08 2022-01-26 横河電機株式会社 Real-time communication processing system and real-time communication processing method
CN111861446A (en) * 2020-07-20 2020-10-30 北京金山云网络技术有限公司 Charging control method, charging control device, electronic equipment, server and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7673113B2 (en) * 2006-12-29 2010-03-02 Intel Corporation Method for dynamic load balancing on partitioned systems
JP5035299B2 (en) * 2009-06-15 2012-09-26 株式会社日立製作所 Multi-core processor control method, computer system thereof, and management computer program
JP2013171944A (en) * 2012-02-20 2013-09-02 Toshiba Corp Semiconductor manufacturing apparatus and semiconductor device manufacturing method using the apparatus
JP6287261B2 (en) * 2014-01-27 2018-03-07 日本電気株式会社 System control apparatus, control method, and program

Also Published As

Publication number Publication date
JP2017215884A (en) 2017-12-07

Similar Documents

Publication Publication Date Title
US11182196B2 (en) Unified resource management for containers and virtual machines
US11579914B2 (en) Platform independent GPU profiles for more efficient utilization of GPU resources
EP3761170B1 (en) Virtual machine creation method and apparatus
KR101020392B1 (en) Sharing a kernel of an operating system among logical partitions
JP4519098B2 (en) Computer management method, computer system, and management program
JP6543219B2 (en) Virtual machine allocation apparatus and resource management method
US20130339956A1 (en) Computer system and optimal arrangement method of virtual machine in computer system
JP6840099B2 (en) Service provision system, resource allocation method, and resource allocation program
JP2010282420A (en) Management computer, resource management method, resource management program, recording medium, and information processing system
US11740921B2 (en) Coordinated container scheduling for improved resource allocation in virtual computing environment
JP2010277581A (en) Resource management method, resource management program, and resource management device
JPWO2012039053A1 (en) Computer system operation management method, computer system, and computer-readable medium storing program
JP6010975B2 (en) Job management apparatus, job management method, and program
JP2008107966A (en) Computer system
JP2010205208A (en) Host computer, multipath system, and method and program for allocating path
JPH10293695A (en) Dynamic reconfiguration system of logic computer system
KR20130080587A (en) Dynamically reconfigurable apparatus for operating system in manycore system and method of the same
JP2011215812A (en) Virtual computer management method, computer system, and resource management program
KR102014246B1 (en) Mesos process apparatus for unified management of resource and method for the same
CN114157569A (en) Cluster system and construction method and construction device thereof
JP6445876B2 (en) Resource allocation device, resource allocation system, and resource allocation method
JP6035993B2 (en) Information processing apparatus, apparatus management method, and apparatus management program
JP2016038888A (en) Information processing system, information processing method and information processing program
JP6696947B2 (en) Virtual machine emulation system, virtual machine emulation method and computer program
JP2010205207A (en) Host computer, multipath system, and method and program for allocating path

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190614

R150 Certificate of patent or registration of utility model

Ref document number: 6543219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150