JP6374845B2 - Computer system and container management method - Google Patents

Computer system and container management method Download PDF

Info

Publication number
JP6374845B2
JP6374845B2 JP2015157244A JP2015157244A JP6374845B2 JP 6374845 B2 JP6374845 B2 JP 6374845B2 JP 2015157244 A JP2015157244 A JP 2015157244A JP 2015157244 A JP2015157244 A JP 2015157244A JP 6374845 B2 JP6374845 B2 JP 6374845B2
Authority
JP
Japan
Prior art keywords
container
physical server
resource amount
new
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015157244A
Other languages
Japanese (ja)
Other versions
JP2017037403A (en
Inventor
敦行 乾
敦行 乾
良一 植田
良一 植田
智也 太田
智也 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2015157244A priority Critical patent/JP6374845B2/en
Publication of JP2017037403A publication Critical patent/JP2017037403A/en
Application granted granted Critical
Publication of JP6374845B2 publication Critical patent/JP6374845B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stored Programmes (AREA)
  • Debugging And Monitoring (AREA)

Description

本発明は、仮想化環境において性能保証型のコンテナ及びベストエフォート型のコンテナを配置する計算機システムに関する。   The present invention relates to a computer system in which a performance guarantee type container and a best effort type container are arranged in a virtual environment.

コンテナ技術は、コンテナ及びホストＯＳがカーネルを共有することによってオーバーヘッドを少ない軽量な仮想化環境を実現する。コンテナはホストＯＳとカーネルを共有するため、コンテナにはホストＯＳと同じＯＳ環境が提供される。その結果、ホストＯＳ上には同一のＯＳ種別の環境のみで構成される。   Container technology realizes a lightweight virtualization environment with low overhead by sharing a kernel between a container and a host OS. Since the container shares the kernel with the host OS, the container is provided with the same OS environment as the host OS. As a result, the host OS is configured only with an environment of the same OS type.

一般的には、ＯＳの種別の数だけ物理サーバが必要となる。そのため、コストが高く、また耐障害性についても問題がある。そのため、仮想化されたサーバ環境を適用して必要な物理サーバの数を削減する方法が考えられる（例えば、特許文献１を参照）。   Generally, as many physical servers as the number of OS types are required. Therefore, the cost is high and there is a problem with fault tolerance. Therefore, a method of reducing the number of necessary physical servers by applying a virtualized server environment is conceivable (see, for example, Patent Document 1).

特開２０１１−１２８９６７号公報JP 2011-128967 A

複数のＯＳ種別のコンテナを配備するためには、一つの物理サーバ上に、ＯＳ種別ごとに仮想マシンを稼働させ、各仮想マシン上にコンテナを配備する。前述したシステム環境では、計算機リソースが各仮想マシンに分割して割り当てられるため、あるＯＳ種別の仮想マシンのリソース量が不足し、別のＯＳ種別の仮想マシンのリソース量に余剰が生じる場合がある。特に、性能を保証する性能保証型のコンテナを配備する場合に、前述したような計算機リソース量の問題が顕著になる。   In order to deploy containers of a plurality of OS types, virtual machines are operated for each OS type on one physical server, and containers are deployed on each virtual machine. In the system environment described above, since computer resources are divided and allocated to each virtual machine, the resource amount of a virtual machine of a certain OS type is insufficient, and there may be a surplus in the resource amount of a virtual machine of another OS type. . In particular, when a performance guarantee type container for guaranteeing performance is deployed, the problem of the amount of computer resources as described above becomes remarkable.

性能保証型のコンテナ及びベストエフォート型のコンテナが混在するシステムにおいて、可能な限り少ない物理サーバを用いて多くのコンテナを配置する必要がある。すなわち、本発明は、異なるＯＳ上で稼働する複数のコンテナの高密度な配置を実現することを目的とする。   In a system in which performance guarantee type containers and best effort type containers are mixed, it is necessary to arrange a large number of containers using as few physical servers as possible. That is, an object of the present invention is to realize a high-density arrangement of a plurality of containers operating on different OSs.

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、管理サーバ、及び複数の仮想計算機が稼動する少なくとも一つの物理サーバを備える計算機システムであって、前記管理サーバは、第１のプロセッサ、前記第１のプロセッサに接続される第１のメモリ、前記第１のプロセッサに接続される第１のネットワークインタフェースを有し、前記少なくとも一つの物理サーバは、第２のプロセッサ、前記第２のプロセッサに接続される第２のメモリ、前記第２のプロセッサに接続される第２のネットワークインタフェースを有し、前記少なくとも一つの物理サーバは、当該物理サーバが有する計算機リソースを分割することによって、オペレーティングシステムを実行する仮想計算機を少なくとも一つ生成する仮想化管理部を有し、前記オペレーティングシステムは、ユーザ空間を分割することによって生成されたアプリケーション環境であるコンテナを少なくとも一つ生成するコンテナ実行部を含み、前記管理サーバは、前記計算機システムに新たに追加する前記コンテナの配置を制御するコンテナ制御部を有し、前記コンテナ制御部は、オペレーティングシステムの種別、及び新規コンテナに割り当てる計算機リソース量である第１の要求リソース量を含む新規コンテナの追加要求を受け付け、前記新規コンテナの追加要求に含まれる前記オペレーティングシステムの種類と同一種類のオペレーティングシステムを実行する候補仮想計算機を特定し、前記候補仮想計算機に前記第１の要求リソース量分の空きリソースが存在するか否かを判定し、前記候補仮想計算機に前記第１の要求リソース量分の空きリソースが存在しない場合、当該候補仮想計算機が稼動する物理サーバである対象物理サーバを特定し、前記候補仮想計算機に前記第１の要求リソース量分の計算機リソースを追加するために、前記対象物理サーバ上の前記複数の仮想計算機の各々に割り当てられる計算機リソース量を調整するリソース調整処理を実行し、前記第１の要求リソース量分の計算機リソースを用いて前記候補仮想計算機に前記新規コンテナを追加し、前記リソース調整処理では、前記コンテナ制御部は、前記候補仮想計算機に前記第１の要求リソース量分の計算機リソースを追加するために、前記対象物理サーバ上の前記複数の仮想計算機の各々について、調整した場合の計算機リソース量である新リソース量を算出し、前記新リソース量に基づいて、前記候補仮想計算機に前記第１の要求リソース量分の計算機リソースを追加し、前記新リソース量に基づいて、前記対象物理サーバ上の前記候補仮想計算機以外の少なくとも一つの仮想計算機の計算機リソース量を削減することを特徴とする。 A typical example of the invention disclosed in the present application is as follows. That is, a computer system including a management server and at least one physical server on which a plurality of virtual machines operate, wherein the management server includes a first processor, a first memory connected to the first processor, A first network interface connected to the first processor, wherein the at least one physical server is a second processor, a second memory connected to the second processor, and the second processor; Virtualization management for generating at least one virtual machine for executing an operating system by dividing a computer resource of the physical server, wherein the at least one physical server has a second network interface connected to the physical server The operating system divides the user space A container execution unit that generates at least one container that is an application environment generated by the management server, wherein the management server includes a container control unit that controls the arrangement of the container to be newly added to the computer system, The container control unit receives a request for adding a new container that includes a type of operating system and a first requested resource amount that is a computer resource amount allocated to the new container, and the type of the operating system included in the request for adding the new container The candidate virtual machines that execute the same type of operating system are identified, it is determined whether or not there are free resources for the first requested resource amount in the candidate virtual machines, and the first virtual machine There are no free resources for the requested resource amount. If, to identify the target physical server is a physical server which the candidate virtual machine is operated, to add the computer resources of the first request resource amount to the candidate virtual machine, the plurality of on the target physical server Resource adjustment processing is performed to adjust the amount of computer resources allocated to each of the virtual computers, and the new container is added to the candidate virtual computer using the computer resources for the first required resource amount , and the resource adjustment is performed. In the processing, the container control unit adjusts each of the plurality of virtual machines on the target physical server in order to add computer resources for the first requested resource amount to the candidate virtual machines. A new resource amount that is a computer resource amount is calculated, and based on the new resource amount, the candidate virtual computer is assigned the first resource amount. Computer resources corresponding to the requested resource amount are added, and the computer resource amount of at least one virtual computer other than the candidate virtual computer on the target physical server is reduced based on the new resource amount .

本発明によれば、新規コンテナを追加する場合、新たな物理サーバを追加することなく、既存の物理サーバ上に新規コンテナを追加できる。すなわち、異なるＯＳ上で稼働する複数のコンテナの高密度な配置を実現できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。   According to the present invention, when adding a new container, it is possible to add a new container on an existing physical server without adding a new physical server. That is, a high-density arrangement of a plurality of containers operating on different OSs can be realized. Problems, configurations, and effects other than those described above will become apparent from the following description of embodiments.

実施例１のコンテナ管理システムの構成例を示す図である。It is a figure which shows the structural example of the container management system of Example 1. FIG. 実施例１の物理サーバ管理テーブルの構成例を示す図である。It is a figure which shows the structural example of the physical server management table of Example 1. FIG. 実施例１の仮想マシン管理テーブルの構成例を示す図である。6 is a diagram illustrating a configuration example of a virtual machine management table according to the first embodiment. FIG. 実施例１のコンテナ管理テーブルの構成例を示す図である。It is a figure which shows the structural example of the container management table of Example 1. FIG. 実施例１のコンテナ制御部が実行する処理を説明するフローチャートである。It is a flowchart explaining the process which the container control part of Example 1 performs. 実施例１のコンテナ制御部が実行するリソース調整処理の一例を示すフローチャートである。6 is a flowchart illustrating an example of a resource adjustment process executed by the container control unit according to the first embodiment. 実施例１のコンテナ制御部が実行する物理サーバの追加処理の一例を示すフローチャートである。6 is a flowchart illustrating an example of a physical server addition process executed by the container control unit according to the first embodiment. 実施例１のリソース調整処理を伴う新規コンテナの追加処理が実行された後の仮想マシン管理テーブルの一例を示す図である。FIG. 6 is a diagram illustrating an example of a virtual machine management table after a new container addition process involving a resource adjustment process according to the first embodiment is executed. 実施例１の物理サーバの追加処理を伴う新規コンテナの追加処理が実行された後の仮想マシン管理テーブルの一例を示す図である。FIG. 6 is a diagram illustrating an example of a virtual machine management table after a new container addition process involving a physical server addition process according to the first embodiment is executed.

本発明の実施例を図面に基づいて説明する。   Embodiments of the present invention will be described with reference to the drawings.

図１は、実施例１のコンテナ管理システムの構成例を示す図である。   FIG. 1 is a diagram illustrating a configuration example of a container management system according to the first embodiment.

実施例１のコンテナ管理システムは、管理サーバ１０１、一つ以上の物理サーバ１０２、及びクライアント端末１０３から構成される。管理サーバ１０１及び一つ以上の物理サーバ１０２は、ネットワークを介して互いに接続され、また、管理サーバ１０１及びクライアント端末１０３は、ネットワークを介して互いに接続される。なお、物理サーバ１０２及びクライアント端末１０３は、直接管理サーバ１０１と接続されてもよい。   The container management system according to the first embodiment includes a management server 101, one or more physical servers 102, and a client terminal 103. The management server 101 and one or more physical servers 102 are connected to each other via a network, and the management server 101 and the client terminal 103 are connected to each other via a network. Note that the physical server 102 and the client terminal 103 may be directly connected to the management server 101.

物理サーバ１０２上では、ハイパバイザ１４０によって管理される一つ以上の仮想マシン（ＶＭ）１５０が稼働し、さらに、一つのＶＭ１５０が実行するＯＳ１６０上に一つ以上のコンテナ１７０が稼働する。   On the physical server 102, one or more virtual machines (VM) 150 managed by the hypervisor 140 are operated, and one or more containers 170 are operated on the OS 160 executed by one VM 150.

管理サーバ１０１は、コンテナ１７０の配置を管理する。管理サーバ１０１は、ＣＰＵ１１０、メモリ１１１、記憶装置１１２、及びＮＩＣ１１３を備える。   The management server 101 manages the arrangement of the containers 170. The management server 101 includes a CPU 110, a memory 111, a storage device 112, and a NIC 113.

ＣＰＵ１１０は、メモリ１１１に格納されるプログラムを実行する。ＣＰＵ１１０がプログラムを実行することによって、管理サーバ１０１の機能を実現できる。以下では、プログラムを主体に処理を説明する場合、当該プログラムがＣＰＵ１１０によって実行されていることを示す。   CPU 110 executes a program stored in memory 111. The function of the management server 101 can be realized by the CPU 110 executing the program. In the following, when the process is described mainly with a program, it indicates that the program is being executed by the CPU 110.

メモリ１１１は、ＣＰＵ１１０によって実行されるプログラム及び当該プログラムの実行に必要な情報を格納する。また、メモリ１１１は、プログラムが実行する処理に使用するワークエリアを含む。本実施例のメモリ１１１は、コンテナ制御部１２０及び物理サーバ追加部１２１を実現するプログラムを格納する。また、メモリ１１１は、物理サーバ管理テーブル１２２、仮想マシン管理テーブル１２３、及びコンテナ管理テーブル１２４を格納する。   The memory 111 stores a program executed by the CPU 110 and information necessary for executing the program. The memory 111 includes a work area used for processing executed by the program. The memory 111 according to the present embodiment stores programs that realize the container control unit 120 and the physical server addition unit 121. The memory 111 stores a physical server management table 122, a virtual machine management table 123, and a container management table 124.

コンテナ制御部１２０は、新たに追加されるコンテナ１７０の配置を制御する。コンテナ制御部１２０が実行する処理の詳細は、図５、図６、及び図７を用いて説明する。物理サーバ追加部１２１は、新たなコンテナ１７０を配置する物理サーバ１０２の追加処理を制御する。   The container control unit 120 controls the arrangement of the newly added container 170. Details of processing executed by the container control unit 120 will be described with reference to FIGS. 5, 6, and 7. The physical server adding unit 121 controls the adding process of the physical server 102 in which the new container 170 is arranged.

物理サーバ管理テーブル１２２は、物理サーバ１０２の計算機リソース量等を管理する情報である。物理サーバ管理テーブル１２２の詳細は図２を用いて説明する。仮想マシン管理テーブル１２３は、各物理サーバ１０２上のＶＭ１５０を管理する情報である。仮想マシン管理テーブル１２３の詳細は図３を用いて説明する。コンテナ管理テーブル１２４は、コンテナ１７０を管理する情報である。コンテナ管理テーブル１２４の詳細は図４を用いて説明する。   The physical server management table 122 is information for managing the amount of computer resources of the physical server 102. Details of the physical server management table 122 will be described with reference to FIG. The virtual machine management table 123 is information for managing the VM 150 on each physical server 102. Details of the virtual machine management table 123 will be described with reference to FIG. The container management table 124 is information for managing the container 170. Details of the container management table 124 will be described with reference to FIG.

記憶装置１３２は、各種情報を格納する記憶媒体であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が考えられる。なお、メモリ１１１に格納されるプログラム及び情報は、記憶装置１３２に格納されてもよい。この場合、ＣＰＵ１１０は、必要に応じて記憶装置１１２からプログラム及び情報を読み出し、メモリ１１１上にロードする。ＮＩＣ１１３は、ネットワークを介して他の装置と通信するためのインタフェースである。   The storage device 132 is a storage medium that stores various types of information. For example, an HDD (Hard Disk Drive) and an SSD (Solid State Drive) can be considered. Note that the program and information stored in the memory 111 may be stored in the storage device 132. In this case, the CPU 110 reads a program and information from the storage device 112 as necessary and loads the program and information onto the memory 111. The NIC 113 is an interface for communicating with other devices via a network.

物理サーバ１０２は、一つ以上のコンテナ１７０が稼働する計算機である。物理サーバ１０２は、計算機リソースとしてＣＰＵ１３０、メモリ１３１、記憶装置１３２、及びＮＩＣ１３３を備える。ＣＰＵ１３０、メモリ１３１、記憶装置１３２、及びＮＩＣ１３３は、ＣＰＵ１１０、メモリ１１１、記憶装置１１２、及びＮＩＣ１１３と同一のものである。   The physical server 102 is a computer on which one or more containers 170 operate. The physical server 102 includes a CPU 130, a memory 131, a storage device 132, and a NIC 133 as computer resources. The CPU 130, the memory 131, the storage device 132, and the NIC 133 are the same as the CPU 110, the memory 111, the storage device 112, and the NIC 113.

物理サーバ１０２のメモリ１３１には、ハイパバイザ１４０、ＯＳ１６０、及びコンテナ１７０を実現するプログラムが格納される。   The memory 131 of the physical server 102 stores a program that realizes the hypervisor 140, the OS 160, and the container 170.

ハイパバイザ１４０は、物理サーバ１０２の計算機リソースを論理的に分割することによって、一つ以上のＶＭ１５０を生成する。ハイパバイザ１４０は、図示しないＶＭ１５０の管理情報を保持する。当該情報は、ＶＭ１５０の識別子、ＶＭ１５０に割り当てられる計算機リソース量、及び稼働状態等の情報を含む。管理サーバ１０１は、周期的又は新規コンテナ１７０の追加時等、所定のタイミングでハイパバイザ１４０と通信することによって、仮想マシン管理テーブル１２３を更新する。   The hypervisor 140 generates one or more VMs 150 by logically dividing the computer resources of the physical server 102. The hypervisor 140 holds management information of the VM 150 (not shown). The information includes information such as an identifier of the VM 150, a computer resource amount allocated to the VM 150, and an operating state. The management server 101 updates the virtual machine management table 123 by communicating with the hypervisor 140 at a predetermined timing, such as periodically or when a new container 170 is added.

ＶＭ１５０は、仮想的な計算機であり、ハイパバイザ１４０によって起動が指示された場合、ＯＳ１６０を実行する。ＯＳ１６０上では一つ以上のコンテナ１７０が実行される。   The VM 150 is a virtual computer, and executes an OS 160 when instructed to start by the hypervisor 140. One or more containers 170 are executed on the OS 160.

コンテナ１７０は、アプリケーションを実行するユーザ空間を分割等することによって生成されたアプリケーション環境である。各コンテナ１７０には、プロセス管理情報、ファイルシステム、ネットワーク設定、計算機リソースが独立に与えられる。コンテナ１７０内では一つ以上のアプリケーションが実行される。一つのコンテナ１７０内で実行されるアプリケーションと、他のコンテナ１７０内で実行されるアプリケーションとは、互いに干渉しない。一方、各コンテナ１７０は、ＯＳ１６０のカーネル空間を共有する。   The container 170 is an application environment generated by dividing a user space for executing an application. Each container 170 is independently provided with process management information, a file system, network settings, and computer resources. One or more applications are executed in the container 170. An application executed in one container 170 and an application executed in another container 170 do not interfere with each other. On the other hand, each container 170 shares the kernel space of the OS 160.

実施例１のＯＳ１６０は、コンテナ実行部１６１を含む。なお、ＯＳ１６０は、図示しない他の機能部を含んでもよいし、また、図示しない情報を保持してもよい。   The OS 160 according to the first embodiment includes a container execution unit 161. The OS 160 may include other functional units (not shown), and may hold information (not shown).

コンテナ実行部１６１は、コンテナ１７０を管理する。コンテナ実行部１６１は、図示しないコンテナ１７０の管理情報を保持する。当該情報には、コンテナ１７０の識別子、コンテナ１７０の種別、及びコンテナ１７０の稼働状態等の情報を含む。管理サーバ１０１は、周期的に又は新規コンテナ１７０の追加時等、所定のタイミングでハイパバイザ１４０を介してコンテナ実行部１６１と通信することによって、コンテナ管理テーブル１２４を更新する。   The container execution unit 161 manages the container 170. The container execution unit 161 holds management information of the container 170 (not shown). The information includes information such as the identifier of the container 170, the type of the container 170, and the operating state of the container 170. The management server 101 updates the container management table 124 by communicating with the container execution unit 161 via the hypervisor 140 at a predetermined timing, such as periodically or when a new container 170 is added.

本実施例では、性能保証型及びベストエフォート型の二つの種類のコンテナ１７０を設定することができる。   In the present embodiment, two types of containers 170 of the performance guarantee type and the best effort type can be set.

コンテナ実行部１６１は、要求される性能を維持できるように性能保証型のコンテナ１７０に対する計算機リソースの割り当てを制御する。すなわち、性能保証型のコンテナ１７０には常に一定以上の計算機リソースが割り当てられる。一方、コンテナ実行部１６１は、ベストエフォート型のコンテナ１７０に対しては性能を維持するための計算機リソースの割り当ての制御は行わない。コンテナ実行部１６１は、図示しない管理情報に基づいて、コンテナ１７０に対する計算機リソースの割り当てを制御する。   The container execution unit 161 controls the allocation of computer resources to the performance guarantee type container 170 so that the required performance can be maintained. That is, a certain amount or more of computer resources is always assigned to the performance guarantee type container 170. On the other hand, the container execution unit 161 does not control the allocation of computer resources for maintaining the performance of the best effort type container 170. The container execution unit 161 controls allocation of computer resources to the container 170 based on management information (not shown).

実施例１では、コンテナ１７０に割り当てる計算機リソースとしてＣＰＵ１３０のコア数を例に説明する。なお、ＣＰＵ１３０の周波数、メモリ１３１の容量、ＩＯ性能、及びネットワーク性能等の指標、並びに、これらを組み合わせた指標を用いても同様の効果を得ることができる。   In the first embodiment, the number of cores of the CPU 130 will be described as an example of a computer resource allocated to the container 170. It should be noted that the same effect can be obtained by using indices such as the frequency of the CPU 130, the capacity of the memory 131, the IO performance, the network performance, and an index combining these.

図２は、実施例１の物理サーバ管理テーブル１２２の構成例を示す図である。   FIG. 2 is a diagram illustrating a configuration example of the physical server management table 122 according to the first embodiment.

物理サーバ管理テーブル１２２は、物理サーバＩＤ２０１及びリソース２０２を含む。物理サーバＩＤ２０１は、コンテナ管理システムに配置された物理サーバ１０２を一意に識別するための識別子である。リソース２０２は、コンテナ１７０に割り当て可能な計算機リソースの総量である。   The physical server management table 122 includes a physical server ID 201 and a resource 202. The physical server ID 201 is an identifier for uniquely identifying the physical server 102 arranged in the container management system. The resource 202 is the total amount of computer resources that can be allocated to the container 170.

図３は、実施例１の仮想マシン管理テーブル１２３の構成例を示す図である。   FIG. 3 is a diagram illustrating a configuration example of the virtual machine management table 123 according to the first embodiment.

仮想マシン管理テーブル１２３は、物理サーバＩＤ３０１、仮想マシンＩＤ３０２、ＯＳ種別３０３、仮想リソース３０４、最小リソース３０５、及び割当リソース３０６を含む。   The virtual machine management table 123 includes a physical server ID 301, a virtual machine ID 302, an OS type 303, a virtual resource 304, a minimum resource 305, and an allocation resource 306.

物理サーバＩＤ３０１は物理サーバＩＤ２０１と同一のものである。仮想マシンＩＤ３０２は、一つの物理サーバ１０２上で稼働するＶＭ１５０を一意に識別するための識別子である。なお、異なる物理サーバ１０２上のＶＭ１５０の識別子は重複してもよい。ＯＳ種別３０３は、ＶＭ１５０上で実行されるＯＳ１６０の種別を示す。   The physical server ID 301 is the same as the physical server ID 201. The virtual machine ID 302 is an identifier for uniquely identifying the VM 150 operating on one physical server 102. Note that the identifiers of the VMs 150 on different physical servers 102 may overlap. The OS type 303 indicates the type of the OS 160 executed on the VM 150.

仮想リソース３０４は、ＶＭ１５０に対して割り当てられる計算機リソース量を示す。最小リソース３０５は、ＶＭ１５０に対して割当が保証される計算機リソース量を示す。   The virtual resource 304 indicates a computer resource amount allocated to the VM 150. The minimum resource 305 indicates a computer resource amount that is guaranteed to be allocated to the VM 150.

本実施例では、ハイパバイザ１４０は、性能保証型のコンテナ１７０に追加する計算機リソース量を確保するために、計算機リソース量をＶＭ１５０に余剰に割り当てる。そのため、全てのＶＭ１５０の仮想リソース３０４の合計値は、物理サーバ１０２が有する計算機リソース量より大きくなる。したがって、仮想リソース３０４に設定された計算機リソース量を必ずしも確保できない場合がある。前述したような場合であっても、最大限確保できる計算機リソース量が最小リソース３０５に設定される。   In this embodiment, the hypervisor 140 allocates a surplus of computer resources to the VM 150 in order to secure the amount of computer resources to be added to the performance guarantee type container 170. Therefore, the total value of the virtual resources 304 of all the VMs 150 is larger than the computer resource amount that the physical server 102 has. Therefore, the computer resource amount set in the virtual resource 304 may not always be ensured. Even in the case described above, the minimum resource 305 is set to the maximum amount of computer resources that can be secured.

例えば、図３に示す例では、物理サーバＩＤ３０１が「１」の物理サーバ１０２上では二つのＶＭ１５０が稼働し、仮想マシンＩＤ３０２が「１」のＶＭ１５０には「１６」のコアが割り当てられ、仮想マシンＩＤ３０２が「２」のＶＭ１５０には「２０」のコアが割り当てられる。すなわち、それぞれのＶＭ１５０に計算機リソースがオーバーコミットされる。このとき、仮想リソース３０４の合計値は「３６」となる。そのため、仮想マシンＩＤ３０２が「２」のＶＭ１５０が全てのコアを使用している場合に確保可能なコアの数は「１２」となり、また、仮想マシンＩＤ３０２が「１」のＶＭ１５０が全てのコアを使用している場合に確保可能なコアの数は「１８」となる。すなわち、最小リソース３０５に設定される値は下式（１）に基づいて算出される。   For example, in the example illustrated in FIG. 3, two VMs 150 are operating on the physical server 102 with the physical server ID 301 of “1”, and a core of “16” is assigned to the VM 150 with the virtual machine ID 302 of “1”. A core “20” is assigned to the VM 150 whose machine ID 302 is “2”. That is, the computer resource is overcommitted to each VM 150. At this time, the total value of the virtual resources 304 is “36”. Therefore, when the VM 150 with the virtual machine ID 302 “2” uses all the cores, the number of cores that can be secured is “12”, and the VM 150 with the virtual machine ID 302 “1” has all the cores. The number of cores that can be secured when in use is “18”. That is, the value set for the minimum resource 305 is calculated based on the following equation (1).

Figure 0006374845
Figure 0006374845

ここで、ｖＲｉｍｉｎは、仮想マシンＩＤ３０２が「ｉ」であるＶＭ１５０の最小リソース３０５を示す。また、ｖＲｊは、仮想マシンＩＤ３０２が「ｊ」であるＶＭ１５０の仮想リソース３０４を示す。また、Ｒは、仮想マシンＩＤ３０２が「ｉ」であるＶＭ１５０が稼働する物理サーバ１０２のリソース２０２を示す。 Here, vRi min indicates the minimum resource 305 of the VM 150 whose virtual machine ID 302 is “i”. Further, vRj indicates the virtual resource 304 of the VM 150 whose virtual machine ID 302 is “j”. R indicates the resource 202 of the physical server 102 on which the VM 150 whose virtual machine ID 302 is “i” operates.

割当リソース３０６は、一つのＶＭ１５０上で稼働する各コンテナ１７０に割り当てられる計算機リソース量の合計値を示す。本実施例では、下式（２）に基づいて算出された値が割当リソース３０６に設定される。   The allocation resource 306 indicates the total value of the computer resource amount allocated to each container 170 operating on one VM 150. In the present embodiment, a value calculated based on the following equation (2) is set in the allocation resource 306.

Figure 0006374845
Figure 0006374845

ここで、ｖＲａｌは、割当リソース３０６の値である。ｒｐ（ｉ）は、仮想マシンＩＤ３０２が「ｉ」であるＶＭ１５０の性能保証型のコンテナ１７０の要求リソース量であり、後述する性能保証４０３に設定される数値に対応する。Ｎは、ベストエフォート型のコンテナ１７０の総数である。αは、ベストエフォート型のコンテナ１７０の最小性能値である。αは、システム運用者によって設定される。本実施例ではαは０．１であるものとする。 Here, vR al is the value of the allocation resource 306. rp (i) is a required resource amount of the performance guarantee type container 170 of the VM 150 whose virtual machine ID 302 is “i”, and corresponds to a numerical value set in the performance guarantee 403 described later. N is the total number of best effort type containers 170. α is the minimum performance value of the best effort type container 170. α is set by the system operator. In this embodiment, α is assumed to be 0.1.

図４は、実施例１のコンテナ管理テーブル１２４の構成例を示す図である。   FIG. 4 is a diagram illustrating a configuration example of the container management table 124 according to the first embodiment.

コンテナ管理テーブル１２４は、仮想マシンＩＤ４０１、コンテナＩＤ４０２、及び性能保証４０３を含む。   The container management table 124 includes a virtual machine ID 401, a container ID 402, and a performance guarantee 403.

仮想マシンＩＤ４０１は、仮想マシンＩＤ３０２と同一のものである。コンテナＩＤ４０２は、物理サーバ１０２内のコンテナ１７０を一意に識別するための識別子である。なお、異なるＯＳ１６０上のコンテナ１７０の識別子は重複してもよい。性能保証４０３は、コンテナ１７０の性能保証に関する情報である。性能保証４０３には、保証すべきリソース量を示す数値、又は文字情報「ベストエフォート」のいずれかが設定される。   The virtual machine ID 401 is the same as the virtual machine ID 302. The container ID 402 is an identifier for uniquely identifying the container 170 in the physical server 102. Note that the identifiers of the containers 170 on different OSs 160 may overlap. The performance guarantee 403 is information regarding the performance guarantee of the container 170. In the performance guarantee 403, either a numerical value indicating the resource amount to be guaranteed or the character information “best effort” is set.

図４に示す例では、仮想マシンＩＤ４０１が「１」のＶＭ１５０の割当リソース３０６は、式（２）を用いて下式（３）のように算出される。また、仮想マシンＩＤ４０１が「２」のＶＭ１５０の割当リソース３０６は、式（２）を用いて下式（４）のように算出される。   In the example illustrated in FIG. 4, the allocated resource 306 of the VM 150 whose virtual machine ID 401 is “1” is calculated as in the following equation (3) using the equation (2). Further, the allocated resource 306 of the VM 150 whose virtual machine ID 401 is “2” is calculated as in the following equation (4) using the equation (2).

Figure 0006374845
Figure 0006374845

Figure 0006374845
Figure 0006374845

図５は、実施例１のコンテナ制御部１２０が実行する処理を説明するフローチャートである。   FIG. 5 is a flowchart illustrating processing executed by the container control unit 120 according to the first embodiment.

管理サーバ１０１は、クライアント端末１０３から新たなコンテナ１７０の追加要求を受信した場合、コンテナ制御部１２０を呼び出す。コンテナ１７０の追加要求には、コンテナ１７０を制御するＯＳ１６０の種別、及びコンテナ１７０の性能保証に関する情報が含まれる。また、コンテナ１７０が性能保証型のコンテナ１７０である場合、追加要求にはコンテナ１７０に割り当てる計算機リソース量が含まれる。以下の説明では、コンテナ１７０の追加要求に基づいてコンテナ管理システムに追加されるコンテナ１７０を新規コンテナ１７０とも記載する。また、新規コンテナ１７０の追加に必要な計算機リソース量を要求リソース量とも記載する。   When the management server 101 receives a request for adding a new container 170 from the client terminal 103, the management server 101 calls the container control unit 120. The container 170 addition request includes information regarding the type of the OS 160 that controls the container 170 and the performance guarantee of the container 170. When the container 170 is a performance guarantee type container 170, the addition request includes the amount of computer resources allocated to the container 170. In the following description, the container 170 added to the container management system based on the container 170 addition request is also referred to as a new container 170. In addition, the computer resource amount necessary for adding the new container 170 is also described as the requested resource amount.

コンテナ制御部１２０は、ＶＭ１５０の最小リソース３０５が割当リソース３０６を上回るように計算機リソース量の割り当てを制御する。具体的には、コンテナ制御部１２０は、四つのステップにしたがって、コンテナ１７０を配置する。   The container control unit 120 controls the allocation of the computer resource amount so that the minimum resource 305 of the VM 150 exceeds the allocated resource 306. Specifically, the container control unit 120 arranges the container 170 according to four steps.

第１のステップでは、コンテナ制御部１２０が、物理サーバ１０２にＶＭ１５０を追加することなくコンテナ１７０を配置できるか否かを判定する。前述の条件を満たす場合、コンテナ制御部１２０は、所定のＶＭ１５０にコンテナ１７０を追加する。前述した条件を満たさない場合、コンテナ制御部１２０は、第２のステップに移行する。   In the first step, the container control unit 120 determines whether or not the container 170 can be arranged without adding the VM 150 to the physical server 102. When the above conditions are satisfied, the container control unit 120 adds the container 170 to the predetermined VM 150. When the above-described conditions are not satisfied, the container control unit 120 proceeds to the second step.

第２のステップでは、コンテナ制御部１２０が、コンテナ１７０を追加する予定のＶＭ１５０とは異なる他のＶＭ１５０の計算機リソースの割当量を変更することによって、コンテナ１７０を配置できるか否かを判定する。前述した条件を満たす場合、コンテナ制御部１２０は、他のＶＭ１５０の計算機リソースの割当量を調整し、所定のＶＭ１５０にコンテナ１７０を追加する。前述した条件を満たさない場合、コンテナ制御部１２０は、第３のステップに移行する。   In the second step, the container control unit 120 determines whether the container 170 can be arranged by changing the allocation amount of the computer resource of another VM 150 different from the VM 150 to which the container 170 is to be added. When the above-described conditions are satisfied, the container control unit 120 adjusts the allocation amount of the computer resource of the other VM 150 and adds the container 170 to the predetermined VM 150. If the above-described conditions are not satisfied, the container control unit 120 proceeds to the third step.

第３のステップでは、コンテナ制御部１２０が、コンテナ１７０の追加に必要な計算機リソースを有する物理サーバ１０２が存在するか否かを判定する。前述した条件を満たす場合、コンテナ制御部１２０は、条件を満たす物理サーバ１０２にＶＭ１５０を追加し、さらに、当該ＶＭ１５０にコンテナ１７０を追加する。前述した条件を満たさない場合、コンテナ制御部１２０は、第４のステップに移行する。   In the third step, the container control unit 120 determines whether there is a physical server 102 having a computer resource necessary for adding the container 170. When the conditions described above are satisfied, the container control unit 120 adds a VM 150 to the physical server 102 that satisfies the conditions, and further adds a container 170 to the VM 150. If the above-described conditions are not satisfied, the container control unit 120 proceeds to the fourth step.

第４のステップでは、コンテナ制御部１２０は、コンテナ管理システムに新たに物理サーバ１０２を追加し、当該物理サーバ１０２にＶＭ１５０を追加する。さらに、コンテナ制御部１２０は、追加されたＶＭ１５０にコンテナ１７０を追加する。   In the fourth step, the container control unit 120 adds a new physical server 102 to the container management system and adds a VM 150 to the physical server 102. Furthermore, the container control unit 120 adds the container 170 to the added VM 150.

以下、各ステップの詳細な内容について説明する。まず、コンテナ制御部１２０は、ＶＭのループ処理を開始する（ステップＳ５０１）。   Hereinafter, detailed contents of each step will be described. First, the container control unit 120 starts a VM loop process (step S501).

具体的には、コンテナ制御部１２０は、仮想マシン管理テーブル１２３を参照して、対象のエントリ（ＶＭ１５０）を一つ選択する。本実施例では、上のエントリから順に選択されるものとする。なお、本発明は選択する順番に依存しない。   Specifically, the container control unit 120 refers to the virtual machine management table 123 and selects one target entry (VM 150). In this embodiment, it is assumed that the entries are selected in order from the top entry. The present invention does not depend on the order of selection.

コンテナ制御部１２０は、選択されたＶＭ１５０が新規コンテナ１７０を追加可能なＶＭ１５０であるか否かを判定する（ステップＳ５０２）。以下の説明では、新規コンテナ１７０を追加可能なＶＭ１５０を候補ＶＭ１５０とも記載する。   The container control unit 120 determines whether or not the selected VM 150 is a VM 150 to which a new container 170 can be added (step S502). In the following description, a VM 150 to which a new container 170 can be added is also referred to as a candidate VM 150.

具体的には、コンテナ制御部１２０は、仮想マシン管理テーブル１２３を参照して、選択されたＶＭ１５０に対応するエントリのＯＳ種別３０３が追加要求に含まれるＯＳ１６０の種別と一致するか否かを判定する。ＯＳ種別３０３が追加要求に含まれるＯＳ１６０の種別と一致する場合、コンテナ制御部１２０は、選択されたＶＭ１５０が候補ＶＭ１５０であると判定する。   Specifically, the container control unit 120 refers to the virtual machine management table 123 and determines whether or not the OS type 303 of the entry corresponding to the selected VM 150 matches the type of the OS 160 included in the addition request. To do. If the OS type 303 matches the type of the OS 160 included in the addition request, the container control unit 120 determines that the selected VM 150 is a candidate VM 150.

選択されたＶＭ１５０が候補ＶＭ１５０でないと判定された場合、コンテナ制御部１２０はステップＳ５０６に進む。   When it is determined that the selected VM 150 is not the candidate VM 150, the container control unit 120 proceeds to step S506.

選択されたＶＭ１５０が候補ＶＭ１５０であると判定された場合、コンテナ制御部１２０は、候補ＶＭ１５０に要求リソース量分の空きリソースが存在するか否かを判定する（ステップＳ５０３）。具体的には、以下のような処理が実行される。   When it is determined that the selected VM 150 is a candidate VM 150, the container control unit 120 determines whether there are free resources corresponding to the requested resource amount in the candidate VM 150 (step S503). Specifically, the following processing is executed.

コンテナ制御部１２０は、追加要求に含まれる情報に基づいて、新規コンテナ１７０が性能保証型のコンテナ１７０であるか否かを判定する。新規コンテナ１７０がベストエフォート型のコンテナ１７０であると判定された場合、コンテナ制御部１２０は、候補ＶＭ１５０に要求リソース量分の空きリソースが存在すると判定する。   The container control unit 120 determines whether or not the new container 170 is a performance guarantee type container 170 based on the information included in the addition request. When it is determined that the new container 170 is the best effort type container 170, the container control unit 120 determines that there are free resources for the requested resource amount in the candidate VM 150.

新規コンテナ１７０が性能保証型のコンテナ１７０であると判定された場合、コンテナ制御部１２０は、候補ＶＭ１５０に対応するエントリの仮想リソース３０４から割当リソース３０６を減算して、候補ＶＭ１５０の空きリソース量を算出する。さらに、コンテナ制御部１２０は、候補ＶＭ１５０の空きリソース量が要求リソース量以上であるか否かを判定する。   When it is determined that the new container 170 is the performance guarantee type container 170, the container control unit 120 subtracts the allocation resource 306 from the virtual resource 304 of the entry corresponding to the candidate VM 150, and obtains the free resource amount of the candidate VM 150. calculate. Furthermore, the container control unit 120 determines whether or not the free resource amount of the candidate VM 150 is equal to or greater than the requested resource amount.

候補ＶＭ１５０の空きリソース量が要求リソース量以上である場合、コンテナ制御部１２０は、候補ＶＭ１５０に要求リソース量分の空きリソースが存在すると判定する。以上がステップＳ５０３の処理の説明である。   When the free resource amount of the candidate VM 150 is equal to or larger than the requested resource amount, the container control unit 120 determines that there are free resources for the requested resource amount in the candidate VM 150. The above is the description of the processing in step S503.

候補ＶＭ１５０に要求リソース量分の空きリソースが存在すると判定された場合、コンテナ制御部１２０は、候補ＶＭ１５０に新規コンテナ１７０を追加する（ステップＳ５１１）。コンテナ制御部１２０は、仮想マシン管理テーブル１２３及びコンテナ管理テーブル１２４を更新する（ステップＳ５１２）。その後、コンテナ制御部１２０は、処理を終了する。   When it is determined that there are free resources for the requested resource amount in the candidate VM 150, the container control unit 120 adds a new container 170 to the candidate VM 150 (step S511). The container control unit 120 updates the virtual machine management table 123 and the container management table 124 (step S512). Thereafter, the container control unit 120 ends the process.

具体的には、コンテナ制御部１２０は、ハイパバイザ１４０を介してコンテナ実行部１６１に新規コンテナ１７０の追加を指示する。コンテナ制御部１２０は、仮想マシン管理テーブル１２３を参照し、候補ＶＭ１５０に対応するエントリの割当リソース３０６に要求リソース量を加算する。また、コンテナ制御部１２０は、コンテナ管理テーブル１２４にエントリを追加し、追加されたエントリの仮想マシンＩＤ４０１に候補ＶＭ１５０の識別子を設定し、また、当該エントリの性能保証４０３に要求リソース量を設定する。さらに、コンテナ制御部１２０は、追加されたエントリのコンテナＩＤ４０２に新規コンテナ１７０の識別子を設定する。なお、新規コンテナ１７０がベストエフォート型のコンテナの場合、性能保証４０３には「ベストエフォート」が設定される。   Specifically, the container control unit 120 instructs the container execution unit 161 to add a new container 170 via the hypervisor 140. The container control unit 120 refers to the virtual machine management table 123 and adds the requested resource amount to the allocated resource 306 of the entry corresponding to the candidate VM 150. Further, the container control unit 120 adds an entry to the container management table 124, sets the identifier of the candidate VM 150 in the virtual machine ID 401 of the added entry, and sets the requested resource amount in the performance guarantee 403 of the entry. . Further, the container control unit 120 sets the identifier of the new container 170 in the container ID 402 of the added entry. When the new container 170 is a best effort type container, “best effort” is set in the performance guarantee 403.

ステップＳ５０３において、候補ＶＭ１５０に要求リソース量分の空きリソースが存在しないと判定された場合、コンテナ制御部１２０は、候補ＶＭ１５０が稼働する物理サーバ１０２に要求リソース量分の空きリソースが存在するか否かを判定する（ステップＳ５０４）。以下の説明では候補ＶＭ１５０が稼働する物理サーバ１０２を対象物理サーバ１０２とも記載する。具体的には、以下のような処理が実行される。   If it is determined in step S503 that there are no free resources for the requested resource amount in the candidate VM 150, the container control unit 120 determines whether there are free resources for the requested resource amount in the physical server 102 on which the candidate VM 150 operates. Is determined (step S504). In the following description, the physical server 102 on which the candidate VM 150 operates is also referred to as the target physical server 102. Specifically, the following processing is executed.

コンテナ制御部１２０は、候補ＶＭ１５０に対応するエントリの物理サーバＩＤ３０１から対象物理サーバ１０２の識別子を取得する。コンテナ制御部１２０は、対象物理サーバ１０２の識別子に基づいて物理サーバ管理テーブル１２２を参照して、対象物理サーバ１０２に一致するエントリを検索する。コンテナ制御部１２０は、検索されたエントリのリソース２０２の値を取得する。   The container control unit 120 acquires the identifier of the target physical server 102 from the physical server ID 301 of the entry corresponding to the candidate VM 150. The container control unit 120 refers to the physical server management table 122 based on the identifier of the target physical server 102 and searches for an entry that matches the target physical server 102. The container control unit 120 acquires the value of the resource 202 of the searched entry.

コンテナ制御部１２０は、対象物理サーバ１０２の識別子に基づいて仮想マシン管理テーブル１２３を参照して、対象物理サーバ上で稼働する全てのＶＭ１５０のエントリを検索する。コンテナ制御部１２０は、検索された各エントリの割当リソース３０６の合計値を算出する。コンテナ制御部１２０は、算出された合計値に要求リソース量を加算して、予測リソース量を算出する。コンテナ制御部１２０は、リソース２０２の値から予測リソース量を減算して、対象物理サーバ１０２の空きリソース量を算出する。   The container control unit 120 refers to the virtual machine management table 123 based on the identifier of the target physical server 102 and searches for entries of all VMs 150 operating on the target physical server. The container control unit 120 calculates the total value of the allocated resources 306 of each searched entry. The container control unit 120 calculates the predicted resource amount by adding the requested resource amount to the calculated total value. The container control unit 120 subtracts the predicted resource amount from the value of the resource 202 to calculate the free resource amount of the target physical server 102.

コンテナ制御部１２０は、対象物理サーバ１０２の空きリソース量が要求リソース量以上であるか否かを判定する。対象物理サーバ１０２の空きリソース量が要求リソース量以上である場合、コンテナ制御部１２０は、対象物理サーバ１０２に要求リソース量分の空きリソースが存在すると判定する。以上がステップＳ５０４の処理の説明である。   The container control unit 120 determines whether or not the free resource amount of the target physical server 102 is greater than or equal to the requested resource amount. When the free resource amount of the target physical server 102 is equal to or larger than the requested resource amount, the container control unit 120 determines that there are free resources for the requested resource amount in the target physical server 102. The above is the description of the process in step S504.

対象物理サーバ１０２に要求リソース量分の空きリソースが存在すると判定された場合、コンテナ制御部１２０は、リソース調整処理を実行する（ステップＳ５０５）、リソース調整処理の詳細は図６を用いて説明する。   If it is determined that there are free resources for the requested resource amount in the target physical server 102, the container control unit 120 executes resource adjustment processing (step S505), and details of the resource adjustment processing will be described with reference to FIG. .

コンテナ制御部１２０は、リソース調整処理が終了した後、候補ＶＭ１５０に新規コンテナ１７０を追加する（ステップＳ５１１）。コンテナ制御部１２０は、仮想マシン管理テーブル１２３及びコンテナ管理テーブル１２４を更新する（ステップＳ５１２）。その後、コンテナ制御部１２０は、処理を終了する。   After the resource adjustment process ends, the container control unit 120 adds a new container 170 to the candidate VM 150 (Step S511). The container control unit 120 updates the virtual machine management table 123 and the container management table 124 (step S512). Thereafter, the container control unit 120 ends the process.

具体的には、コンテナ制御部１２０は、ハイパバイザ１４０を介してコンテナ実行部１６１に新規コンテナ１７０の追加を指示する。コンテナ制御部１２０は、仮想マシン管理テーブル１２３を参照し、候補ＶＭ１５０に対応するエントリの割当リソース３０６に要求リソース量を加算する。また、コンテナ制御部１２０は、コンテナ管理テーブル１２４にエントリを追加し、追加されたエントリの仮想マシンＩＤ４０１に候補ＶＭ１５０の識別子を設定し、また、当該エントリの性能保証４０３に要求リソース量を設定する。さらに、コンテナ制御部１２０は、追加されたエントリのコンテナＩＤ４０２に新規コンテナ１７０の識別子を設定する。   Specifically, the container control unit 120 instructs the container execution unit 161 to add a new container 170 via the hypervisor 140. The container control unit 120 refers to the virtual machine management table 123 and adds the requested resource amount to the allocated resource 306 of the entry corresponding to the candidate VM 150. Further, the container control unit 120 adds an entry to the container management table 124, sets the identifier of the candidate VM 150 in the virtual machine ID 401 of the added entry, and sets the requested resource amount in the performance guarantee 403 of the entry. . Further, the container control unit 120 sets the identifier of the new container 170 in the container ID 402 of the added entry.

ステップＳ５０４において、対象物理サーバ１０２に要求リソース量分の空きリソースが存在しないと判定された場合、コンテナ制御部１２０は、ステップＳ５０６に進む。   If it is determined in step S504 that there are no free resources for the requested resource amount in the target physical server 102, the container control unit 120 proceeds to step S506.

ステップＳ５０２又はステップＳ５０４の判定結果がＮＯである場合、コンテナ制御部１２０は、全てのＶＭ１５０について処理が完了したか否かを判定する（ステップＳ５０６）。   When the determination result of step S502 or step S504 is NO, the container control unit 120 determines whether or not the processing has been completed for all the VMs 150 (step S506).

全てのＶＭ１５０について処理が完了していないと判定された場合、コンテナ制御部１２０は、ステップＳ５０１に戻り、新たにＶＭ１５０を選択する。   If it is determined that the processing has not been completed for all the VMs 150, the container control unit 120 returns to step S501 and newly selects a VM 150.

全てのＶＭ１５０について処理が完了していると判定された場合、コンテナ制御部１２０は、物理サーバ１０２のループ処理を開始する（ステップＳ５０７）。   When it is determined that the processing has been completed for all the VMs 150, the container control unit 120 starts loop processing of the physical server 102 (step S507).

具体的には、コンテナ制御部１２０は、物理サーバ管理テーブル１２２を参照して、対象のエントリ（物理サーバ１０２）を一つ選択する。   Specifically, the container control unit 120 refers to the physical server management table 122 and selects one target entry (physical server 102).

コンテナ制御部１２０は、選択された物理サーバ１０２に要求リソース量分の空きリソースが存在するか否かを判定する（ステップＳ５０８）。具体的には、以下のような処理が実行される。   The container control unit 120 determines whether or not there are free resources for the requested resource amount in the selected physical server 102 (step S508). Specifically, the following processing is executed.

コンテナ制御部１２０は、物理サーバ管理テーブル１２２を参照して、物理サーバＩＤ２０１が選択された物理サーバ１０２の識別子に一致するエントリを検索する。コンテナ制御部１２０は、検索されたエントリのリソース２０２の値を取得する。   The container control unit 120 refers to the physical server management table 122 and searches for an entry whose physical server ID 201 matches the identifier of the selected physical server 102. The container control unit 120 acquires the value of the resource 202 of the searched entry.

コンテナ制御部１２０は、仮想マシン管理テーブル１２３を参照し、物理サーバＩＤ３０１が選択された物理サーバ１０２の識別子に一致するエントリを抽出する。コンテナ制御部１２０は、抽出されたエントリの最小リソース３０５の合計値を算出する。   The container control unit 120 refers to the virtual machine management table 123, and extracts an entry whose physical server ID 301 matches the identifier of the selected physical server 102. The container control unit 120 calculates the total value of the minimum resources 305 of the extracted entries.

コンテナ制御部１２０は、リソース２０２から最小リソース３０５の合計値を減算し、算出された値が要求リソース量以上であるか否かを判定する。算出された値が要求リソース量以上である場合、コンテナ制御部１２０は、選択された物理サーバ１０２に要求リソース量分の空きリソースが存在すると判定する。以上がステップＳ５０８の処理の説明である。   The container control unit 120 subtracts the total value of the minimum resources 305 from the resource 202, and determines whether or not the calculated value is equal to or greater than the requested resource amount. If the calculated value is equal to or greater than the requested resource amount, the container control unit 120 determines that there are free resources for the requested resource amount in the selected physical server 102. The above is the description of the processing in step S508.

選択された物理サーバ１０２に要求リソース量分の空きリソースが存在しないと判定された場合、コンテナ制御部１２０は、全ての物理サーバ１０２について処理が完了したか否かを判定する（ステップＳ５１３）。   When it is determined that there are no free resources for the requested resource amount in the selected physical server 102, the container control unit 120 determines whether or not the processing has been completed for all the physical servers 102 (step S513).

全ての物理サーバ１０２について処理が完了していないと判定された場合、コンテナ制御部１２０は、ステップＳ５０７に戻り、新たな物理サーバ１０２を選択する。   When it is determined that the processing has not been completed for all the physical servers 102, the container control unit 120 returns to step S507 and selects a new physical server 102.

全ての物理サーバ１０２について処理が完了したと判定された場合、コンテナ制御部１２０は、物理サーバ１０２の追加処理を実行し（ステップＳ５１４）、その後、処理を終了する。物理サーバ１０２に追加処理（デプロイ処理）の詳細は図７を用いて説明する。   When it is determined that the processing has been completed for all the physical servers 102, the container control unit 120 executes the processing for adding the physical server 102 (step S514), and thereafter ends the processing. Details of the addition processing (deployment processing) to the physical server 102 will be described with reference to FIG.

ステップＳ５０８において、選択された物理サーバ１０２に要求リソース量分の空きリソースが存在すると判定された場合、コンテナ制御部１２０は、追加要求に含まれるＯＳ１６０の種別に基づいて、要求された種類のＯＳ１６０を稼働させるＶＭ１５０を追加する（ステップＳ５０９）。ＶＭ１５０の追加方法は公知であるため詳細な説明は省略する。コンテナ制御部１２０は、仮想マシン管理テーブル１２３を更新する（ステップＳ５１０）。   If it is determined in step S508 that the selected physical server 102 has free resources for the requested resource amount, the container control unit 120 determines the requested type of OS 160 based on the type of OS 160 included in the addition request. Is added (step S509). Since the addition method of VM150 is well-known, detailed description is abbreviate | omitted. The container control unit 120 updates the virtual machine management table 123 (step S510).

具体的には、コンテナ制御部１２０は、仮想マシン管理テーブル１２３に追加されたＶＭ１５０のエントリを追加する。また、コンテナ制御部１２０は、仮想マシンＩＤ３０２に所定の識別子を設定し、物理サーバＩＤ３０１に選択された物理サーバ１０２の識別子を設定し、また、ＯＳ種別３０３に追加要求に含まれるＯＳ１６０の種別を設定する。仮想リソース３０４及び割当リソース３０６には、物理サーバ１０２のリソースの空きに応じて、全ての空きリソース、又は、一定の割合のリソースが設定される。   Specifically, the container control unit 120 adds the entry of the VM 150 added to the virtual machine management table 123. Further, the container control unit 120 sets a predetermined identifier in the virtual machine ID 302, sets the identifier of the selected physical server 102 in the physical server ID 301, and sets the type of the OS 160 included in the addition request in the OS type 303. Set. In the virtual resource 304 and the allocation resource 306, all free resources or a certain percentage of resources are set according to the free resources of the physical server 102.

次に、コンテナ制御部１２０は、追加されたＶＭ１５０に新規コンテナ１７０を追加する（ステップＳ５１１）。コンテナ制御部１２０は、仮想マシン管理テーブル１２３及びコンテナ管理テーブル１２４を更新する（ステップＳ５１２）。その後、コンテナ制御部１２０は、処理を終了する。   Next, the container control unit 120 adds a new container 170 to the added VM 150 (step S511). The container control unit 120 updates the virtual machine management table 123 and the container management table 124 (step S512). Thereafter, the container control unit 120 ends the process.

具体的には、コンテナ制御部１２０は、ハイパバイザ１４０を介して、コンテナ実行部１６１に新規コンテナ１７０の追加を指示する。コンテナ制御部１２０は、仮想マシン管理テーブル１２３を参照し、追加されたＶＭ１５０に対応するエントリの仮想リソース３０４、及び最小リソース３０５に初期値を設定し、また、割当リソース３０６に要求リソース量を設定する。また、コンテナ制御部１２０は、コンテナ管理テーブル１２４にエントリを追加し、追加されたエントリの仮想マシンＩＤ４０１に追加されたＶＭ１５０の識別子を設定し、また、当該エントリの性能保証４０３に要求リソース量を設定する。さらに、コンテナ制御部１２０は、追加されたエントリのコンテナＩＤ４０２に新規コンテナ１７０の識別子を設定する。   Specifically, the container control unit 120 instructs the container execution unit 161 to add a new container 170 via the hypervisor 140. The container control unit 120 refers to the virtual machine management table 123, sets initial values for the virtual resource 304 and the minimum resource 305 of the entry corresponding to the added VM 150, and sets the requested resource amount for the allocated resource 306. To do. In addition, the container control unit 120 adds an entry to the container management table 124, sets the identifier of the added VM 150 in the virtual machine ID 401 of the added entry, and sets the requested resource amount in the performance guarantee 403 of the entry. Set. Further, the container control unit 120 sets the identifier of the new container 170 in the container ID 402 of the added entry.

なお、仮想リソース３０４及び最小リソース３０５に設定する初期値は、予め設定された計算機式に基づいて算出された値を設定してもよいし、管理者によって入力された値を設定してもよい。   Note that the initial values set for the virtual resource 304 and the minimum resource 305 may be set based on a preset computer formula, or may be set as a value input by an administrator. .

図６は、実施例１のコンテナ制御部１２０が実行するリソース調整処理の一例を示すフローチャートである。リソース調整処理には入力としてステップＳ５０４において選択された物理サーバ１０２の識別子が入力される。   FIG. 6 is a flowchart illustrating an example of resource adjustment processing executed by the container control unit 120 according to the first embodiment. In the resource adjustment process, the identifier of the physical server 102 selected in step S504 is input as an input.

コンテナ制御部１２０は、対象物理サーバ１０２上のベストエフォート型のコンテナ１７０に割り当てるリソース量を算出する（ステップＳ６０１）。   The container control unit 120 calculates the resource amount to be allocated to the best effort type container 170 on the target physical server 102 (step S601).

本実施例では、対象物理サーバ１０２のリソース量から性能保証型のコンテナ１７０に割り当てられたリソース量の合計値を減算することによって算出されるリソース量がベストエフォート型のコンテナ１７０にオーバーコミットされるものとする。この場合、下式（５）を用いてベストエフォート型のコンテナ１７０に割り当てるリソース量が算出される。なお、Ｔｋは下式（６）で与えられる。なお、添え字ｋは、対象物理サーバ１０２上で稼働するＶＭ１５０の識別子に対応する。   In this embodiment, the resource amount calculated by subtracting the total value of the resource amount allocated to the performance guarantee type container 170 from the resource amount of the target physical server 102 is overcommitted to the best effort type container 170. Shall. In this case, the amount of resources allocated to the best effort type container 170 is calculated using the following equation (5). Tk is given by the following formula (6). Note that the subscript k corresponds to the identifier of the VM 150 operating on the target physical server 102.

Figure 0006374845
Figure 0006374845

Figure 0006374845
Figure 0006374845

ここで、ｒｂはベストエフォート型のコンテナ１７０に割り当てるリソース量である。Ｔｋは、識別子が「ｋ」であるＶＭ１５０上の性能保証型のコンテナ１７０に割り当てられたリソース量の合計値である。ｒｐｎｅｗは、要求リソース量である。 Here, rb is a resource amount allocated to the best effort type container 170. Tk is the total value of the resource amount allocated to the performance guarantee type container 170 on the VM 150 whose identifier is “k”. rp new is the requested resource amount.

次に、コンテナ制御部１２０は、対象物理サーバ１０２上の各ＶＭ１５０に割り当てるリソース量を調整するために、対象物理サーバ１０２上のＶＭ１５０のループ処理を開始する（ステップＳ６０２）。   Next, the container control unit 120 starts loop processing of the VM 150 on the target physical server 102 in order to adjust the resource amount allocated to each VM 150 on the target physical server 102 (step S602).

具体的には、コンテナ制御部１２０は、仮想マシン管理テーブル１２３を参照して、物理サーバＩＤ３０１が対象物理サーバ１０２の識別子と一致するエントリを検索する。コンテナ制御部１２０は、検索されたエントリの中から対象のエントリ（ＶＭ１５０）を選択する。本実施例では、仮想マシンＩＤ３０２が小さい順にエントリが選択されるものとする。なお、本発明は選択するエントリの順番に依存しない。   Specifically, the container control unit 120 refers to the virtual machine management table 123 and searches for an entry in which the physical server ID 301 matches the identifier of the target physical server 102. The container control unit 120 selects a target entry (VM 150) from the retrieved entries. In this embodiment, it is assumed that entries are selected in ascending order of virtual machine ID 302. The present invention does not depend on the order of entries to be selected.

次に、コンテナ制御部１２０は、選択されたＶＭ１５０に新たに割り当てる新リソース量を算出する（ステップＳ６０３）。本実施例では、コンテナ制御部１２０は、下式（７）を用いて選択されたＶＭ１５０の新リソース量を算出する。   Next, the container control unit 120 calculates a new resource amount to be newly allocated to the selected VM 150 (step S603). In the present embodiment, the container control unit 120 calculates the new resource amount of the VM 150 selected using the following equation (7).

Figure 0006374845
Figure 0006374845

ここで、ｖＲｊｎｅｗは識別子が「ｊ」である対象物理サーバ１０２の新リソース量である。 Here, vRj new is the new resource amount of the target physical server 102 whose identifier is “j”.

次に、コンテナ制御部１２０は、新リソース量が選択されたＶＭ１５０に現在割り当てられるリソース量より大きいか否かを判定する（ステップＳ６０４）。   Next, the container control unit 120 determines whether or not the new resource amount is larger than the resource amount currently allocated to the selected VM 150 (step S604).

具体的には、コンテナ制御部１２０は、仮想マシン管理テーブル１２３を参照し、選択されたＶＭ１５０に対応するエントリの仮想リソース３０４の値を取得する。コンテナ制御部１２０は、新リソース量が仮想リソース３０４の値より大きいか否か判定する。   Specifically, the container control unit 120 refers to the virtual machine management table 123 and acquires the value of the virtual resource 304 of the entry corresponding to the selected VM 150. The container control unit 120 determines whether the new resource amount is larger than the value of the virtual resource 304.

新リソース量が選択されたＶＭ１５０に現在割り当てられるリソース量より大きいと判定された場合、コンテナ制御部１２０は、当該ＶＭ１５０に割り当てるリソース量を追加し（ステップＳ６０５）、その後、ステップＳ６０７に進む。   When it is determined that the new resource amount is larger than the resource amount currently allocated to the selected VM 150, the container control unit 120 adds the resource amount to be allocated to the VM 150 (step S605), and then proceeds to step S607.

具体的には、コンテナ制御部１２０は、新リソース量と現在のリソース量との差を算出し、算出された差の分だけ計算機リソース量を追加する。また、コンテナ制御部１２０は、選択されたＶＭ１５０に対応するエントリの仮想リソース３０４に新リソース量を設定する。   Specifically, the container control unit 120 calculates the difference between the new resource amount and the current resource amount, and adds the computer resource amount by the calculated difference. Further, the container control unit 120 sets a new resource amount in the virtual resource 304 of the entry corresponding to the selected VM 150.

新リソース量が選択されたＶＭ１５０に現在割り当てられるリソース量以下であると判定された場合、コンテナ制御部１２０は、当該ＶＭ１５０に割り当てるリソース量を削減し（ステップＳ６０６）、その後、ステップＳ６０７に進む。   If it is determined that the new resource amount is less than or equal to the resource amount currently allocated to the selected VM 150, the container control unit 120 reduces the resource amount allocated to the VM 150 (step S606), and then proceeds to step S607.

具体的には、コンテナ制御部１２０は、新リソース量と現在のリソース量との差を算出し、算出された差の分だけ計算機リソース量を削減する。また、コンテナ制御部１２０は、選択されたＶＭ１５０に対応するエントリの仮想リソース３０４に新リソース量を設定する。   Specifically, the container control unit 120 calculates the difference between the new resource amount and the current resource amount, and reduces the computer resource amount by the calculated difference. Further, the container control unit 120 sets a new resource amount in the virtual resource 304 of the entry corresponding to the selected VM 150.

ステップＳ６０５又はステップＳ６０６の処理が完了した後、コンテナ制御部１２０は、対象物理サーバ１０２上で稼働する全てのＶＭ１５０について処理が完了したか否かを判定する（ステップＳ６０７）。   After the processing in step S605 or step S606 is completed, the container control unit 120 determines whether the processing has been completed for all VMs 150 operating on the target physical server 102 (step S607).

対象物理サーバ１０２上で稼働する全てのＶＭ１５０について処理が完了していないと判定された場合、コンテナ制御部１２０は、ステップＳ６０２に戻り、新たにＶＭ１５０を選択する。対象物理サーバ１０２上で稼働する全てのＶＭ１５０について処理が完了したと判定された場合、コンテナ制御部１２０は、処理を終了する。   When it is determined that the processing has not been completed for all the VMs 150 running on the target physical server 102, the container control unit 120 returns to step S602 and newly selects a VM 150. When it is determined that the processing has been completed for all the VMs 150 operating on the target physical server 102, the container control unit 120 ends the processing.

以上の処理によって、対象ＶＭ１５０以外のＶＭ１５０のうち、少なくとも一つのＶＭ１５０の計算機リソース量が削減される。一方、対象ＶＭ１５０の計算機リソース量は追加される。   Through the above processing, the computer resource amount of at least one VM 150 among the VMs 150 other than the target VM 150 is reduced. On the other hand, the computer resource amount of the target VM 150 is added.

図７は、実施例１のコンテナ制御部１２０が実行する物理サーバ１０２の追加処理の一例を示すフローチャートである。   FIG. 7 is a flowchart illustrating an example of the addition process of the physical server 102 executed by the container control unit 120 according to the first embodiment.

コンテナ制御部１２０は、物理サーバ追加部１２１に新規物理サーバ１０２の追加を指示し（ステップＳ７０１）、物理サーバ管理テーブル１２２を更新する（ステップＳ７０２）。   The container control unit 120 instructs the physical server addition unit 121 to add a new physical server 102 (step S701), and updates the physical server management table 122 (step S702).

具体的には、コンテナ制御部１２０は、物理サーバ管理テーブル１２２に新たなエントリを追加し、物理サーバＩＤ２０１に新規物理サーバ１０２の識別子を設定し、また、リソース２０２に新規物理サーバ１０２のリソース量を設定する。   Specifically, the container control unit 120 adds a new entry to the physical server management table 122, sets the identifier of the new physical server 102 in the physical server ID 201, and sets the resource amount of the new physical server 102 in the resource 202. Set.

次に、コンテナ制御部１２０は、新規物理サーバ１０２に新規コンテナ１７０を追加するためのＶＭ１５０を生成するか否かを判定する（ステップＳ７０３）。   Next, the container control unit 120 determines whether to create a VM 150 for adding the new container 170 to the new physical server 102 (step S703).

例えば、コンテナ制御部１２０は、新規物理サーバ１０２にＶＭ１５０を生成するか否かを選択する画面を表示し、管理者からの操作を受け付ける方法が考えられる。また、コンテナ制御部１２０がオートスケール等の自動制御を行っている場合には、自動制御の種類に応じたポリシを設定し、当該制御ポリシに基づいて判定する方法も考えられる。なお、オートスケールとは、コンテナ１７０の数を自動的に増加又は削減する処理を示す。   For example, the container control unit 120 may display a screen for selecting whether to create the VM 150 on the new physical server 102 and accept an operation from the administrator. Further, when the container control unit 120 performs automatic control such as auto scaling, a method of setting a policy corresponding to the type of automatic control and determining based on the control policy is also conceivable. The auto scale indicates a process for automatically increasing or reducing the number of containers 170.

新規物理サーバ１０２にＶＭ１５０を生成しない場合、コンテナ制御部１２０は、既存のＶＭ１５０を新規物理サーバ１０２に移動し、当該ＶＭ１５０上に新規コンテナ１７０を追加する。   When the VM 150 is not generated on the new physical server 102, the container control unit 120 moves the existing VM 150 to the new physical server 102 and adds the new container 170 on the VM 150.

新規物理サーバ１０２にＶＭ１５０を生成しないと判定された場合、コンテナ制御部１２０は、移動させるＶＭ１５０を選択し（ステップＳ７０４）、選択されたＶＭ１５０を新規物理サーバ１０２に移動する（ステップＳ７０５）。   When it is determined that the VM 150 is not generated on the new physical server 102, the container control unit 120 selects the VM 150 to be moved (step S704), and moves the selected VM 150 to the new physical server 102 (step S705).

本実施例では、コンテナ制御部１２０は、各物理サーバ１０２についてステップＳ５０３と同一の処理を実行することによって新規コンテナ１７０に要求されるＯＳ１６０の種別と同一の種別のＯＳ１６０が稼働するＶＭ１５０を検索する。コンテナ制御部１２０は、検索されたＶＭ１５０のうち、移動コストが最も小さいＶＭ１５０を選択する。   In the present embodiment, the container control unit 120 searches the VM 150 on which the OS 160 of the same type as the type of the OS 160 required for the new container 170 is operating by executing the same processing as step S503 for each physical server 102. . The container control unit 120 selects a VM 150 having the lowest movement cost among the searched VMs 150.

移動コストは、ＶＭ１５０が使用するリソース量、及び稼働状況に基づいて算出される。例えば、メモリ使用量が少ない場合、ＣＰＵ使用率が低い場合、メモリへの書込頻度が低い場合、又はＩＯトラフィック量が低い場合には、移動コストは小さい。   The movement cost is calculated based on the resource amount used by the VM 150 and the operation status. For example, when the memory usage is small, the CPU usage rate is low, the frequency of writing to the memory is low, or the IO traffic volume is low, the movement cost is small.

なお、移動させるＶＭ１５０の選択方法は、既存のマイグレーション処理等で用いられる方法を用いてもよい。   As a method for selecting the VM 150 to be moved, a method used in an existing migration process or the like may be used.

次に、コンテナ制御部１２０は、仮想マシン管理テーブル１２３を更新する（ステップＳ７０６）。   Next, the container control unit 120 updates the virtual machine management table 123 (step S706).

具体的には、コンテナ制御部１２０は、仮想マシン管理テーブル１２３を参照し、移動したＶＭ１５０に対応するエントリの物理サーバＩＤ３０１に新規物理サーバ１０２の識別子を設定する。   Specifically, the container control unit 120 refers to the virtual machine management table 123 and sets the identifier of the new physical server 102 in the physical server ID 301 of the entry corresponding to the moved VM 150.

コンテナ制御部１２０は、新規物理サーバ１０２に移動したＶＭ１５０にコンテナ１７０を追加する（ステップＳ７０７）。   The container control unit 120 adds the container 170 to the VM 150 moved to the new physical server 102 (step S707).

具体的には、コンテナ制御部１２０は、ハイパバイザ１４０を介して、新規コンテナ１７０の追加をコンテナ実行部１６１に指示する。   Specifically, the container control unit 120 instructs the container execution unit 161 to add a new container 170 via the hypervisor 140.

次に、コンテナ制御部１２０は、仮想マシン管理テーブル１２３及びコンテナ管理テーブル１２４を更新し（ステップＳ７０８）、処理を終了する。具体的には、以下のような処理が実行される。   Next, the container control unit 120 updates the virtual machine management table 123 and the container management table 124 (step S708), and ends the process. Specifically, the following processing is executed.

コンテナ制御部１２０は、仮想マシン管理テーブル１２３を参照し、新規コンテナ１７０が追加されたＶＭ１５０に対応するエントリの仮想リソース３０４、最小リソース３０５、及び割当リソース３０６を更新する。例えば、コンテナ制御部１２０は、仮想リソース３０４、最小リソース３０５、及び割当リソース３０６のそれぞれに要求リソース量を加算する。   The container control unit 120 refers to the virtual machine management table 123 and updates the virtual resource 304, the minimum resource 305, and the allocated resource 306 in the entry corresponding to the VM 150 to which the new container 170 is added. For example, the container control unit 120 adds the requested resource amount to each of the virtual resource 304, the minimum resource 305, and the allocated resource 306.

なお、仮想リソース３０４、最小リソース３０５、及び割当リソース３０６の更新方法は前述した方法に限定されない。例えば、物理サーバ１０２の全リソース量を予め割り当てる方法、一定量を割り当てる方法などが考えられる。   Note that the method of updating the virtual resource 304, the minimum resource 305, and the allocated resource 306 is not limited to the method described above. For example, a method of preallocating the total resource amount of the physical server 102, a method of allocating a certain amount, and the like are conceivable.

また、コンテナ制御部１２０は、コンテナ管理テーブル１２４にエントリを追加し、追加されたエントリの仮想マシンＩＤ４０１に移動したＶＭ１５０の識別子を設定し、また、当該エントリの性能保証４０３に要求リソース量を設定する。さらに、コンテナ制御部１２０は、追加されたエントリのコンテナＩＤ４０２に新規コンテナ１７０の識別子を設定する。以上がステップＳ７０８の処理の説明である。   Further, the container control unit 120 adds an entry to the container management table 124, sets the identifier of the VM 150 moved to the virtual machine ID 401 of the added entry, and sets the requested resource amount in the performance guarantee 403 of the entry. To do. Further, the container control unit 120 sets the identifier of the new container 170 in the container ID 402 of the added entry. The above is the description of the process in step S708.

ステップＳ７０３において、新規物理サーバ１０２にＶＭ１５０を生成すると判定された場合、コンテナ制御部１２０は、新規物理サーバ１０２に新規ＶＭ１５０を追加し（ステップＳ７０９）、仮想マシン管理テーブル１２３を更新する（ステップＳ７１０）。ＶＭ１５０の追加方法は公知であるため詳細な説明を省略する。   If it is determined in step S703 that the VM 150 is generated in the new physical server 102, the container control unit 120 adds the new VM 150 to the new physical server 102 (step S709), and updates the virtual machine management table 123 (step S710). ). Since the addition method of VM150 is well-known, detailed description is abbreviate | omitted.

具体的には、コンテナ制御部１２０は、仮想マシン管理テーブル１２３にエントリを追加し、追加されたエントリの物理サーバＩＤ３０１に新規物理サーバ１０２の識別子、仮想マシンＩＤ３０２に新規ＶＭ１５０の識別子、ＯＳ種別３０３に追加要求に含まれるＯＳ１６０の識別子を設定する。   Specifically, the container control unit 120 adds an entry to the virtual machine management table 123. The physical server ID 301 of the added entry is the identifier of the new physical server 102, the virtual machine ID 302 is the identifier of the new VM 150, and the OS type 303. Is set to the identifier of the OS 160 included in the addition request.

コンテナ制御部１２０は、新規物理サーバ１０２に追加された新規ＶＭ１５０にコンテナ１７０を追加する（ステップＳ７０７）。コンテナ制御部１２０は、仮想マシン管理テーブル１２３及びコンテナ管理テーブル１２４を更新し（ステップＳ７０８）、処理を終了する。具体的には、以下のような処理が実行される。   The container control unit 120 adds the container 170 to the new VM 150 added to the new physical server 102 (step S707). The container control unit 120 updates the virtual machine management table 123 and the container management table 124 (step S708), and ends the process. Specifically, the following processing is executed.

コンテナ制御部１２０は、ハイパバイザ１４０を介して、コンテナ実行部１６１に新規コンテナ１７０の追加を指示する。コンテナ制御部１２０は、仮想マシン管理テーブル１２３を参照し、新規ＶＭ１５０に対応するエントリの仮想リソース３０４、及び最小リソース３０５に初期値を設定し、また、割当リソース３０６に要求リソース量を設定する。また、コンテナ制御部１２０は、コンテナ管理テーブル１２４にエントリを追加し、追加されたエントリの仮想マシンＩＤ４０１に新規ＶＭ１５０の識別子を設定し、また、当該エントリの性能保証４０３に要求リソース量を設定する。さらに、コンテナ制御部１２０は、追加されたエントリのコンテナＩＤ４０２に新規コンテナ１７０の識別子を設定する。   The container control unit 120 instructs the container execution unit 161 to add a new container 170 via the hypervisor 140. The container control unit 120 refers to the virtual machine management table 123, sets initial values for the virtual resource 304 and the minimum resource 305 of the entry corresponding to the new VM 150, and sets the requested resource amount for the allocated resource 306. Further, the container control unit 120 adds an entry to the container management table 124, sets the identifier of the new VM 150 in the virtual machine ID 401 of the added entry, and sets the requested resource amount in the performance guarantee 403 of the entry. . Further, the container control unit 120 sets the identifier of the new container 170 in the container ID 402 of the added entry.

なお、仮想リソース３０４及び最小リソース３０５に設定する初期値は、予め設定された計算機式に基づいて算出された値を設定してもよいし、管理者によって入力された値を設定してもよい。   Note that the initial values set for the virtual resource 304 and the minimum resource 305 may be set based on a preset computer formula, or may be set as a value input by an administrator. .

ここで、図８及び図９を用いてコンテナ制御部１２０が実行する処理の具体例について説明する。なお、以下の説明では、物理サーバ管理テーブル１２２、仮想マシン管理テーブル１２３、及びコンテナ管理テーブル１２４は、図２、図３、及び図４に示すような状態であるものとする。   Here, the specific example of the process which the container control part 120 performs is demonstrated using FIG.8 and FIG.9. In the following description, it is assumed that the physical server management table 122, the virtual machine management table 123, and the container management table 124 are in a state as shown in FIGS.

まず、リソース調整処理を伴う新規コンテナ１７０の追加処理の一例を説明する。図８は、実施例１のリソース調整処理を伴う新規コンテナ１７０の追加処理が実行された後の仮想マシン管理テーブル１２３の一例を示す図である。ここでは、コンテナ制御部１２０は、ＯＳ１６０の種別が「ＯＳ２」、要求リソース量が「２」の新規コンテナ１７０の生成が指示されてものとする。   First, an example of a process for adding a new container 170 accompanied by a resource adjustment process will be described. FIG. 8 is a diagram illustrating an example of the virtual machine management table 123 after the addition process of the new container 170 accompanied with the resource adjustment process according to the first embodiment is executed. Here, it is assumed that the container control unit 120 is instructed to generate a new container 170 whose OS 160 type is “OS2” and whose requested resource amount is “2”.

ステップＳ５０２において、コンテナ制御部１２０は、仮想マシンＩＤ３０２が「２」であるＶＭ１５０を、候補ＶＭ１５０として特定する。候補ＶＭ１５０の仮想リソース３０４は「２０」、割当リソース３０６は「１８．２」である。この場合、候補ＶＭ１５０の空きリソース量は「１．８」であり、要求リソース量より小さい。したがって、ステップＳ５０３の判定結果はＮＯとなる。   In step S <b> 502, the container control unit 120 identifies the VM 150 whose virtual machine ID 302 is “2” as a candidate VM 150. The virtual resource 304 of the candidate VM 150 is “20”, and the allocation resource 306 is “18.2”. In this case, the free resource amount of the candidate VM 150 is “1.8”, which is smaller than the requested resource amount. Therefore, the determination result in step S503 is NO.

ステップＳ５０４では、コンテナ制御部１２０は、物理サーバ管理テーブル１２２の物理サーバＩＤ２０１が「１」のエントリを参照し、リソース２０２の値「３２」を取得する。識別子が「１」である物理サーバ１０２上で稼働するコンテナ１７０の割当リソース３０６の合計値「２８．４」であり、当該物理サーバ１０２の空きリソース量は「３．６」となる。したがって、ステップＳ５０４の判定結果はＹＥＳとなり、リソース調整処理が実行される。   In step S <b> 504, the container control unit 120 refers to the entry whose physical server ID 201 is “1” in the physical server management table 122 and acquires the value “32” of the resource 202. The total value “28.4” of the allocated resources 306 of the container 170 operating on the physical server 102 with the identifier “1”, and the free resource amount of the physical server 102 is “3.6”. Therefore, the determination result in step S504 is YES, and the resource adjustment process is executed.

ステップＳ６０１において、識別子が「１」のＶＭ１５０のＴｋは「１０」、識別子が「２」のＶＭ１５０のＴｋは「１８」と算出される。要求リソース量は「２」であるため、式（５）からベストエフォート型のコンテナ１７０に割り当てるリソース量は「２」となる。   In step S601, the Tk of the VM 150 with the identifier “1” is calculated as “10”, and the Tk of the VM 150 with the identifier “2” is calculated as “18”. Since the requested resource amount is “2”, the resource amount to be allocated to the best effort type container 170 is “2” from Expression (5).

識別子が「１」のＶＭ１５０については、ステップＳ６０３において、新リソース量は式（７）より「１４」と算出される。また、当該ＶＭ１５０の仮想リソース３０４は「１６」である。したがって、ステップＳ６０４の判定結果はＮＯとなる。そのため、ステップＳ６０６において、コンテナ制御部１２０は、識別子が「１」のＶＭ１５０のリソース量を「１６」から「１４」まで削減する。   For the VM 150 with the identifier “1”, in step S603, the new resource amount is calculated as “14” from Equation (7). Further, the virtual resource 304 of the VM 150 is “16”. Therefore, the determination result in step S604 is NO. Therefore, in step S606, the container control unit 120 reduces the resource amount of the VM 150 having the identifier “1” from “16” to “14”.

識別子が「２」のＶＭ１５０については、ステップＳ６０３において、新リソース量は式（７）より「２２」と算出される。また、当該ＶＭ１５０の仮想リソース３０４は「２０」である。したがって、ステップＳ６０４の判定結果はＹＥＳとなる。そのため、ステップＳ６０５において、コンテナ制御部１２０は、識別子が「２」のＶＭ１５０のリソース量を「２０」から「２２」まで追加する。   For the VM 150 with the identifier “2”, in step S603, the new resource amount is calculated as “22” from Equation (7). The virtual resource 304 of the VM 150 is “20”. Therefore, the determination result of step S604 is YES. Therefore, in step S605, the container control unit 120 adds the resource amount of the VM 150 having the identifier “2” from “20” to “22”.

リソース調整処理が終了した後、ステップＳ５１１において、コンテナ制御部１２０は、候補ＶＭ１５０に新規コンテナ１７０を追加する。   After the resource adjustment processing ends, in step S511, the container control unit 120 adds a new container 170 to the candidate VM 150.

ステップＳ５１２において、コンテナ制御部１２０は、仮想マシンＩＤ３０２が「１」であるエントリの仮想リソース３０４を「１４」に更新し、また、仮想マシンＩＤ３０２が「２」であるエントリの仮想リソース３０４を「２２」に更新する。また、コンテナ制御部１２０は、式（１）に基づいて各ＶＭ１５０のｖＲｉｍｉｎを算出し、それぞれのエントリの最小リソース３０５にｖＲｉｍｉｎを設定する。さらに、コンテナ制御部１２０は、仮想マシンＩＤ３０２が「２」であるエントリの割当リソース３０６に要求リソース量「２」を追加する。 In step S512, the container control unit 120 updates the virtual resource 304 of the entry whose virtual machine ID 302 is “1” to “14”, and changes the virtual resource 304 of the entry whose virtual machine ID 302 is “2” to “14”. 22 ”. Further, the container control unit 120 calculates the vRimin each VM150 based on equation (1), sets the VRI min minimizing resource 305 of each entry. Further, the container control unit 120 adds the requested resource amount “2” to the allocated resource 306 of the entry whose virtual machine ID 302 is “2”.

以上の処理によって、図３に示す仮想マシン管理テーブル１２３は図８に示すように更新される。   Through the above processing, the virtual machine management table 123 shown in FIG. 3 is updated as shown in FIG.

次に、物理サーバ１０２の追加処理を伴う新規コンテナ１７０の追加処理の一例を説明する。図９は、実施例１の物理サーバ１０２の追加処理を伴う新規コンテナ１７０の追加処理が実行された後の仮想マシン管理テーブル１２３の一例を示す図である。ここでは、コンテナ制御部１２０は、ＯＳ１６０の種別が「ＯＳ１」、要求リソース量が「６」の新規コンテナ１７０の生成が指示されてものとする。   Next, an example of the process for adding a new container 170 that accompanies the process for adding the physical server 102 will be described. FIG. 9 is a diagram illustrating an example of the virtual machine management table 123 after the addition process of the new container 170 accompanying the addition process of the physical server 102 according to the first embodiment is executed. Here, it is assumed that the container control unit 120 is instructed to generate a new container 170 whose OS 160 type is “OS1” and whose requested resource amount is “6”.

ステップＳ５０２において、コンテナ制御部１２０は、仮想マシンＩＤ３０２が「１」であるＶＭ１５０を、候補ＶＭ１５０として特定する。候補ＶＭ１５０の仮想リソース３０４は「１６」、割当リソース３０６は「１０．２」である。この場合、候補ＶＭ１５０の空きリソース量は「５．８」であり、要求リソース量より小さい。したがって、ステップＳ５０３の判定結果はＮＯとなる。   In step S <b> 502, the container control unit 120 identifies the VM 150 whose virtual machine ID 302 is “1” as a candidate VM 150. The virtual resource 304 of the candidate VM 150 is “16”, and the allocation resource 306 is “10.2”. In this case, the free resource amount of the candidate VM 150 is “5.8”, which is smaller than the requested resource amount. Therefore, the determination result in step S503 is NO.

ステップＳ５０４では、コンテナ制御部１２０は、物理サーバ管理テーブル１２２の物理サーバＩＤ２０１が「１」のエントリを参照し、リソース２０２の値「３２」を取得する。識別子が「１」である物理サーバ１０２上で稼働するコンテナ１７０の割当リソース３０６の合計値「２８．４」であり、当該物理サーバ１０２の空きリソース量は「３．６」となる。したがって、ステップＳ５０４の判定結果はＮＯとなる。   In step S <b> 504, the container control unit 120 refers to the entry whose physical server ID 201 is “1” in the physical server management table 122 and acquires the value “32” of the resource 202. The total value “28.4” of the allocated resources 306 of the container 170 operating on the physical server 102 with the identifier “1”, and the free resource amount of the physical server 102 is “3.6”. Therefore, the determination result in step S504 is NO.

ステップＳ５０８では、識別子が「１」である物理サーバ１０２上のＶＭ１５０の最小リソース３０５の合計値は「２８」であり、リソース２０２との差は「４」となる。また、識別子が「２」である物理サーバ１０２上のＶＭ１５０の最小リソース３０５の合計値は「３０」であり、リソース２０２との差は「２」となる。したがって、ステップＳ５０８の判定結果はＮＯとなり、物理サーバ１０２の追加処理が実行される。ここでは、移動指示を受け付けているものとする。   In step S508, the total value of the minimum resources 305 of the VM 150 on the physical server 102 having the identifier “1” is “28”, and the difference from the resource 202 is “4”. Further, the total value of the minimum resources 305 of the VM 150 on the physical server 102 with the identifier “2” is “30”, and the difference from the resource 202 is “2”. Therefore, the determination result in step S508 is NO, and the addition process of the physical server 102 is executed. Here, it is assumed that a movement instruction is accepted.

ステップＳ７０１では、コンテナ制御部１２０が、新規物理サーバ１０２を追加する。ここでは、新規物理サーバ１０２の識別子は「３」であるものとする。ステップＳ７０３の判定結果はＮＯであるため、コンテナ制御部１２０は、ステップＳ７０４において移動させるＶＭ１５０を選択する。本実施例では、識別子が「１」であるＶＭ１５０が選択される。   In step S701, the container control unit 120 adds a new physical server 102. Here, it is assumed that the identifier of the new physical server 102 is “3”. Since the determination result in step S703 is NO, the container control unit 120 selects the VM 150 to be moved in step S704. In this embodiment, the VM 150 whose identifier is “1” is selected.

ステップＳ７０５では、コンテナ制御部１２０は、新規物理サーバ１０２に識別子が「１」であるＶＭ１５０を移動する。ステップＳ７０６において、コンテナ制御部１２０は、仮想マシンＩＤ３０２が「１」であるエントリの物理サーバＩＤ３０１に「３」を設定する。ステップ７０７において、コンテナ制御部１２０は、識別子が「１」であるＶＭ１５０に新規コンテナ１７０を追加する。   In step S <b> 705, the container control unit 120 moves the VM 150 whose identifier is “1” to the new physical server 102. In step S706, the container control unit 120 sets “3” to the physical server ID 301 of the entry whose virtual machine ID 302 is “1”. In step 707, the container control unit 120 adds a new container 170 to the VM 150 whose identifier is “1”.

ステップＳ７０８では、コンテナ制御部１２０は、仮想マシンＩＤ３０２が「１」であるエントリの仮想リソース３０４及び最小リソース３０５に「６」を加算し、割当リソース３０６に「６」を設定する。コンテナ制御部１２０は、コンテナ管理テーブル１２４にエントリを生成し、コンテナＩＤ４０２に所定の識別子を設定する。さらに、コンテナ制御部１２０は、生成されたエントリの仮想マシンＩＤ４０１に「１」を設定し、性能保証４０３に「６」を設定する。   In step S708, the container control unit 120 adds “6” to the virtual resource 304 and the minimum resource 305 of the entry whose virtual machine ID 302 is “1”, and sets “6” to the allocation resource 306. The container control unit 120 creates an entry in the container management table 124 and sets a predetermined identifier in the container ID 402. Further, the container control unit 120 sets “1” to the virtual machine ID 401 of the generated entry and sets “6” to the performance guarantee 403.

以上の処理によって、図３に示す仮想マシン管理テーブル１２３は図９に示すように更新される。   Through the above processing, the virtual machine management table 123 shown in FIG. 3 is updated as shown in FIG.

本発明によれば、コンテナ制御部１２０は、既存の物理サーバ１０２におけるＶＭ１５０への計算機リソースの割当量を調整する。すなわち、コンテナ制御部１２０は、候補ＶＭ１５０とは異なるＶＭ１５０の計算機リソース量を削減し、候補ＶＭ１５０に計算機リソース量を追加する。これによって、可能な限りコンテナ管理システムに新たな物理サーバ１０２を追加することなく、新規コンテナ１７０を配置することができる。すなわち、少数の物理サーバ１０２上にＯＳ１６０の種別が異なる複数のコンテナ１７０を高密度に配置できる。   According to the present invention, the container control unit 120 adjusts the allocation amount of computer resources to the VM 150 in the existing physical server 102. That is, the container control unit 120 reduces the computer resource amount of the VM 150 different from the candidate VM 150, and adds the computer resource amount to the candidate VM 150. As a result, the new container 170 can be arranged without adding a new physical server 102 to the container management system as much as possible. That is, a plurality of containers 170 having different types of OS 160 can be arranged on a small number of physical servers 102 with high density.

また、本発明では、ステップＳ６０１に示すように、一つのＶＭ１５０上に性能保証型のコンテナ１７０及びベストエフォート型のコンテナ１７０が混在する場合、コンテナ制御部１２０は、ＶＭ１５０に計算機リソースをオーバーコミットする。これによって、性能保証型のコンテナ１７０及びベストエフォート型のコンテナ１７０が混在するシステムにも柔軟に対応することができる。   Further, in the present invention, as shown in step S <b> 601, when the performance guarantee type container 170 and the best effort type container 170 coexist on one VM 150, the container control unit 120 overcommits the computer resources to the VM 150. . Accordingly, it is possible to flexibly cope with a system in which the performance guarantee type container 170 and the best effort type container 170 are mixed.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。   In addition, this invention is not limited to an above-described Example, Various modifications are included. Further, for example, the above-described embodiments are described in detail for easy understanding of the present invention, and are not necessarily limited to those provided with all the described configurations. Further, a part of the configuration of each embodiment can be added to, deleted from, or replaced with another configuration.

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるＣＰＵが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。   Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. The present invention can also be realized by software program codes that implement the functions of the embodiments. In this case, a storage medium in which the program code is recorded is provided to the computer, and a CPU included in the computer reads the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing it constitute the present invention. As a storage medium for supplying such a program code, for example, a flexible disk, a CD-ROM, a DVD-ROM, a hard disk, an SSD (Solid State Drive), an optical disk, a magneto-optical disk, a CD-R, a magnetic tape, A non-volatile memory card, ROM, or the like is used.

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。   The program code for realizing the functions described in the present embodiment can be implemented by a wide range of programs or script languages such as assembler, C / C ++, perl, Shell, PHP, Java (registered trademark).

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、コンピュータが備えるＣＰＵが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。   Furthermore, by distributing the program code of the software that implements the functions of the embodiments via a network, the program code is stored in a storage means such as a hard disk or memory of a computer or a storage medium such as a CD-RW or CD-R. The CPU included in the computer may read and execute the program code stored in the storage unit or the storage medium.

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。   In the above-described embodiments, the control lines and information lines indicate what is considered necessary for the explanation, and not all control lines and information lines on the product are necessarily shown. All the components may be connected to each other.

１０１ 管理サーバ
１０２ 物理サーバ
１０３ クライアント端末
１２０ コンテナ制御部
１２１ 物理サーバ追加部
１２２ 物理サーバ管理テーブル
１２３ 仮想マシン管理テーブル
１２４ コンテナ管理テーブル
１４０ ハイパバイザ
１５０ ＶＭ
１６０ ＯＳ
１６１ コンテナ実行部
１７０ コンテナ 101 management server 102 physical server 103 client terminal 120 container control unit 121 physical server addition unit 122 physical server management table 123 virtual machine management table 124 container management table 140 hypervisor 150 VM
160 OS
161 Container execution unit 170 Container

Claims (8)

管理サーバ、及び複数の仮想計算機が稼動する少なくとも一つの物理サーバを備える計算機システムであって、
前記管理サーバは、第１のプロセッサ、前記第１のプロセッサに接続される第１のメモリ、前記第１のプロセッサに接続される第１のネットワークインタフェースを有し、
前記少なくとも一つの物理サーバは、第２のプロセッサ、前記第２のプロセッサに接続される第２のメモリ、前記第２のプロセッサに接続される第２のネットワークインタフェースを有し、
前記少なくとも一つの物理サーバは、当該物理サーバが有する計算機リソースを分割することによって、オペレーティングシステムを実行する仮想計算機を少なくとも一つ生成する仮想化管理部を有し、
前記オペレーティングシステムは、ユーザ空間を分割することによって生成されたアプリケーション環境であるコンテナを少なくとも一つ生成するコンテナ実行部を含み、
前記管理サーバは、前記計算機システムに新たに追加する前記コンテナの配置を制御するコンテナ制御部を有し、
前記コンテナ制御部は、
オペレーティングシステムの種別、及び新規コンテナに割り当てる計算機リソース量である第１の要求リソース量を含む新規コンテナの追加要求を受け付け、
前記新規コンテナの追加要求に含まれる前記オペレーティングシステムの種類と同一種類のオペレーティングシステムを実行する候補仮想計算機を特定し、
前記候補仮想計算機に前記第１の要求リソース量分の空きリソースが存在するか否かを判定し、
前記候補仮想計算機に前記第１の要求リソース量分の空きリソースが存在しない場合、当該候補仮想計算機が稼動する物理サーバである対象物理サーバを特定し、
前記対象物理サーバ上の前記複数の仮想計算機の各々に割り当てられる計算機リソース量を調整するリソース調整処理を実行することによって、前記候補仮想計算機に前記新規コンテナを追加し、
前記リソース調整処理では、
前記コンテナ制御部は、
前記対象物理サーバ上の前記複数の仮想計算機の各々について、前記候補仮想計算機に前記第１の要求リソース量分の計算機リソースを追加するための調整をした場合の計算機リソースの割当量である新リソース量を算出し、
前記新リソース量に基づいて、前記候補仮想計算機に前記第１の要求リソース量分の計算機リソースを追加し、
前記新リソース量に基づいて、前記対象物理サーバ上の前記候補仮想計算機以外の少なくとも一つの仮想計算機の計算機リソース量を削減することを特徴とする計算機システム。 A computer system comprising a management server and at least one physical server on which a plurality of virtual machines operate,
The management server has a first processor, a first memory connected to the first processor, a first network interface connected to the first processor,
The at least one physical server has a second processor, a second memory connected to the second processor, and a second network interface connected to the second processor;
The at least one physical server has a virtualization management unit that generates at least one virtual machine that executes an operating system by dividing a computer resource of the physical server.
The operating system includes a container execution unit that generates at least one container that is an application environment generated by dividing a user space,
The management server has a container control unit that controls the arrangement of the container to be newly added to the computer system,
The container control unit
Accepting a request for adding a new container including the type of operating system and the first requested resource amount that is the amount of computer resources allocated to the new container;
A candidate virtual machine that executes an operating system of the same type as the type of the operating system included in the request to add the new container is identified;
It is determined whether or not there are free resources for the first requested resource amount in the candidate virtual machine,
If there is no free resource for the first requested resource amount in the candidate virtual machine, specify a target physical server that is a physical server on which the candidate virtual machine operates,
By performing the resource adjustment processing for adjusting the computer resource amount allocated to each of the plurality of virtual machines on the target physical server, add the new container to the candidate virtual machine,
In the resource adjustment process,
The container control unit
For each of the plurality of virtual machines on the target physical server, a new resource that is an allocation amount of a computer resource when adjustment is made to add a computer resource corresponding to the first required resource amount to the candidate virtual machine Calculate the quantity,
Based on the new resource amount, add computer resources for the first required resource amount to the candidate virtual computer,
A computer system that reduces the computer resource amount of at least one virtual computer other than the candidate virtual computer on the target physical server based on the new resource amount . 請求項１に記載の計算機システムであって、  The computer system according to claim 1,
前記コンテナは、性能保証型のコンテナ及びベストエフォート型のコンテナを含み、  The container includes a performance guarantee type container and a best effort type container,
前記少なくとも一つの物理サーバが有する計算機リソース量を管理する物理サーバ管理情報と、  Physical server management information for managing the computer resource amount of the at least one physical server;
前記複数の仮想計算機の各々に割り当てられる計算機リソース量を管理する仮想計算機管理情報と、  Virtual computer management information for managing the amount of computer resources allocated to each of the plurality of virtual computers;
前記コンテナが配置された仮想計算機、及び前記コンテナに要求される計算機リソース量である第２の要求リソース量を管理するコンテナ管理情報と、を管理し、  Managing a virtual machine in which the container is arranged and container management information for managing a second requested resource amount which is a computer resource amount required for the container;
前記リソース調整処理では、  In the resource adjustment process,
前記コンテナ制御部は、  The container control unit
前記新リソース量が算出される前に、前記物理サーバ管理情報から前記対象物理サーバの計算機リソース量を取得し、  Before calculating the new resource amount, obtain the computer resource amount of the target physical server from the physical server management information,
前記仮想計算機管理情報及び前記コンテナ管理情報を参照して、前記対象物理サーバ上の全ての仮想計算機の前記性能保証型のコンテナの前記第２の要求リソース量の合計値を算出し、  Referring to the virtual machine management information and the container management information, calculate a total value of the second required resource amounts of the performance guarantee type containers of all virtual machines on the target physical server,
前記第１の要求リソース量、前記対象物理サーバの計算機リソース量、及び前記合計値に基づいて、前記ベストエフォート型のコンテナに割り当てる計算機リソース量を算出し、  Based on the first requested resource amount, the computer resource amount of the target physical server, and the total value, a computer resource amount to be allocated to the best effort type container is calculated,
前記第１の要求リソース量、前記対象物理サーバ上の前記複数の仮想計算機の各々の前記性能保証型のコンテナの前記第２の要求リソース量、及び前記ベストエフォート型のコンテナに割り当てる計算機リソース量に基づいて、前記対象物理サーバ上の前記複数の仮想計算機の各々の前記新リソース量を算出することを特徴とする計算機システム。  The first required resource amount, the second required resource amount of the performance guarantee type container of each of the plurality of virtual machines on the target physical server, and the computer resource amount allocated to the best effort type container The computer system according to claim 1, wherein the new resource amount of each of the plurality of virtual machines on the target physical server is calculated. 請求項１に記載の計算機システムであって、  The computer system according to claim 1,
前記管理サーバは、前記計算機システムに前記物理サーバを追加する物理サーバ追加部を有し、  The management server has a physical server addition unit for adding the physical server to the computer system,
前記コンテナ制御部は、  The container control unit
前記対象物理サーバを特定した場合、前記対象物理サーバの空きリソース量を算出し、  When the target physical server is specified, the free resource amount of the target physical server is calculated,
前記対象物理サーバの空きリソース量が前記第１の要求リソース量より大きいか否かを判定し、  Determining whether the amount of free resources of the target physical server is greater than the first requested resource amount;
前記対象物理サーバの空きリソース量が前記第１の要求リソース量より大きいと判定された場合、前記リソース調整処理を実行し、  When it is determined that the amount of free resources of the target physical server is greater than the first requested resource amount, the resource adjustment process is executed,
前記対象物理サーバの空きリソース量が前記第１の要求リソース量以下であると判定された場合、前記物理サーバ追加部と連携して、前記計算機システムに新規物理サーバを追加する物理サーバの追加処理を実行し、  Physical server addition processing for adding a new physical server to the computer system in cooperation with the physical server addition unit when it is determined that the free resource amount of the target physical server is equal to or less than the first requested resource amount Run
前記新規物理サーバ上に前記新規コンテナを追加することを特徴とする計算機システム。  A computer system, wherein the new container is added on the new physical server. 請求項３に記載の計算機システムであって、  The computer system according to claim 3,
前記物理サーバの追加処理では、  In the process of adding the physical server,
前記コンテナ制御部は、  The container control unit
前記物理サーバ追加部に前記新規物理サーバの追加を指示し、  Instructing the physical server addition unit to add the new physical server,
前記候補仮想計算機を前記新規物理サーバに移動させる必要があるか否かを判定し、  Determining whether the candidate virtual machine needs to be moved to the new physical server;
前記候補仮想計算機を前記新規物理サーバに移動させる必要があると判定された場合、前記候補仮想計算機を前記新規物理サーバに移動し、前記新規物理サーバに移動した前記候補仮想計算機に前記新規コンテナを追加し、  When it is determined that the candidate virtual machine needs to be moved to the new physical server, the candidate virtual machine is moved to the new physical server, and the new container is moved to the candidate virtual machine moved to the new physical server Add
前記候補仮想計算機を前記新規物理サーバに移動させる必要がないと判定された場合、前記新規物理サーバに新規仮想計算機を追加し、前記新規仮想計算機に前記新規コンテナを追加することを特徴とする計算機システム。  When it is determined that it is not necessary to move the candidate virtual machine to the new physical server, a new virtual machine is added to the new physical server, and the new container is added to the new virtual machine system. 管理サーバ、及び複数の仮想計算機が稼動する少なくとも一つの物理サーバを備える計算機システムにおけるコンテナ管理方法であって、  A container management method in a computer system comprising a management server and at least one physical server on which a plurality of virtual machines operate,
前記管理サーバは、第１のプロセッサ、前記第１のプロセッサに接続される第１のメモリ、前記第１のプロセッサに接続される第１のネットワークインタフェースを有し、  The management server has a first processor, a first memory connected to the first processor, a first network interface connected to the first processor,
前記少なくとも一つの物理サーバは、第２のプロセッサ、前記第２のプロセッサに接続される第２のメモリ、前記第２のプロセッサに接続される第２のネットワークインタフェースを有し、  The at least one physical server has a second processor, a second memory connected to the second processor, and a second network interface connected to the second processor;
前記少なくとも一つの物理サーバは、当該物理サーバが有する計算機リソースを分割することによって、オペレーティングシステムを実行する仮想計算機を少なくとも一つ生成する仮想化管理部を有し、  The at least one physical server has a virtualization management unit that generates at least one virtual machine that executes an operating system by dividing a computer resource of the physical server.
前記オペレーティングシステムは、ユーザ空間を分割することによって生成されたアプリケーション環境であるコンテナを少なくとも一つ生成するコンテナ実行部を含み、  The operating system includes a container execution unit that generates at least one container that is an application environment generated by dividing a user space,
前記管理サーバは、前記計算機システムに新たに追加する前記コンテナの配置を制御するコンテナ制御部を有し、  The management server has a container control unit that controls the arrangement of the container to be newly added to the computer system,
前記コンテナ管理方法は、  The container management method is:
前記コンテナ制御部が、オペレーティングシステムの種別、及び新規コンテナに割り当てる計算機リソース量である第１の要求リソース量を含む新規コンテナの追加要求を受け付ける第１のステップと、  A first step in which the container control unit receives a request for adding a new container including a type of operating system and a first requested resource amount that is a computer resource amount to be allocated to the new container;
前記コンテナ制御部が、前記新規コンテナの追加要求に含まれる前記オペレーティングシステムの種類と同一種類のオペレーティングシステムを実行する候補仮想計算機を特定する第２のステップと、  A second step in which the container control unit identifies a candidate virtual machine that executes an operating system of the same type as the type of the operating system included in the request to add the new container;
前記コンテナ制御部が、前記候補仮想計算機に前記第１の要求リソース量分の空きリソースが存在するか否かを判定する第３のステップと、  A third step in which the container control unit determines whether or not there are free resources corresponding to the first requested resource amount in the candidate virtual machine;
前記コンテナ制御部が、前記候補仮想計算機に前記第１の要求リソース量分の空きリソースが存在しない場合、当該候補仮想計算機が稼動する物理サーバである対象物理サーバを特定する第４のステップと、  A fourth step in which the container control unit identifies a target physical server that is a physical server on which the candidate virtual machine is operated when there is no free resource for the first requested resource amount in the candidate virtual machine;
前記コンテナ制御部が、前記対象物理サーバ上の前記複数の仮想計算機の各々に割り当てられる計算機リソース量を調整するリソース調整処理を実行することによって、前記候補仮想計算機に前記新規コンテナを追加する第５のステップと、を含み、  The container control unit adds a new container to the candidate virtual machine by executing a resource adjustment process for adjusting a computer resource amount allocated to each of the plurality of virtual machines on the target physical server. Including the steps of
前記第５のステップは、  The fifth step includes
前記コンテナ制御部が、前記対象物理サーバ上の前記複数の仮想計算機の各々について、前記候補仮想計算機に前記第１の要求リソース量分の計算機リソースを追加するための調整をした場合の計算機リソースの割当量である新リソース量を算出するステップと、  When the container control unit makes an adjustment for adding computer resources corresponding to the first requested resource amount to the candidate virtual computer for each of the plurality of virtual computers on the target physical server, Calculating a new resource amount which is an allocated amount;
前記コンテナ制御部が、前記新リソース量に基づいて、前記候補仮想計算機に前記第１の要求リソース量分の計算機リソースを追加するステップと、  The container control unit adding computer resources corresponding to the first required resource amount to the candidate virtual computer based on the new resource amount;
前記コンテナ制御部が、前記新リソース量に基づいて、前記対象物理サーバ上の前記候補仮想計算機以外の少なくとも一つの仮想計算機の計算機リソース量を削減するステップと、を含むことを特徴とするコンテナ管理方法。  The container control unit includes a step of reducing a computer resource amount of at least one virtual computer other than the candidate virtual computer on the target physical server based on the new resource amount. Method. 請求項５に記載のコンテナ管理方法であって、  The container management method according to claim 5,
前記コンテナは、性能保証型のコンテナ及びベストエフォート型のコンテナを含み、  The container includes a performance guarantee type container and a best effort type container,
前記少なくとも一つの物理サーバが有する計算機リソース量を管理する物理サーバ管理情報と、  Physical server management information for managing the computer resource amount of the at least one physical server;
前記複数の仮想計算機の各々に割り当てられる計算機リソース量を管理する仮想計算機管理情報と、  Virtual computer management information for managing the amount of computer resources allocated to each of the plurality of virtual computers;
前記コンテナが配置された仮想計算機、及び前記コンテナに要求される計算機リソース量である第２の要求リソース量を管理するコンテナ管理情報と、を管理し、  Managing a virtual machine in which the container is arranged and container management information for managing a second requested resource amount which is a computer resource amount required for the container;
前記第５のステップは、  The fifth step includes
前記コンテナ制御部が、前記新リソース量が算出される前に、前記物理サーバ管理情報から前記対象物理サーバの計算機リソース量を取得するステップと、  The container control unit acquiring the computer resource amount of the target physical server from the physical server management information before the new resource amount is calculated;
前記コンテナ制御部が、前記仮想計算機管理情報及び前記コンテナ管理情報を参照して、前記対象物理サーバ上の全ての仮想計算機の前記性能保証型のコンテナの前記第２の要求リソース量の合計値を算出するステップと、  The container control unit refers to the virtual machine management information and the container management information, and calculates a total value of the second required resource amounts of the performance guarantee type containers of all virtual machines on the target physical server. A calculating step;
前記コンテナ制御部が、前記第１の要求リソース量、前記対象物理サーバの計算機リソース量、及び前記合計値に基づいて、前記ベストエフォート型のコンテナに割り当てる計算機リソース量を算出するステップと、  The container control unit calculating a computer resource amount to be allocated to the best effort type container based on the first requested resource amount, the computer resource amount of the target physical server, and the total value;
前記コンテナ制御部が、前記第１の要求リソース量、前記対象物理サーバ上の前記複数の仮想計算機の各々の前記性能保証型のコンテナの前記第２の要求リソース量、及び前記ベストエフォート型のコンテナに割り当てる計算機リソース量に基づいて、前記対象物理サーバ上の前記複数の仮想計算機の各々の前記新リソース量を算出するステップと、を含むことを特徴とするコンテナ管理方法。  The container control unit includes the first required resource amount, the second required resource amount of the performance guarantee type container of each of the plurality of virtual machines on the target physical server, and the best effort type container. Calculating the new resource amount of each of the plurality of virtual computers on the target physical server based on the computer resource amount allocated to the target physical server. 請求項５に記載のコンテナ管理方法であって、  The container management method according to claim 5,
前記管理サーバは、前記計算機システムに前記物理サーバを追加する物理サーバ追加部を有し、  The management server has a physical server addition unit for adding the physical server to the computer system,
前記第４のステップは、  The fourth step includes
前記コンテナ制御部が、前記対象物理サーバの空きリソース量を算出するステップと、  The container control unit calculating a free resource amount of the target physical server;
前記コンテナ制御部が、前記対象物理サーバの空きリソース量が前記第１の要求リソース量より大きいか否かを判定するステップと、を含み、  The container control unit determining whether or not the free resource amount of the target physical server is larger than the first requested resource amount,
前記第５のステップは、前記対象物理サーバの空きリソース量が前記第１の要求リソース量より大きいと判定された場合、前記コンテナ制御部が、前記リソース調整処理を実行するステップを含み、  The fifth step includes a step in which the container control unit executes the resource adjustment process when it is determined that an available resource amount of the target physical server is larger than the first requested resource amount,
前記コンテナ管理方法は、  The container management method is:
前記対象物理サーバの空きリソース量が前記第１の要求リソース量以下であると判定された場合、前記コンテナ制御部が、前記物理サーバ追加部と連携して、前記計算機システムに新規物理サーバを追加する物理サーバの追加処理を実行する第６のステップと、  When it is determined that the amount of free resources of the target physical server is less than or equal to the first required resource amount, the container control unit adds a new physical server to the computer system in cooperation with the physical server addition unit A sixth step of executing a physical server addition process;
前記コンテナ制御部が、前記新規物理サーバ上に前記新規コンテナを追加する第７のステップと、を含むことを特徴とするコンテナ管理方法。  A container management method comprising: a seventh step of adding the new container on the new physical server. 請求項７に記載のコンテナ管理方法であって、  The container management method according to claim 7,
前記第６のステップは、  The sixth step includes
前記コンテナ制御部が、前記物理サーバ追加部に前記新規物理サーバの追加を指示するステップと、  The container control unit instructing the physical server adding unit to add the new physical server;
前記コンテナ制御部が、前記候補仮想計算機を前記新規物理サーバに移動させる必要があるか否かを判定するステップと、  Determining whether the container control unit needs to move the candidate virtual machine to the new physical server;
前記コンテナ制御部が、前記候補仮想計算機を前記新規物理サーバに移動させる必要があると判定された場合、前記候補仮想計算機を前記新規物理サーバに移動し、前記新規物理サーバに移動した前記候補仮想計算機に前記新規コンテナを追加するステップと、  When it is determined that the container control unit needs to move the candidate virtual machine to the new physical server, the candidate virtual machine is moved to the new physical server and moved to the new physical server. Adding the new container to the computer;
前記コンテナ制御部が、前記候補仮想計算機を前記新規物理サーバに移動させる必要がないと判定された場合、前記新規物理サーバに新規仮想計算機を追加し、前記新規仮想計算機に前記新規コンテナを追加するステップと、を含むことを特徴とするコンテナ管理方法。  When it is determined that the candidate virtual machine does not need to be moved to the new physical server, the container control unit adds a new virtual machine to the new physical server and adds the new container to the new virtual machine And a container management method.
JP2015157244A 2015-08-07 2015-08-07 Computer system and container management method Active JP6374845B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015157244A JP6374845B2 (en) 2015-08-07 2015-08-07 Computer system and container management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015157244A JP6374845B2 (en) 2015-08-07 2015-08-07 Computer system and container management method

Publications (2)

Publication Number Publication Date
JP2017037403A JP2017037403A (en) 2017-02-16
JP6374845B2 true JP6374845B2 (en) 2018-08-15

Family

ID=58049593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015157244A Active JP6374845B2 (en) 2015-08-07 2015-08-07 Computer system and container management method

Country Status (1)

Country Link
JP (1) JP6374845B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108631A1 (en) * 2020-11-23 2022-05-27 Google Llc Coordinated container scheduling for improved resource allocation in virtual computing environment

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7221585B2 (en) * 2017-07-20 2023-02-14 富士通株式会社 Information processing device, information processing system, information processing device control method, and information processing device control program
EP3688595A1 (en) * 2017-09-30 2020-08-05 Oracle International Corporation Binding, in an api registry, backend services endpoints to api functions
CN111124660B (en) * 2018-11-01 2024-01-05 百度在线网络技术（北京）有限公司 Method and device for allocating idle resources in virtual machine
JP7230603B2 (en) * 2019-03-18 2023-03-01 日本電気株式会社 Container management device, method and program
WO2023238224A1 (en) * 2022-06-07 2023-12-14 日本電信電話株式会社 Virtual computation resource deployment device, program, and virtual computation resource deployment method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100274947A1 (en) * 2009-04-27 2010-10-28 Hitachi, Ltd. Memory management method, memory management program, and memory management device
US9973566B2 (en) * 2013-11-17 2018-05-15 Nimbix, Inc. Dynamic creation and execution of containerized applications in cloud computing
JP2014115905A (en) * 2012-12-11 2014-06-26 Canon Marketing Japan Inc Information processing apparatus, information processing method, and program
US9495195B2 (en) * 2013-10-04 2016-11-15 Hitachi, Ltd. Resource migration between virtual containers based on utilization rate and performance degradation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108631A1 (en) * 2020-11-23 2022-05-27 Google Llc Coordinated container scheduling for improved resource allocation in virtual computing environment
US11740921B2 (en) 2020-11-23 2023-08-29 Google Llc Coordinated container scheduling for improved resource allocation in virtual computing environment

Also Published As

Publication number Publication date
JP2017037403A (en) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6374845B2 (en) Computer system and container management method
US9588789B2 (en) Management apparatus and workload distribution management method
JP5544967B2 (en) Virtual machine management program and virtual machine management apparatus
CN103399778B (en) A kind of virtual machine online bulk migration method and apparatus
US8782235B2 (en) Resource migration system and resource migration method
JP6741941B2 (en) Virtual machine management program, virtual machine management method, and virtual machine management apparatus
JP6293683B2 (en) Computer system and coping method for performance failure of computer system
US10248460B2 (en) Storage management computer
US20160196157A1 (en) Information processing system, management device, and method of controlling information processing system
Raj et al. Enhancement of hadoop clusters with virtualization using the capacity scheduler
US20170310564A1 (en) Allocating physical nodes for processes in an execution plan
US20160182403A1 (en) Automatic creation of affinity-type rules for resources in distributed computer systems
EP2975518A1 (en) Information processing system and method for relocating application
JP5640844B2 (en) Virtual computer control program, computer, and virtual computer control method
CN110750330A (en) Virtual machine creating method, system, electronic equipment and storage medium
JP6511025B2 (en) Resource allocation apparatus, resource allocation method and resource allocation program
JP7176633B2 (en) VIRTUALIZATION BASE CONTROL DEVICE, VIRTUALIZATION BASE CONTROL METHOD AND VIRTUALIZATION BASE CONTROL PROGRAM
JP2015022385A (en) Virtual system and method for controlling virtual system
JP6157719B2 (en) calculator
US11762704B2 (en) Resource allocation device, resource management system, and resource allocation program
WO2016092667A1 (en) Computer and interrupt control method
CN113821157A (en) Local disk mounting method, device, equipment and storage medium
JP6102302B2 (en) System automatic configuration apparatus, information processing system, system automatic configuration method, and system automatic configuration program
JP6241215B2 (en) Processing distribution method, processing distribution program, and processing distribution system
US11119815B2 (en) Management apparatus, control method of calculation resources, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180720

R150 Certificate of patent or registration of utility model

Ref document number: 6374845

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150