WO2016088163A1 - 計算機システム及びリソース管理方法 - Google Patents

計算機システム及びリソース管理方法 Download PDF

Info

Publication number
WO2016088163A1
WO2016088163A1 PCT/JP2014/081703 JP2014081703W WO2016088163A1 WO 2016088163 A1 WO2016088163 A1 WO 2016088163A1 JP 2014081703 W JP2014081703 W JP 2014081703W WO 2016088163 A1 WO2016088163 A1 WO 2016088163A1
Authority
WO
WIPO (PCT)
Prior art keywords
cluster
server
virtual
management server
integrated
Prior art date
Application number
PCT/JP2014/081703
Other languages
English (en)
French (fr)
Inventor
弘二郎 中山
知弘 森村
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2014/081703 priority Critical patent/WO2016088163A1/ja
Publication of WO2016088163A1 publication Critical patent/WO2016088163A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]

Definitions

  • the present invention relates to a computer system and a resource management method for managing resource allocation in a virtual environment.
  • Virtualization technology is technology that abstracts computing resources such as servers.
  • a plurality of abstracted servers (hereinafter referred to as virtual servers) can be operated on one physical server.
  • virtualization technology it becomes possible to operate a large number of virtual servers on a small number of physical servers, and cost reduction by server consolidation can be expected.
  • server aggregation rate is increased too much, a large number of virtual servers compete for computing resources, which may cause performance degradation due to resource shortage. Therefore, in the operation management of the virtual environment, it is an important issue how to achieve both cost reduction and performance stability by improving the aggregation rate.
  • Patent Document 1 discloses a technique for ensuring performance stability in a virtualized environment and improving the aggregation rate.
  • a virtual server operating on a certain physical server is transferred to another physical server using live migration technology when a load is unbalanced among the physical servers. Move to. As a result, the load is leveled, and the risk of performance degradation is reduced.
  • a group of a plurality of physical servers is called a cluster, and a server that manages the cluster (hereinafter referred to as a cluster management server) monitors the operating status of each server in the cluster, Decide where to move the appropriate virtual server.
  • a cluster management server monitors the operating status of each server in the cluster, Decide where to move the appropriate virtual server.
  • the load on the cluster management server increases as the number of physical servers included in the cluster increases. Therefore, it is difficult to apply the method of Patent Document 1 in a system configured with a large number of physical servers.
  • an object of the present invention is to realize both of ensuring performance stability and improving the aggregation rate in a virtual environment.
  • the present invention provides a group including a plurality of physical servers that operate one or more virtual servers as one cluster, a cluster having two or more groups, and each physical server belonging to each cluster.
  • Two or more cluster management servers that each manage, and an integrated cluster management server that integrates and manages each cluster management server by transmitting and receiving information to and from each cluster management server, and each cluster management server includes: Operation information of virtual servers operating on each physical server belonging to each cluster is collected and transferred to the integrated cluster management server, and the integrated cluster management server collects virtual server operation information collected by each cluster management server. Analyze and determine the cluster where the virtual server that satisfies the migration condition is placed based on the analysis result It is characterized in.
  • FIG. 1 is an overall configuration diagram showing an embodiment of a computer system according to the present invention. It is a hardware block diagram of a computer. It is a software block diagram of an integrated cluster management server. It is a block diagram of VM operation information.
  • FIG. 4 is a configuration diagram of data managed by the integrated cluster management server, where (A) is a configuration diagram of a VM placement policy, (B) is a configuration diagram of a VM migration plan, and (C) is a configuration of a host migration plan.
  • FIG. FIG. 3 is a configuration diagram of information managed by the integrated cluster management server, where (A) is a configuration diagram of cluster management information, (B) is a configuration diagram of host management information, and (C) is a configuration of VM management information.
  • FIG. It is a block diagram of cluster operation information. It is a flowchart for demonstrating the management method in a short cycle by an integrated cluster management server. It is a flowchart for demonstrating the management method in a long cycle by an integrated cluster management
  • FIG. 1 is an overall configuration diagram showing an embodiment of a computer system according to the present invention.
  • the computer system includes an integrated cluster management server 100, a plurality of cluster management servers 110, 120, and 130 and a plurality of clusters 111, 121, and 131.
  • Each of the clusters 111, 121, and 131 includes a plurality of clusters.
  • Physical servers hereinafter referred to as hosts 112, 113, 122, 123, 132, 133.
  • the integrated cluster management server 100 is connected to each cluster management server 110, 120, 130 via a network, the cluster management server 110 is connected to each host 112, 113 via a network, and the cluster management server 120 is connected to the network
  • the cluster management server 130 is connected to the hosts 132 and 133 via the network.
  • Each cluster 111, 121, 131 is a group of two or more hosts for operating a virtual server. On each host, zero or one or more virtual servers VM (Virtual Machine) are operating.
  • the cluster management server 110 manages the hosts 112 and 113 that belong to the cluster 111
  • the cluster management server 120 manages the hosts 122 and 123 that belong to the cluster 121
  • the cluster management server 130 belongs to the cluster 131.
  • Each host 132, 133 is managed.
  • the cluster management servers 110, 120, and 130 may perform cluster management by the method described in Patent Document 1, for example.
  • each cluster management server 110, 120, 130 collects operating information of the virtual server VM running on each host belonging to each cluster 111, 121, 131, and integrates the collected operating information of the virtual server VM. Forward to 100.
  • the integrated cluster management server 100 transmits and receives information to and from the cluster management servers 110, 120, and 130 via the network, and manages the cluster management servers 110, 120, and 130 in an integrated manner.
  • the integrated cluster management server 100 analyzes the operation information of the virtual server VM collected by the cluster management servers 110, 120, and 130, and determines a cluster as a placement destination of the virtual server VM that satisfies the movement condition based on the analysis result. To do.
  • FIG. 2 is a hardware configuration diagram of the computer.
  • the computer 200 is configured as hardware of the integrated cluster management server 100, cluster management servers 110, 120, 130, hosts 112, 113, 122, 123, 132, 133.
  • the integrated cluster management server 100 and the cluster management servers 110, 120, and 130 may be executed on the same computer or may be executed on different computers.
  • the computer 200 includes a CPU (Central Processing Unit) 201, a memory 202, a storage device 203 such as a hard disk and an SSD (Solid State Drive), an input device 204 such as a keyboard and a mouse, an output device 205 such as a display, A communication device 206 is provided, and each unit is connected to each other via a bus.
  • the computer 200 is connected to the network 207 via the communication device 206.
  • the storage device 204 stores software such as various data and programs described later.
  • the CPU 201 executes various programs called on the memory 202, thereby realizing various processes described later.
  • FIG. 3 is a software configuration diagram of the integrated cluster management server.
  • the storage device 203 of the integrated cluster management server 100 stores, as programs, a VM operation information acquisition unit 300, a VM migration plan formulation unit 301, a VM migration execution unit 302, a required resource amount estimation unit 303, A cluster configuration change plan formulation unit 304, a cluster configuration change execution unit 305, a cluster operation information acquisition unit 306, and a resource excess / deficiency determination unit 308 are stored.
  • the storage device 203 stores a VM placement policy 311, cluster management information 312, host management information 313, and VM management information 314 as data.
  • FIG. 4 is a configuration diagram of VM operation information.
  • the VM operation information 400 is information obtained by the VM operation information acquisition unit 300, and includes a Time field 401, a VM01 field 402, a VM03 field 403,.
  • the VM operation information acquisition unit 300 operates on each host belonging to each cluster 111, 121, 131 among the operation information collected from each cluster management server 110, 120, 130.
  • Information indicating the operating time of every hour of the virtual server VM is recorded.
  • the VM01 field 402 and the VM03 field 403 have a CPU subfield and a Mem subfield, respectively.
  • the CPU resource amount (GHz) and the memory resource amount (GB) used in the time zone recorded in the record of the Time field 401 as the operation information of the virtual server VM whose identifier ID is “VM01”. ) Is recorded.
  • the VM operation information 400 records information for one week of all virtual servers VMs operating on the hosts belonging to the clusters 111, 121, and 131.
  • FIG. 5 is a configuration diagram of data managed by the integrated cluster management server.
  • the VM placement policy 311 is a table for the VM migration plan formulation unit 301 to refer to, and includes a rule field 501, a condition field 502, and a placement destination field 503.
  • each record of the rule field 501 an identifier indicating one rule among a plurality of rules is recorded.
  • information regarding a condition for applying each rule is recorded.
  • an expression including a variable and an operator is used as information regarding a condition for applying each rule.
  • the variable for example, CPU_r representing the range of CPU usage is used, and CPU_V representing the polarity of CPU usage is used.
  • the placement destination field 503 information indicating the identifier of the cluster that is the placement destination of the virtual server VM that satisfies each condition is recorded.
  • the VM migration plan 510 determines that the VM serving as the placement destination of the virtual server VM that satisfies the rule conditions defined in the VM placement policy 311 is different from the cluster indicating the current placement destination. It is information formulated by the migration plan formulation unit 301, and includes a target VM field 511, a migration source field 512, and a migration destination field 513.
  • each record of the target VM field 511 an identifier of a virtual server VM that is a virtual server VM that satisfies the rules defined in the VM placement policy 311 and that is a migration target is recorded.
  • a cluster identifier indicating the current location of the virtual server VM to be migrated is recorded.
  • a cluster identifier indicating the movement destination after the movement of the virtual server VM that satisfies the rule conditions defined in the VM arrangement policy 311 is recorded.
  • the host migration plan 520 formulates a cluster configuration change plan when there is a shortage of resources in the cluster indicating the placement destination after the migration of the virtual server VM that satisfies the rule conditions defined in the VM placement policy 311.
  • This information is formulated by the section 304, and includes a target host field 521, a source field 522, and a destination field 523.
  • each record of the target host field 521 an identifier of the virtual server VM running on the migration target host is recorded.
  • an identifier of a cluster indicating an arrangement destination (migration source) of the migration target host before migration is recorded.
  • a cluster identifier indicating the arrangement destination (movement destination) of the movement target host after movement is recorded.
  • FIG. 6 is a configuration diagram of information managed by the integrated cluster management server.
  • cluster management information 312 is information for managing the clusters 111, 121, and 131 that are the management targets of the integrated cluster management server 100, and includes a cluster field 601, a capacity field 602, The table includes a required resource amount field 603 and an intra-cluster load leveling setting field 604.
  • the capacity field 602 includes a CPU subfield and a Mem subfield.
  • the total value of the resource amount possessed by all the hosts belonging to each cluster and the total value of the CPU resource amount (GHz) is recorded, and Mem in the capacity field 602 is recorded.
  • a total value of the resource amount possessed by all the hosts belonging to each cluster and a total value of the memory resource amount (GB) is recorded.
  • the required resource amount field 603 includes a CPU subfield and a Mem subfield.
  • the CPU resource amount (GHz) is recorded as the resource amount required by each cluster, and each cluster is stored in the Mem subfield in the required resource amount field 603.
  • a memory resource amount (GB) is recorded as the required resource amount.
  • the intra-cluster load leveling setting field 604 includes an on / off subfield and an execution interval subfield.
  • the intra-cluster load leveling means that when a load unevenness occurs among the hosts belonging to each cluster, one of the virtual servers VMs operating on the host with a high load is given a low load. This is a process of moving to the host (load leveling process).
  • information indicating whether or not the load leveling process is necessary is displayed as “on” information when the load leveling process is executed in the cluster. When the load leveling process is not executed in the cluster, the information “off” is stored.
  • Each record of the execution interval subfield in the intra-cluster load leveling setting field 604 records information indicating a time interval for executing the load leveling process when executing the load leveling process in the cluster. For example, when “5” is recorded in the execution interval subfield, the load leveling process is executed in the cluster every 5 minutes. If the value of the execution interval subfield is reduced, the load is frequently leveled, so that the performance is stabilized, but the load of the cluster management server is increased. For the on / off subfield value and the execution interval subfield value, preset constants may be used. As will be described later, the on / off subfield value and the execution interval subfield value vary depending on the VM operation information 400 and the load status of the cluster management server. May be changed.
  • host management information 313 is information for managing the hosts 112, 113, 122, 123, 132, 133 belonging to the clusters 111, 121, 131 that are the management targets of the integrated cluster management server 100.
  • the table includes a host field 611, a cluster field 612, a CPU field 613, and a memory (Mem) field 614.
  • each record of the host field 611 an identifier for uniquely identifying one of the hosts 112, 113, 122, 123, 132, and 133 is recorded.
  • an identifier for uniquely identifying the cluster to which the host belongs is recorded.
  • the CPU field 613 information indicating the total amount of CPU resources (CPU 201 resources) held by the host is recorded.
  • the clock frequency of the CPU 201 is expressed in GHz.
  • the memory (Mem) field 614 information indicating the total amount (memory capacity) of memory resources (capacity of the memory 202) held by the host is recorded.
  • the memory capacity is expressed in GB units.
  • the host management information 313 may include other resource amounts such as network bandwidth and storage capacity.
  • VM management information 314 is information for managing the virtual server VM running on the cluster host that is the management target of the integrated cluster management server 100, and includes the VM field 621 and the cluster field. 622, an operation statistics information (CPU) field 623, and an operation statistics information (Mem) field 624.
  • each record of the VM field 621 an identifier for uniquely specifying one virtual server VM among a plurality of virtual servers VM operating on the host of each cluster is recorded.
  • an identifier for uniquely identifying the cluster to which the host on which the virtual server VM operates belongs is recorded. For example, when the virtual server VM with the identifier “VM01” is operating on a host belonging to the cluster # 01, information of “Cluster01” is recorded in the record of the cluster field 622.
  • the operation statistics information (CPU) field 623 includes a range subfield and a polarity subfield.
  • the difference between the maximum value and the minimum value of the operation information (operation information in the CPU 201) of the virtual server VM (maximum value and minimum value of CPU resource usage) Information indicating a difference in values) is recorded.
  • Each record of the polarity subfield in the operation statistical information (CPU) field 623 includes information indicating the intensity of fluctuation of the operation information of the virtual server VM (operation information in the CPU 201) (a value calculated by the following equation 3). ) Is recorded.
  • the operation statistical information (Mem) field 624 includes a range subfield and a polarity subfield.
  • Each record of the range subfield in the operation statistics information (Mem) field 624 includes a difference between the maximum value and the minimum value of the operation information (operation information in the memory 202) of the virtual server VM (the maximum value of the memory resource usage) Information indicating the difference between the minimum values is recorded.
  • Information indicating the difference between the minimum values is recorded in each record of the polarity subfield in the operation statistics information (Mem) field 624.
  • FIG. 7 is a configuration diagram of cluster operation information.
  • the cluster operation information 700 is information acquired from each cluster management server by the cluster operation information acquisition unit 306 accessing the cluster management servers 110, 120, and 130 every hour, and a Time field 701. And a table having a CPU field 702 and a memory (Mem) field 703.
  • each record of the Time field 701 information related to the time when the cluster operation information acquisition unit 306 accesses the cluster management servers 110, 120, and 130 every hour is recorded.
  • each record of the CPU field 702 information indicating the total value of the CPU resource amount recorded in the record of the Time field 701 and used in the entire cluster in the time zone is recorded.
  • each record of the memory (Mem) field 703 information indicating the total value of the memory resource amount recorded in the record of the Time field 701 and used in the entire cluster in the time zone is recorded.
  • FIG. 8 is a flowchart for explaining a management method in a short cycle by the integrated cluster management server. This processing is started when the CPU 201 of the integrated cluster management server 100 activates the cluster operation information acquisition unit 306 for all clusters.
  • the cluster operation information acquisition unit 306 first accesses the cluster management server 110 and acquires the cluster operation information 900 of the cluster 111 to be managed by the cluster management server 110 (S1). That is, the cluster operation information acquisition unit 306 acquires the cluster operation information 700 for each hour of the entire cluster 111 from the cluster management server 110 as the operation information for each cluster.
  • the required resource estimation unit 303 of the integrated cluster management server 100 estimates the amount of resources required for the cluster 111 using the cluster operation information 700 acquired by the cluster operation information acquisition unit 306 (S2).
  • the required resource amount can be calculated using, for example, Formula 1.
  • E represents the average of the used resource amount
  • S represents the standard deviation of the used resource amount.
  • E and S can be easily calculated using the cluster operation information 700 for each hour of the entire cluster 111 acquired in step S1.
  • a is a parameter that represents a safety factor. If a is large, the required resource amount is estimated to be large, so that the performance is stabilized, but the host aggregation rate is lowered. On the other hand, if the value of a is small, the required resource amount is estimated to be small, so that the host aggregation rate is improved, but the performance stability is lowered.
  • a predetermined constant may be used, or a value set by a system administrator according to requirements may be used.
  • the required resource estimation unit 303 records the calculated required resource amount in the required resource amount field 603 of the cluster management information 312. At this time, if a value is already recorded in the required resource amount field 603 of the cluster management information 312, the required resource estimation unit 303 overwrites this value with the value calculated in step S2.
  • the resource excess / deficiency determination unit 308 compares the required resource amount calculated by the required resource estimation unit 303 with the value (resource amount) recorded in the capacity field 602 of the cluster management information 312, and determines the resource excess / deficiency. Insufficient judgment is performed (S3). At this time, the resource excess / deficiency determination unit 308 confirms that the value (resource amount) recorded in the capacity field 602 is larger than the calculated required resource amount. On the other hand, if the value (resource amount) recorded in the capacity field 702 is smaller than the calculated required resource amount, the resource excess / deficiency determination unit 308 outputs a warning message to the log and sends an email to the administrator. Execute processing such as reporting.
  • the resource excess / deficiency determination unit 308 reviews the value of the intra-cluster load leveling setting field 604 in the cluster management information 312, changes this value as necessary (S4), and then performs the processing in this routine. To do.
  • the resource excess / deficiency determination unit 308 reviews the value of the intra-cluster load leveling setting field 604 in the cluster management information 312, changes this value as necessary (S4), and then performs the processing in this routine. To do.
  • the operation information of the cluster 111 acquired in step S1 when the fluctuation range of the used resource amount is small, it is determined that the load is sufficiently leveled, and the intra-cluster load leveling in the cluster management information 312 is determined.
  • the value of the on / off subfield in the activation setting field 604 may be changed from “on” to “off”.
  • step S1 when the intensity of the used resource amount is small, it is determined that the performance is stable even if the load leveling execution interval is long.
  • the value (execution interval) of the execution interval subfield in the internal load leveling setting field 604 may be increased.
  • the execution interval subfield in the intra-cluster load leveling setting field 604 in the cluster management information 312 may be reduced.
  • the execution interval may be determined in consideration of the load status of the cluster management server 110 in addition to the intensity of fluctuations in the amount of used resources.
  • steps S1 to S4 are executed similarly for the clusters 121 and 131.
  • FIG. 9 is a flowchart for explaining a management method in a long cycle by the integrated cluster management server. This process is started when the CPU 201 of the integrated cluster management server 100 activates the VM operation information acquisition unit 300 for hosts belonging to all the clusters. For example, at a predetermined timing such as once a week. Performed regularly.
  • the VM operation information acquisition unit 300 of the integrated cluster management server 100 accesses the cluster management server 110, for example, as operation information of all virtual servers VMs operating on the hosts 112 and 113 belonging to the cluster 111.
  • the VM operation information 400 for a week is acquired (S11).
  • the VM operation information acquisition unit 300 performs statistical processing on the acquired VM operation information 400 for one week, and stores the resulting statistical information in the VM management information 314 (S12).
  • the range represents a range (variation range) of values taken by the operation information, and can be calculated by obtaining a difference between the maximum value and the minimum value of the operation information.
  • the maximum value of the usage amount of the CPU resource is “0.50 (GHz)” and the minimum value is “0.30 (GHz).
  • the CPU usage range of the virtual server VM (VM01) is" 0.20 (GHz) ".
  • the polarity V represents the intensity of the fluctuation of the operation information, and can be calculated using Equation 2 and Equation 3.
  • the VM migration plan formulation unit 301 of the integrated cluster management server 100 creates a VM allocation plan based on a predetermined VM allocation policy 311 (S13).
  • the VM migration plan formulation unit 301 refers to the VM management information 314 for all virtual servers VM, and the range or polarity calculated for each virtual server VM is recorded in the rule field 501 of the VM placement policy 311. It is determined whether or not the condition of any one of the plurality of rules is satisfied, and the placement destination of the virtual server VM (determination target virtual server VM) that has obtained a positive judgment result is the current placement destination. If it is different from the cluster (the cluster recorded in the cluster field 622 of the VM management information 314), the VM migration plan 510 is created.
  • the current placement destination of the virtual server VM is the cluster 111 of # 01
  • the range or polarity calculated for the virtual server VM is # 03 of the VM placement policy 311.
  • a VM migration plan 510 is created in which the migration destination cluster is the cluster 131 of # 03.
  • the required resource estimation unit 303 of the integrated cluster management server 100 estimates the required resource amount in the cluster that is the migration destination of the virtual server VM based on the VM migration plan 510 created in step S13 (S14). At this time, the required resource estimation unit 303 calculates the required resource amount C ′ in the cluster that is the migration destination of the virtual server VM, using, for example, Equation 4.
  • the VM migration plan formulation unit 301 of the integrated cluster management server 100 uses the required resource amount calculated in step S14 to determine whether the cluster that is the migration destination of the virtual server VM has sufficient resources. Is determined (S15). At this time, the VM migration plan formulation unit 301 compares the resource amount recorded in the capacity field 602 in the cluster management information 312 with the required resource amount calculated in step S14, and the required resource amount is determined based on the capacity field. When the amount of resources recorded in the field 602 is exceeded, it is determined that the resource is insufficient, and when the required amount of resources is smaller than the amount of resources recorded in the capacity field 602, it is determined that the resources are sufficient.
  • the VM migration plan formulation unit 301 executes the process of step S15 for all the clusters that are the migration destinations of the virtual server VM, and if there is even one resource shortage cluster, the process moves to the process of step S16. If there is no cluster that has insufficient resources, the process proceeds to step S19.
  • the cluster configuration change plan formulation unit 304 of the integrated cluster management server 100 formulates a cluster configuration change plan and creates a cluster configuration change plan (S16).
  • the cluster configuration change is a process of separating a host from a cluster having sufficient resources and adding the separated host to a cluster having insufficient resources in order to secure a necessary amount of resources.
  • the cluster configuration change plan formulation unit 304 when creating the cluster configuration change plan, the cluster configuration change plan formulation unit 304, when the virtual server VM moves, the resource amount of the cluster 121 of # 02, which is the migration destination of the virtual server VM, is insufficient. It is determined whether or not a host belonging to another cluster (# 01 cluster 111 or # 03 cluster 131) can be disconnected, and a cluster configuration change plan is created according to the determination result.
  • the cluster configuration change plan formulation unit 304 determines whether or not the cluster configuration can be changed based on the created cluster configuration change proposal (S17). At this time, the cluster configuration change plan formulation unit 304 determines the resource amount held by the host to be separated from the resource amount recorded in the capacity field 602 of the cluster management information 312 (hereinafter referred to as capacity). The subtracted value (the resource amount, which is referred to as the capacity after moving the host) is compared with the value recorded in the required resource amount field 603 of the cluster management information 312 (the required resource amount). Is larger than the required resource amount, it is determined that the cluster configuration can be changed, that is, the host can be disconnected, and the host migration plan 520 is created. On the other hand, if the capacity after moving the host is smaller than the required resource amount, the cluster configuration change plan formulation unit 304 determines that the cluster configuration cannot be changed, that is, the host cannot be disconnected.
  • the host on which the virtual server VM (VM07) is operating is the target of detachment, and the current placement destination of this host is the cluster 111 of # 01. If the capacity after host movement calculated for # 2 as the host migration destination is larger than the required resource amount, a host migration plan 520 is created in which the host migration destination is the cluster 121 of # 02. .
  • the cluster configuration change execution unit 305 of the integrated cluster management server 100 executes the cluster configuration change based on the host migration plan 520 created in step S17 (S18). .
  • the cluster configuration change is a process of detaching the detachable host from the migration source cluster based on the host migration plan 520 and adding the detached host to the migration destination cluster.
  • This cluster configuration change can be executed by issuing an instruction from the integrated cluster management server 100 to the cluster management server that manages the migration source cluster and the cluster management server that manages the migration destination cluster.
  • step S17 if it is determined in step S17 that the cluster configuration cannot be changed, the shortage of resources associated with the migration of the virtual server VM cannot be resolved, so the cluster configuration change execution unit 305 outputs a warning message or the like to the log (S20). Thereafter, the processing in this routine is terminated.
  • the VM migration execution unit 302 of the integrated cluster management server 100 determines that the migration target virtual server VM is based on the VM migration plan 510 and that the resources are sufficient. (S19). In addition, when it is determined in step S15 that the resources are insufficient, and the cluster configuration change is executed so that the resources are sufficient for the migration destination cluster, the VM migration execution unit 302 selects the migration target virtual server VM. The cluster is moved to the destination cluster after the cluster configuration change is performed so that the resources are sufficient. The VM migration is processing for migrating the virtual server VM to be migrated from the migration source cluster to the migration destination cluster based on the VM migration plan 510. The VM migration can be executed by issuing an instruction from the integrated cluster management server 100 to the cluster management server that manages the migration source cluster and the cluster management server that manages the migration destination cluster.
  • each of the cluster management servers 110, 120, and 130 collects the operation information of the virtual server VM that operates on each host belonging to each of the clusters 111, 121, and 131, and the collected operation information of the virtual server is integrated into the integrated cluster. Transfer to the management server 100.
  • the integrated cluster management server 100 analyzes the operation information of the virtual server VM collected by the cluster management servers 110, 120, and 130, and determines a cluster as a placement destination of the virtual server VM that satisfies the movement condition based on the analysis result. To do.
  • the integrated cluster management server 100 manages the clusters 111, 121, and 131 by dividing the clusters 111, 121, and 131 into two or more groups according to the load fluctuation range of the virtual server VM running on each host or the load intensity, For each virtual server operating on each host based on the operating information of the virtual server VM operating on each host, calculate at least one of the fluctuation range of the virtual server load or the intensity of the load as an analysis result, Depending on the calculated value, a cluster belonging to any one group is determined as a placement destination of the virtual server that satisfies the movement condition.
  • the integrated cluster management server 100 manages the resources of each cluster 111, 121, 131 based on the configuration information of each host belonging to each cluster 111, 121, 131, and for each virtual server running on each host, When assuming that the virtual server is placed in the determined placement destination, it was determined whether the resources required in the determined placement destination cluster are sufficient, and a positive result was obtained in this determination. The virtual server is placed in the determined placement destination cluster.
  • the integrated cluster management server 100 determines whether or not the resources required in the determined placement destination cluster are sufficient, and if the determination results in a negative result, the integrated cluster management server 100 uses the determined placement destination cluster. Create a cluster configuration change plan that meets the required resources, and based on the configuration information of each host belonging to each of the clusters 111, 121, and 131, determine the cluster of the destination cluster that has been determined according to the prepared cluster configuration change plan.
  • the configuration change of the determined placement destination cluster is executed according to the established cluster configuration change plan, and the configuration change A virtual server that was determined to have insufficient resources in the determined cluster at the placement destination before being executed is placed in the placement destination class for which the configuration change was executed To be placed in.
  • the cluster that is the placement destination of the virtual server VM is determined, so that optimum management is performed for each cluster (appropriate resource usage estimation and intra-cluster load leveling settings). This makes it possible to stabilize the performance or increase the aggregation rate.
  • the method of analyzing the CPU resource and the memory resource and optimizing the VM arrangement from the analysis result has been described.
  • the analysis of other resources such as the network bandwidth and the storage capacity can be performed by the same method.
  • the VM arrangement may be optimized.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-described configurations, functions, etc. may be realized by hardware by designing a part or all of them, for example, by an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files that realize each function is stored in memory, a hard disk, a recording device such as an SSD (Solid State Drive), an IC (Integrated Circuit) card, an SD (Secure Digital) memory card, a DVD ( It can be recorded on a recording medium such as Digital Versatile Disc).
  • 100 integrated cluster management server 110, 120, 130 cluster management server, 111, 121, 131 cluster, 112, 113, 122, 123, 132, 133 host, 200 computer, 201 CPU, 202 memory, 203 storage device, 204 input Device, 205 output device, 206 communication device, 300 VM operation information acquisition unit, 301 VM migration plan formulation unit, 302 VM migration execution unit, 303 required resource estimation unit, 304 cluster configuration change plan formulation unit, 305 cluster configuration change execution unit , 306 Cluster operation information acquisition unit, 308 Resource excess / deficiency determination unit, 311 VM allocation policy, 312 Cluster management information, 313 Host management information, 314 VM management information, 400 VM operation information, 700 class Operating information.

Abstract

　１以上の仮想サーバを稼働させる複数の物理サーバを含むグループを１クラスタとして、前記グループを２以上有するクラスタと、各クラスタに属する各物理サーバをそれぞれ管理する２以上のクラスタ管理サーバと、各クラスタ管理サーバと情報の送受信を行って各クラスタ管理サーバを統合して管理する統合クラスタ管理サーバとを有し、各クラスタ管理サーバは、各クラスタに属する各物理サーバで稼働する仮想サーバの稼働情報を収集して統合クラスタ管理サーバに転送し、統合クラスタ管理サーバは、各クラスタ管理サーバの収集による仮想サーバの稼働情報を分析し、当該分析結果を基に移動条件を満たす仮想サーバの配置先となるクラスタを決定する。

Description

計算機システム及びリソース管理方法
　本発明は、仮想化環境におけるリソース配置を管理するための計算機システム及びリソース管理方法に関するものである。
　近年、情報システムにおいて仮想化技術の利用が一般的となっている。仮想化技術とは、サーバなどのコンピューティングリソースを抽象化する技術である。仮想化技術を利用することで、１台の物理サーバ上で複数の抽象化されたサーバ（以下、仮想サーバと書く）を稼働させることができる。仮想化技術を利用することで、少ない物理サーバ上で多数の仮想サーバを稼働させることが可能となり、サーバ集約によるコスト削減が期待できる。しかし一方で、サーバ集約率を上げすぎると、多数の仮想サーバでコンピューティングリソースを奪い合うことになり、リソース不足による性能劣化を引き起こす可能性がある。そのため、仮想化環境の運用管理においては、集約率向上によるコスト削減と性能安定性の確保をいかに両立させるかが重要な課題となる。
　仮想化環境における性能安定性の確保と集約率向上の両立を目的とした技術として、例えば特許文献１がある。特許文献１では、複数の物理サーバから構成されるシステムにおいて、物理サーバ間で負荷に偏りが生じた場合に、ライブマイグレーション技術を用いて、ある物理サーバ上で稼働する仮想サーバを他の物理サーバへと移動させる。これにより負荷が平準化されるため、性能劣化が発生するリスクが軽減する。
米国特許第8095929号
　近年の情報システムは大規模化が進んでおり、特にクラウドサービスの提供者などにおいては、稼働する仮想サーバの数が１万台を超えることもある。このような大規模環境においては、従来実施していたような仮想化環境の運用管理をそのまま適用することは困難である。
　例えば、特許文献１に記載の方法では、複数の物理サーバのグループをクラスタと呼び、クラスタを管理するサーバ（以下、クラスタ管理サーバと書く）が、クラスタ内の各サーバの稼働状況を監視し、適切な仮想サーバの移動先を決定する。このような構成においては、クラスタに含まれる物理サーバの数の増加に伴いクラスタ管理サーバの負荷が増大する。そのため、大量の物理サーバで構成さされるようなシステムにおいては、特許文献１の方法を適用することは困難である。
　そこで本発明は、仮想化環境において、性能安定性の確保と集約率向上の両立を実現することを目的とする。
　前記課題を解決するために、本発明は、１以上の仮想サーバを稼働させる複数の物理サーバを含むグループを１クラスタとして、前記グループを２以上有するクラスタと、前記各クラスタに属する各物理サーバをそれぞれ管理する２以上のクラスタ管理サーバと、前記各クラスタ管理サーバと情報の送受信を行って前記各クラスタ管理サーバを統合して管理する統合クラスタ管理サーバとを有し、前記各クラスタ管理サーバは、前記各クラスタに属する各物理サーバで稼働する仮想サーバの稼働情報を収集して前記統合クラスタ管理サーバに転送し、前記統合クラスタ管理サーバは、前記各クラスタ管理サーバの収集による仮想サーバの稼働情報を分析し、当該分析結果を基に移動条件を満たす仮想サーバの配置先となるクラスタを決定することを特徴とする。
　本発明によれば、仮想化環境において、性能安定性と集約率向上を両立させることができる。
本発明に係る計算機システムの一実施例を示す全体構成図である。 コンピュータのハードウェア構成図である。 統合クラスタ管理サーバのソフトウェア構成図である。 ＶＭ稼働情報の構成図である。 統合クラスタ管理サーバで管理されるデータの構成図であって、（Ａ）は、ＶＭ配置ポリシーの構成図、（Ｂ）は、ＶＭ移動案の構成図、（Ｃ）は、ホスト移動案の構成図である。 統合クラスタ管理サーバで管理される情報の構成図であって、（Ａ）は、クラスタ管理情報の構成図、（Ｂ）は、ホスト管理情報の構成図、（Ｃ）は、ＶＭ管理情報の構成図である。 クラスタ稼働情報の構成図である。 統合クラスタ管理サーバによる短サイクルでの管理方法を説明するためのフローチャートである。 統合クラスタ管理サーバによる長いサイクルでの管理方法を説明するためのフローチャートである。
　以下、図面を参照しながら本発明を実施するための実施例について説明する。
　図１は、本発明に係る計算機システムの一実施例を示す全体構成図である。図１において、計算機システムは、統合クラスタ管理サーバ１００と、複数のクラスタ管理サーバ１１０、１２０、１３０と、複数のクラスタ１１１、１２１、１３１から構成され、各クラスタ１１１、１２１、１３１は、それぞれ複数の物理サーバ（以下、ホストと称する。）１１２、１１３、１２２、１２３、１３２、１３３から構成される。統合クラスタ管理サーバ１００は、ネットワークを介して各クラスタ管理サーバ１１０、１２０、１３０に接続され、クラスタ管理サーバ１１０は、ネットワークを介して各ホスト１１２、１１３に接続され、クラスタ管理サーバ１２０は、ネットワークを介して各ホスト１２２、１２３に接続され、クラスタ管理サーバ１３０は、ネットワークを介して各ホスト１３２、１３３に接続される。
　各クラスタ１１１、１２１、１３１は、仮想サーバを稼働させるための２以上のホストのグループである。各ホスト上では、０または１台以上の仮想サーバＶＭ（Virtual　Machine）が稼働している。クラスタ管理サーバ１１０は、クラスタ１１１に属する各ホスト１１２、１１３をそれぞれ管理し、クラスタ管理サーバ１２０は、クラスタ１２１に属する各ホスト１２２、１２３をそれぞれ管理し、クラスタ管理サーバ１３０は、クラスタ１３１に属する各ホスト１３２、１３３をそれぞれ管理する。この際、各クラスタ管理サーバ１１０、１２０、１３０では、例えば特許文献１に記載の方法によりクラスタ管理を行ってもよい。
　また、各クラスタ管理サーバ１１０、１２０、１３０は、各クラスタ１１１、１２１、１３１に属する各ホストで稼働する仮想サーバＶＭの稼働情報を収集し、収集した仮想サーバＶＭの稼働情報を統合クラスタ管理サーバ１００に転送する。統合クラスタ管理サーバ１００は、各クラスタ管理サーバ１１０、１２０、１３０とネットワークを介して情報の送受信を行って、各クラスタ管理サーバ１１０、１２０、１３０を統合して管理する。統合クラスタ管理サーバ１００は、各クラスタ管理サーバ１１０、１２０、１３０の収集による仮想サーバＶＭの稼働情報を分析し、この分析結果を基に移動条件を満たす仮想サーバＶＭの配置先となるクラスタを決定する。
　図２は、コンピュータのハードウェア構成図である。図２において、コンピュータ２００は、統合クラスタ管理サーバ１００、クラスタ管理サーバ１１０、１２０、１３０、ホスト１１２、１１３、１２２、１２３、１３２、１３３のハードウェアとして構成される。なお、統合クラスタ管理サーバ１００とクラスタ管理サーバ１１０、１２０、１３０は、同一のコンピュータ上で実行してもよいし、別々のコンピュータ上で実行してもよい。
　コンピュータ２００は、ＣＰＵ（Central　Processing　Unit）２０１と、メモリ２０２と、ハードディスクやＳＳＤ（Solid　State　Drive）などの記憶装置２０３と、キーボードやマウスなどの入力装置２０４と、ディスプレイなどの出力装置２０５と、通信装置２０６を備えて構成され、各部がバスを介して相互に接続される。コンピュータ２００は、通信装置２０６を介してネットワーク２０７に接続される。記憶装置２０４には、後述する各種データやプログラム等のソフトウェアが格納される。コンピュータ２００では、ＣＰＵ２０１が、メモリ２０２上に呼び出された各種プログラムを実行することで、後述する各種処理が実現される。
　図３は、統合クラスタ管理サーバのソフトウェア構成図である。図３において、統合クラスタ管理サーバ１００の記憶装置２０３には、プログラムとして、ＶＭ稼働情報取得部３００と、ＶＭ移動計画策定部３０１と、ＶＭ移動実行部３０２と、必要リソース量見積り部３０３と、クラスタ構成変更計画策定部３０４と、クラスタ構成変更実行部３０５と、クラスタ稼働情報取得部３０６と、リソース過不足判定部３０８が格納される。また、記憶装置２０３には、データとして、ＶＭ配置ポリシー３１１と、クラスタ管理情報３１２と、ホスト管理情報３１３と、ＶＭ管理情報３１４が格納される。
　図４は、ＶＭ稼働情報の構成図である。図４において、ＶＭ稼働情報４００は、ＶＭ稼働情報取得部３００の取得による情報であって、Ｔｉｍｅフィールド４０１と、ＶＭ０１フィールド４０２と、ＶＭ０３フィールド４０３、・・・等から構成される。
　Ｔｉｍｅフィールド４０１の各レコードには、ＶＭ稼働情報取得部３００が、各クラスタ管理サーバ１１０、１２０、１３０から収集した稼働情報のうち、各クラスタ１１１、１２１、１３１に属する各ホスト上で稼働している仮想サーバＶＭの１時間毎の稼働時間を示す情報が記録される。ＶＭ０１フィールド４０２とＶＭ０３フィールド４０３は、それぞれＣＰＵサブフィールドとＭｅｍサブフィールドを有する。ＶＭ０１フィールド４０２のレコードには、識別子ＩＤが「ＶＭ０１」である仮想サーバＶＭの稼働情報として、Ｔｉｍｅフィールド４０１のレコードに記録された時間帯に使用したＣＰＵリソース量（ＧＨｚ）とメモリリソース量（ＧＢ）が記録される。ＶＭ０３フィールド４０３のレコードには、識別子ＩＤが「ＶＭ０３」である仮想サーバＶＭの稼働情報として、Ｔｉｍｅフィールド４０１のレコードに記録された時間帯に使用したＣＰＵリソース量（ＧＨｚ）とメモリリソース量（ＧＢ）が記録される。この際、ＶＭ稼働情報４００には、各クラスタ１１１、１２１、１３１に属する各ホスト上で稼働している全ての仮想サーバＶＭの１週間分の情報が記録される。
　図５は、統合クラスタ管理サーバで管理されるデータの構成図である。図５（Ａ）において、ＶＭ配置ポリシー３１１は、ＶＭ移動計画策定部３０１が参照するためのテーブルであって、ルールフィールド５０１と、条件フィールド５０２と、配置先フィールド５０３から構成される。
　ルールフィールド５０１の各レコードには、複数のルールの中の１つのルールを示す識別子が記録される。条件フィールド５０２の各レコードには、各ルールを適用するための条件に関する情報が記録される。この際、各ルールを適用するための条件に関する情報として、変数や演算子を含む式が用いられる。変数として、例えば、ＣＰＵ使用量のレンジを表すＣＰＵ_ｒが用いられ、ＣＰＵ使用量のポラティリティを表すＣＰＵ_Ｖが用いられる。配置先フィールド５０３の各レコードには、各条件を満たす仮想サーバＶＭの配置先となるクラスタの識別子を示す情報が記録される。
　図５（Ｂ）において、ＶＭ移動案５１０は、ＶＭ配置ポリシー３１１で規定されたルールの条件を満たす仮想サーバＶＭの配置先となるクラスタが、現在の配置先を示すクラスタと異なる場合に、ＶＭ移動計画策定部３０１が策定する情報であって、対象ＶＭフィールド５１１と、移動元フィールド５１２と、移動先フィールド５１３から構成される。
　対象ＶＭフィールド５１１の各レコードには、ＶＭ配置ポリシー３１１で規定されたルールの条件を満たす仮想サーバＶＭであって、移動対象となる仮想サーバＶＭの識別子が記録される。移動元フィールド５１２の各レコードには、移動対象となる仮想サーバＶＭの現在の配置先を示すクラスタの識別子が記録される。移動先フィールド５１３の各レコードには、ＶＭ配置ポリシー３１１で規定されたルールの条件を満たす仮想サーバＶＭの移動後の配置先を示すクラスタの識別子が記録される。
　図５（Ｃ）において、ホスト移動案５２０は、ＶＭ配置ポリシー３１１で規定されたルールの条件を満たす仮想サーバＶＭの移動後の配置先を示すクラスタでリソースが不足する場合、クラスタ構成変更計画策定部３０４が策定する情報であって、対象ホストフィールド５２１と、移動元フィールド５２２と、移動先フィールド５２３から構成される。
　対象ホストフィールド５２１の各レコードには、移動対象となるホスト上で稼働する仮想サーバＶＭの識別子が記録される。移動元フィールド５２２の各レコードには、移動対象となるホストの移動前の配置先（移動元）を示すクラスタの識別子が記録される。移動先フィールド５２３の各レコードには、移動対象となるホストの移動後の配置先（移動先）を示すクラスタの識別子が記録される。
　図６は、統合クラスタ管理サーバで管理される情報の構成図である。図６（Ａ）において、クラスタ管理情報３１２は、統合クラスタ管理サーバ１００の管理対象であるクラスタ１１１、１２１、１３１を管理するための情報であって、クラスタフィールド６０１と、キャパシティフィールド６０２と、必要リソース量フィールド６０３と、クラスタ内負荷平準化設定フィールド６０４とを有するテーブルで構成される。
　クラスタフィールド６０１の各レコードには、統合クラスタ管理サーバ１００の管理対象であるクラスタ１１１、１２１、１３１を一意に識別するための識別子が記録される。キャパシティフィールド６０２は、ＣＰＵサブフィールドとＭｅｍサブフィールドから構成される。キャパシティフィールド６０２におけるＣＰＵサブフィールドの各レコードには、各クラスタに属するホスト全体が有するリソース量の合計値であって、ＣＰＵリソース量（ＧＨｚ）の合計値が記録され、キャパシティフィールド６０２におけるＭｅｍサブフィールドの各レコードには、各クラスタに属するホスト全体が有するリソース量の合計値であって、メモリリソース量（ＧＢ）の合計値が記録される。必要リソース量フィールド６０３は、ＣＰＵサブフィールドとＭｅｍサブフィールドから構成される。必要リソース量フィールド６０３におけるＣＰＵサブフィールドの各レコードには、各クラスタが必要とするリソース量として、ＣＰＵリソース量（ＧＨｚ）が記録され、必要リソース量フィールド６０３におけるＭｅｍサブフィールドには、各クラスタが必要とするリソース量として、メモリリソース量（ＧＢ）が記録される。
　クラスタ内負荷平準化設定フィールド６０４は、ｏｎ／ｏｆｆサブフィールドと実行間隔サブフィールドから構成される。ここで、クラスタ内負荷平準化とは、各クラスタに属する各ホストの中で負荷の偏りが生じた場合、負荷の高いホストで稼働する仮想サーバＶＭのうちいずれかの仮想サーバＶＭを負荷の低いホストへ移動させる処理（負荷平準化処理）である。クラスタ内負荷平準化設定フィールド６０４におけるｏｎ／ｏｆｆサブフィールドの各レコードには、負荷平準化処理の要否を示す情報として、クラスタ内で負荷平準化処理を実行する場合、「ｏｎ」の情報が記憶され、クラスタ内で負荷平準化処理を実行しない場合、「ｏｆｆ」の情報が記憶される。クラスタ内負荷平準化設定フィールド６０４における実行間隔サブフィールドの各レコードには、クラスタ内で負荷平準化処理を実行する場合、負荷平準化処理を実行する時間間隔を示す情報が記録される。例えば、実行間隔サブフィールドに「５」が記録される場合、５分毎にクラスタ内で負荷平準化処理が実行される。実行間隔サブフィールドの値を小さくすると、頻繁に負荷が平準化されるため、性能は安定化するが、クラスタ管理サーバの負荷は高くなる。ｏｎ／ｏｆｆサブフィールドの値と実行間隔サブフィールドの値は、予め設定された定数を使用しても良いし、後述するように、ＶＭ稼働情報４００やクラスタ管理サーバの負荷の状況に応じて動的に変更しても良い。
　図６（Ｂ）において、ホスト管理情報３１３は、統合クラスタ管理サーバ１００の管理対象であるクラスタ１１１、１２１、１３１に属するホスト１１２、１１３、１２２、１２３、１３２、１３３を管理するための情報であって、ホストフィールド６１１と、クラスタフィールド６１２と、ＣＰＵフィールド６１３と、メモリ（Ｍｅｍ）フィールド６１４とを有するテーブルで構成される。
　ホストフィールド６１１の各レコードには、ホスト１１２、１１３、１２２、１２３、１３２、１３３の中の１つのホストを一意に特定するための識別子が記録される。クラスタフィールド６１２の各レコードには、ホストが属するクラスタを一意に特定するための識別子が記録される。ＣＰＵフィールド６１３の各レコードには、ホストが保持するＣＰＵリソース（ＣＰＵ２０１のリソース）の全体量を示す情報が記録される。ここでは、ＣＰＵ２０１のクロック周波数をＧＨｚ単位で表現している。メモリ（Ｍｅｍ）フィールド６１４の各レコードには、ホストが保持するメモリリソース（メモリ２０２の容量）の全体量（メモリ容量）を示す情報が記録される。ここでは、メモリ容量をＧＢ単位で表現している。なお、ホスト管理情報３１３は、この他にもネットワーク帯域やストレージ容量などのリソース量を含んでも良い。
　図６（Ｃ）において、ＶＭ管理情報３１４は、統合クラスタ管理サーバ１００の管理対象であるクラスタのホスト上で稼働する仮想サーバＶＭを管理するための情報であって、ＶＭフィールド６２１と、クラスタフィールド６２２と、稼働統計情報（ＣＰＵ）フィールド６２３と、稼働統計情報（Ｍｅｍ）フィールド６２４とを有するテーブルで構成される。
　ＶＭフィールド６２１の各レコードには、各クラスタのホスト上で稼働する複数の仮想サーバＶＭの中の１つの仮想サーバＶＭを一意に特定するための識別子が記録される。クラスタフィールド６２２の各レコードには、仮想サーバＶＭが稼働するホストが属するクラスタを一意に特定するための識別子が記録される。例えば、識別子「ＶＭ０１」の仮想サーバＶＭが、＃０１のクラスタに属するホストで稼働している場合、クラスタフィールド６２２のレコードには、「Ｃｌｕｓｔｅｒ０１」の情報が記録される。
　稼働統計情報（ＣＰＵ）フィールド６２３は、レンジサブフィールドとポラティリティサブフィールドから構成される。稼働統計情報（ＣＰＵ）フィールド６２３におけるレンジサブフィールドの各レコードには、仮想サーバＶＭの稼働情報（ＣＰＵ２０１における稼働情報）の最大値と最小値との差（ＣＰＵリソースの使用量の最大値と最小値の差）を示す情報が記録される。稼働統計情報（ＣＰＵ）フィールド６２３におけるポラティリティサブフィールドの各レコードには、仮想サーバＶＭの稼働情報（ＣＰＵ２０１における稼働情報）の変動の激しさを示す情報（後述する数３式で算出される値）が記録される。稼働統計情報（Ｍｅｍ）フィールド６２４は、レンジサブフィールドとポラティリティサブフィールドから構成される。稼働統計情報（Ｍｅｍ）フィールド６２４におけるレンジサブフィールドの各レコードには、仮想サーバＶＭの稼働情報（メモリ２０２における稼働情報）の最大値と最小値との差（メモリリソースの使用量の最大値と最小値の差）を示す情報が記録される。稼働統計情報（Ｍｅｍ）フィールド６２４におけるポラティリティサブフィールドの各レコードには、仮想サーバＶＭの稼働情報（メモリ２０２における稼働情報）の変動の激しさを示す情報（後述する数３式で算出される値）が記録される。
　図７は、クラスタ稼働情報の構成図である。図７において、クラスタ稼働情報７００は、クラスタ稼働情報取得部３０６が、１時間毎にクラスタ管理サーバ１１０、１２０、１３０にアクセスして、各クラスタ管理サーバから取得した情報であって、Ｔｉｍｅフィールド７０１と、ＣＰＵフィールド７０２と、メモリ（Ｍｅｍ）フィールド７０３とを有するテーブルで構成される。
　Ｔｉｍｅフィールド７０１の各レコードには、クラスタ稼働情報取得部３０６が、１時間毎に各クラスタ管理サーバ１１０、１２０、１３０にアクセスした時間に関する情報が記録される。ＣＰＵフィールド７０２の各レコードには、Ｔｉｍｅフィールド７０１のレコードに記録されて時間帯において、クラスタ全体で使用したＣＰＵリソース量の合計値を示す情報が記録される。メモリ（Ｍｅｍ）フィールド７０３の各レコードには、Ｔｉｍｅフィールド７０１のレコードに記録されて時間帯において、クラスタ全体で使用したメモリリソース量の合計値を示す情報が記録される。
　図８は、統合クラスタ管理サーバによる短サイクルでの管理方法を説明するためのフローチャートである。この処理は、全てのクラスタを対象として、統合クラスタ管理サーバ１００のＣＰＵ２０１がクラスタ稼働情報取得部３０６を起動することによって開始される。
　クラスタ稼働情報取得部３０６は、まずクラスタ管理サーバ１１０をアクセスして、クラスタ管理サーバ１１０の管理対象となるクラスタ１１１のクラスタ稼働情報９００を取得する（Ｓ１）。即ち、クラスタ稼働情報取得部３０６は、クラスタ毎の稼働情報であって、クラスタ１１１全体の一時間毎のクラスタ稼働情報７００をクラスタ管理サーバ１１０から取得する。
　次に、統合クラスタ管理サーバ１００の必要リソース見積り部３０３は、クラスタ稼働情報取得部３０６が取得したクラスタ稼働情報７００を用いて、クラスタ１１１に必要なリソース量の見積もりを行う（Ｓ２）。必要リソース量は、例えば、数１式を用いて算出することができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｅは、使用リソース量の平均、Ｓは、使用リソース量の標準偏差を表す。Ｅ及びＳは、ステップＳ１で取得した、クラスタ１１１全体の一時間毎のクラスタ稼働情報７００を用いて容易に算出することができる。また、ａは、安全率を表すパラメータである。ａの大きいと、必要リソース量を多く見積もることになるため、性能は安定化するが、ホストの集約率が低下する。一方、ａの値が小さいと、必要リソース量を少なく見積もるため、ホストの集約率は向上するが、性能安定性は低下する。ａの値は、予め決められた定数を用いても良いし、システム管理者が要件に応じて設定した値を用いても良い。
　必要リソース見積り部３０３は、算出した必要リソース量を、クラスタ管理情報３１２の必要リソース量フィールド６０３に記録する。この際、既に、クラスタ管理情報３１２の必要リソース量フィールド６０３に値が記録されている場合、必要リソース見積り部３０３は、この値を、ステップＳ２で算出した値で上書きする。
　次に、リソース過不足判定部３０８は、必要リソース見積り部３０３の算出した必要リソース量と、クラスタ管理情報３１２のキャパシティフィールド６０２に記録された値（リソース量）とを比較して、リソース過不足の判定を行う（Ｓ３）。この際、リソース過不足判定部３０８は、算出された必要リソース量よりもキャパシティフィールド６０２に記録された値（リソース量）の方が大きいことを確認する。一方、リソース過不足判定部３０８は、算出された必要リソース量よりもキャパシティフィールド７０２に記録された値（リソース量）の方が小さい場合、ログに警告メッセージを出力し、管理者にメールで通報するなどの処理を実行する。
　また、リソース過不足判定部３０８は、クラスタ管理情報３１２におけるクラスタ内負荷平準化設定フィールド６０４の値を見直し、必要に応じて、この値を変更し（Ｓ４）、その後、このルーチンでの処理をする。この際、例えば、ステップＳ１で取得したクラスタ１１１の稼働情報において、使用リソース量の変動幅が小さい場合、十分に負荷が平準化されていると判断し、クラスタ管理情報３１２のうちクラスタ内負荷平準化設定フィールド６０４におけるｏｎ／ｏｆｆサブフィールドの値を「ｏｎ」から「ｏｆｆ」に変更してもよい。また、ステップＳ１で取得したクラスタ１１１の稼働情報において、使用リソース量の変動の激しさが小さい場合、負荷平準化の実行間隔が長くても性能は安定すると判断し、クラスタ管理情報３１２のうちクラスタ内負荷平準化設定フィールド６０４における実行間隔サブフィールドの値（実行間隔）を大きくしてもよい。
　逆に、ステップＳ１で取得したクラスタ１１１の稼働情報において、使用リソース量の変動の激しさが大きい場合、性能安定化のために、負荷平準化の実行間隔を短くする必要があると判断し、クラスタ管理情報３１２のうちクラスタ内負荷平準化設定フィールド６０４における実行間隔サブフィールドの値（実行間隔）を小さくしてもよい。これらの判断を行う際、使用リソース量の変動の激しさに加え、クラスタ管理サーバ１１０の負荷状況を加味して、実行間隔を決定してもよい。クラスタ内負荷平準化設定フィールド６０４の値が変更された場合、変更内容はクラスタ管理サーバ１１０に通知される。クラスタ管理サーバ１１０は、通知された内容に基づいて、クラスタ１１１の負荷平準化の処理を実行する。
　ステップＳ１～Ｓ４による短サイクルでの処理は、クラスタ１２１、１３１に対しても同様に実行される。
　図９は、統合クラスタ管理サーバによる長いサイクルでの管理方法を説明するためのフローチャートである。この処理は、全てのクラスタに属するホストを対象として、統合クラスタ管理サーバ１００のＣＰＵ２０１がＶＭ稼働情報取得部３００を起動することによって開始され、例えば、週に一回など、予め決められたタイミングで定期的に実行される。
　まず、統合クラスタ管理サーバ１００のＶＭ稼働情報取得部３００は、例えば、クラスタ管理サーバ１１０をアクセスして、クラスタ１１１に属するホスト１１２、１１３上で稼働する全ての仮想サーバＶＭの稼働情報として、１週間分のＶＭ稼働情報４００を取得する（Ｓ１１）。
　次に、ＶＭ稼働情報取得部３００は、取得した１週間分のＶＭ稼働情報４００に対して統計処理を行い、結果として得られた統計情報をＶＭ管理情報３１４に格納する（Ｓ１２）。ここでは、統計情報の例として、レンジとポラティリティを求める方法について説明する。レンジは、稼働情報の取る値の範囲（変動幅）を表し、稼働情報の最大値と最小値との差を求めることで算出できる。例えば、ステップＳ１１で取得した仮想サーバＶＭ（ＶＭ０１）の稼働情報のうち、ＣＰＵリソースの使用量の最大値が、「０．５０（ＧＨｚ）」で、最小値が、「０．３０（ＧＨｚ）」の場合、仮想サーバＶＭ（ＶＭ０１）のＣＰＵ使用量のレンジは、「０．２０（ＧＨｚ）」となる。また、ポラティリティＶは、稼働情報の変動の激しさを表し、数２式と数３式を用いて算出することができる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　次に、統合クラスタ管理サーバ１００のＶＭ移動計画策定部３０１は、予め決められたＶＭ配置ポリシー３１１に基づきＶＭ配置の案を作成する（Ｓ１３）。ＶＭ移動計画策定部３０１は、全ての仮想サーバＶＭに対して、ＶＭ管理情報３１４を参照し、各仮想サーバＶＭについて算出されたレンジまたはポラティリティが、ＶＭ配置ポリシー３１１のルールフィールド５０１に記録された複数のルールの中のいずれかのルールの条件を満たすか否かを判定し、肯定の判定結果を得た仮想サーバＶＭ（判定対象の仮想サーバＶＭ）の配置先が、現在の配置先のクラスタ（ＶＭ管理情報３１４のクラスタフィールド６２２に記録されたクラスタ）と異なる場合、ＶＭ移動案５１０を作成する。例えば、仮想サーバＶＭ（ＶＭ０７）の、現在の配置先が、＃０１のクラスタ１１１であって、この仮想サーバＶＭ（ＶＭ０７）について算出されたレンジまたはポラティリティが、ＶＭ配置ポリシー３１１の＃０３のルールの条件を満たす場合、移動先のクラスタを、＃０３のクラスタ１３１とするＶＭ移動案５１０を作成する。
　次に、統合クラスタ管理サーバ１００の必要リソース見積り部３０３は、ステップＳ１３で作成したＶＭ移動案５１０に基づき、仮想サーバＶＭの移動先となるクラスタにおける必要リソース量の見積もりを行う（Ｓ１４）。この際、必要リソース見積り部３０３は、仮想サーバＶＭの移動先となるクラスタにおける必要リソース量Ｃ’を、例えば、数４式を用いて算出する。
Figure JPOXMLDOC01-appb-M000004
　次に、統合クラスタ管理サーバ１００のＶＭ移動計画策定部３０１は、ステップＳ１４で算出された必要リソース量を用いて、仮想サーバＶＭの移動先となるクラスタが、十分なリソースを保有しているか否かを判定する（Ｓ１５）。この際、ＶＭ移動計画策定部３０１は、クラスタ管理情報３１２におけるキャパシティフィールド６０２に記録されたリソース量と、ステップＳ１４で算出された必要リソース量とを比較し、必要リソース量が、キャパシティフィールド６０２に記録されたリソース量を超える場合、リソース不足と判定し、必要リソース量が、キャパシティフィールド６０２に記録されたリソース量よりも小さい場合、リソースが足りていると判定する。
　ＶＭ移動計画策定部３０１は、仮想サーバＶＭの移動先となる全てのクラスタについて、ステップＳ１５の処理を実行し、１つでもリソース不足となるクラスタが存在する場合、ステップＳ１６の処理に移行し、１つでもリソース不足となるクラスタが存在しない場合、ステップＳ１９の処理に移行する。
　ステップＳ１５において、リソース不足と判定された場合、統合クラスタ管理サーバ１００のクラスタ構成変更計画策定部３０４は、クラスタ構成変更の計画を策定し、クラスタ構成変更の案を作成する（Ｓ１６）。クラスタ構成変更とは、必要なリソース量を確保するために、リソースに余裕があるクラスタからホストを切り離し、切り離されたホストをリソースが不足しているクラスタに追加する処理である。
　例えば、クラスタ構成変更計画策定部３０４は、クラスタ構成変更の案を作成する場合、仮想サーバＶＭの移動に伴い、仮想サーバＶＭの移動先となる＃０２のクラスタ１２１のリソース量が不足する場合、他のクラスタ（＃０１のクラスタ１１１または＃０３のクラスタ１３１）に属するホストを切り離すことが可能か否かを判定し、この判定結果に従ってクラスタ構成変更の案を作成する。
　この後、クラスタ構成変更計画策定部３０４は、作成したクラスタ構成変更の案を基にクラスタ構成変更が可能か否かを判定する（Ｓ１７）。この際、クラスタ構成変更計画策定部３０４は、クラスタ管理情報３１２のキャパシティフィールド６０２に記録されたリソース量（以下、キャパシティと称する。）から、切り離しの対象となるホストの保持するリソース量を減算した値（リソース量であって、ホスト移動後のキャパシティと称する。）と、クラスタ管理情報３１２の必要リソース量フィールド６０３に記録された値（必要リソース量）とを比較し、ホスト移動後のキャパシティが、必要リソース量よりも大きい場合、クラスタ構成変更が可能、即ち、ホストの切り離しが可能であると判定し、ホスト移動案５２０を作成する。一方、ホスト移動後のキャパシティが、必要リソース量よりも小さき場合、クラスタ構成変更計画策定部３０４は、クラスタ構成変更が不可能、即ち、ホストの切り離しが不可能であると判定する。
　ホスト移動案５２０を作成するに際して、例えば、仮想サーバＶＭ（ＶＭ０７）が稼働しているホストが切り離しの対象であって、このホストの、現在の配置先が、＃０１のクラスタ１１１であって、このホストの移動先となる＃２について算出されたホスト移動後のキャパシティが、必要リソース量よりも大きい場合、このホストの移動先を、＃０２のクラスタ１２１とするホスト移動案５２０を作成する。
　ステップＳ１７でクラスタ構成変更が可能と判定された場合、統合クラスタ管理サーバ１００のクラスタ構成変更実行部３０５は、ステップＳ１７で作成されたホスト移動案５２０を基にクラスタ構成変更を実行する（Ｓ１８）。クラスタ構成変更とは、ホスト移動案５２０を基に、移動元のクラスタから、切り離し対象のホストを切り離し、切り離されたホストを移動先のクラスタに追加する処理である。このクラスタ構成変更は、統合クラスタ管理サーバ１００から、移動元のクラスタを管理するクラスタ管理サーバ及び移動先のクラスタを管理するクラスタ管理サーバに指示を出すことで実行できる。
　一方、ステップＳ１７でクラスタ構成変更が不可能と判定された場合、仮想サーバＶＭの移動に伴うリソース不足を解消できないため、クラスタ構成変更実行部３０５は、警告メッセージ等をログに出力し（Ｓ２０）、その後、このルーチンでの処理を終了する。
　ステップＳ１５において、リソースが足りると判定された場合、統合クラスタ管理サーバ１００のＶＭ移動実行部３０２は、ＶＭ移動案５１０を基に移動対象の仮想サーバＶＭを、リソースが足りると判定された移動先のクラスタに移動させる（Ｓ１９）。また、ステップＳ１５において、リソースが不足すると判定された後、移動先のクラスタについて、リソースが足りるように、クラスタ構成変更が実行された場合、ＶＭ移動実行部３０２は、移動対象の仮想サーバＶＭを、リソースが足りるように、クラスタ構成変更が実行された後のクラスタであって、移動先のクラスタに移動させる。ＶＭ移動とは、ＶＭ移動案５１０に基づき、移動対象となる仮想サーバＶＭを移動元のクラスタから、移動先のクラスタへと移動させる処理である。ＶＭ移動は、統合クラスタ管理サーバ１００から、移動元のクラスタを管理するクラスタ管理サーバ及び移動先のクラスタを管理するクラスタ管理サーバに指示を出すことで実行できる。
　本実施例において、各クラスタ管理サーバ１１０、１２０、１３０は、各クラスタ１１１、１２１、１３１に属する各ホストで稼働する仮想サーバＶＭの稼働情報を収集し、収集した仮想サーバの稼働情報を統合クラスタ管理サーバ１００に転送する。統合クラスタ管理サーバ１００は、各クラスタ管理サーバ１１０、１２０、１３０の収集による仮想サーバＶＭの稼働情報を分析し、当該分析結果を基に移動条件を満たす仮想サーバＶＭの配置先となるクラスタを決定する。この際、統合クラスタ管理サーバ１００は、クラスタ１１１、１２１、１３１を各ホストで稼働する仮想サーバＶＭの負荷の変動幅、もしくは負荷の激しさに対応づけて２以上のグループに分けて管理し、各ホストで稼働する仮想サーバＶＭの稼働情報を基に各ホストで稼働する仮想サーバ毎に、当該仮想サーバの負荷の変動幅、もしくは負荷の激しさのうち少なくとも一方を分析結果として算出し、当該算出値に応じていずれか１つのグループに属するクラスタを、移動条件を満たす仮想サーバの配置先として決定する。
　また、統合クラスタ管理サーバ１００は、各クラスタ１１１、１２１、１３１に属する各ホストの構成情報を基に各クラスタ１１１、１２１、１３１のリソースを管理し、各ホストで稼働する仮想サーバ毎に、当該仮想サーバが、決定された配置先に配置されることを想定した際に、決定された配置先のクラスタで必要となるリソースが足りるか否かを判定し、当該判定で肯定の結果を得た仮想サーバを、決定された配置先のクラスタに配置させる。
　さらに、統合クラスタ管理サーバ１００は、決定された配置先のクラスタで必要となるリソースが足りるか否かを判定し、当該判定で否定の判定結果を得た場合、決定された配置先のクラスタで必要となるリソースを満たすクラスタ構成変更の計画を策定し、各クラスタ１１１、１２１、１３１に属する各ホストの構成情報を基に、策定したクラスタ構成変更の計画に従って、決定された配置先のクラスタの構成変更が可能か否かを判定し、当該判定で肯定の判定結果を得た場合、策定したクラスタ構成変更の計画に従って、決定された配置先のクラスタの構成変更を実行し、当該構成変更が実行される前に、決定された配置先のクラスタで必要となるリソースが足りないと判定された仮想サーバを、構成変更が実行された配置先のクラスタに配置させる。
　本実施例によれば、クラスタ間での適切なＶＭ移動及びホスト移動を実行し、性能を確保しつつ集約率を高めることが可能となる。また、ＶＭの稼働情報に対する統計処理に基づき、仮想サーバＶＭの配置先となるクラスタを決定することで、クラスタ毎に最適な管理（適切な必要リソース使用量の見積もりやクラスタ内負荷平準化設定）を行うことが可能となり、より性能を安定させる若しくは集約率を高めることが可能となる。
　なお、本実施例では、ＣＰＵリソース及びメモリリソースを対象として分析し、分析結果からＶＭ配置を最適化する方法を説明したが、同様の方法により、ネットワーク帯域やストレージ容量など、他のリソースの分析により、ＶＭ配置の最適化を行ってもよい。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid　State　Drive）等の記録装置、または、ＩＣ（Integrated　Circuit）カード、ＳＤ（Secure　Digital）メモリカード、ＤＶＤ（Digital　Versatile　Disc）等の記録媒体に記録して置くことができる。
１００　統合クラスタ管理サーバ、１１０、１２０、１３０　クラスタ管理サーバ、１１１、１２１、１３１　クラスタ、１１２、１１３、１２２、１２３、１３２、１３３　ホスト、２００　コンピュータ、２０１　ＣＰＵ、２０２　メモリ、２０３　記憶装置、２０４　入力装置、２０５　出力装置、２０６　通信装置、３００　ＶＭ稼働情報取得部、３０１　ＶＭ移動計画策定部、３０２　ＶＭ移動実行部、３０３　必要リソース見積り部、３０４　クラスタ構成変更計画策定部、３０５　クラスタ構成変更実行部、３０６　クラスタ稼働情報取得部、３０８　リソース過不足判定部、３１１　ＶＭ配置ポリシー、３１２　クラスタ管理情報、３１３　ホスト管理情報、３１４　ＶＭ管理情報、４００　ＶＭ稼働情報、７００　クラスタ稼働情報。

Claims (14)

  1. 　１以上の仮想サーバを稼働させる複数の物理サーバを含むグループを１クラスタとして、前記グループを２以上有するクラスタと、
    　前記各クラスタに属する各物理サーバをそれぞれ管理する２以上のクラスタ管理サーバと、
    　前記各クラスタ管理サーバと情報の送受信を行って前記各クラスタ管理サーバを統合して管理する統合クラスタ管理サーバとを有する計算機システムであって、
    　前記各クラスタ管理サーバは、
    　前記各クラスタに属する各物理サーバで稼働する仮想サーバの稼働情報を収集し、前記収集した仮想サーバの稼働情報を前記統合クラスタ管理サーバに転送し、
    　前記統合クラスタ管理サーバは、
    　前記各クラスタ管理サーバの収集による仮想サーバの稼働情報を分析し、当該分析結果を基に移動条件を満たす仮想サーバの配置先となるクラスタを決定することを特徴とする計算機システム。
  2. 　請求項１に記載の計算機システムであって、
    　前記統合クラスタ管理サーバは、
    　前記クラスタを前記各物理サーバで稼働する仮想サーバの負荷の変動幅、もしくは負荷の激しさに対応づけて２以上のグループに分けて管理し、
    　前記各物理サーバで稼働する仮想サーバの稼働情報を基に前記各物理サーバで稼働する仮想サーバ毎に、当該仮想サーバの負荷の変動幅、もしくは負荷の激しさのうち少なくとも一方を前記分析結果として算出し、当該算出値に応じて前記いずれか１つのグループに属するクラスタを前記移動条件を満たす仮想サーバの配置先として決定することを特徴とする計算機システム。
  3. 　請求項１に記載の計算機システムであって、
    　前記統合クラスタ管理サーバは、
    　前記各クラスタに属する各物理サーバの構成情報を基に前記各クラスタのリソースを管理し、
    　前記各物理サーバで稼働する仮想サーバ毎に、当該仮想サーバが前記配置先に配置されることを想定した際に、前記配置先のクラスタで必要となるリソースが足りるか否かを判定し、当該判定で肯定の結果を得た仮想サーバを、前記決定された配置先のクラスタに配置させることを特徴とする計算機システム。
  4. 　請求項１に記載の計算機システムであって、
    　前記統合クラスタ管理サーバは、
    　前記各クラスタに属する各物理サーバの構成情報を基に前記各クラスタのリソースを管理し、
    　前記各物理サーバで稼働する仮想サーバ毎に、当該仮想サーバが前記配置先に配置されることを想定した際に、前記配置先のクラスタで必要となるリソースが足りるか否かを判定し、当該判定で否定の判定結果を得た場合、前記配置先のクラスタで必要となるリソースを満たすクラスタ構成変更の計画を策定し、前記各クラスタに属する各物理サーバの構成情報を基に、前記策定したクラスタ構成変更の計画に従って前記配置先のクラスタの構成変更が可能か否かを判定し、当該判定で肯定の判定結果を得た場合、前記策定したクラスタ構成変更の計画に従って前記配置先のクラスタの構成変更を実行し、当該構成変更が実行される前に、前記配置先のクラスタで必要となるリソースが足りないと判定された仮想サーバを、前記構成変更が実行された配置先のクラスタに配置させることを特徴とする計算機システム。
  5. 　請求項２に記載の計算機システムであって、
    　前記各クラスタ管理サーバは、
    　前記各クラスタに属する各物理サーバの中で負荷の偏りが生じた場合、前記負荷の高い物理サーバで稼働する仮想サーバのうちいずれかの仮想サーバを前記負荷の低い物理サーバへ移動させる負荷平準化処理を前記統合クラスタ管理サーバの設定を基に管理し、
    　前記統合クラスタ管理サーバは、
    　前記分析結果として算出された算出値に応じて前記いずれかのグループに属するクラスタ毎に前記負荷平準化処理の設定を変更することを特徴とする計算機システム。
  6. 　請求項５に記載の計算機システムであって、
    　前記統合クラスタ管理サーバは、
    　前記分析結果として算出された算出値のうち前記仮想サーバの負荷の変動幅に応じて前記いずれかのグループに属するクラスタ毎に前記負荷平準化処理の実行間隔を変更することを特徴とする計算機システム。
  7. 　請求項５に記載の計算機システムであって、
    　前記統合クラスタ管理サーバは、
    　前記分析結果として算出された算出値のうち前記仮想サーバの負荷の激しさに応じて前記いずれかのグループに属するクラスタ毎に前記負荷平準化処理の実行の要否を変更することを特徴とする計算機システム。
  8. 　１以上の仮想サーバを稼働させる複数の物理サーバを含むグループを１クラスタとして、前記グループを２以上有するクラスタと、
    　前記各クラスタに属する各物理サーバをそれぞれ管理する２以上のクラスタ管理サーバと、
    　前記各クラスタ管理サーバと情報の送受信を行って前記各クラスタ管理サーバを統合して管理する統合クラスタ管理サーバとを有する計算機システムにおけるリソース管理方法であって、
    　前記各クラスタ管理サーバが、前記各クラスタに属する各物理サーバで稼働する仮想サーバの稼働情報を収集し、前記収集した仮想サーバの稼働情報を前記統合クラスタ管理サーバに転送するステップと、
    　前記統合クラスタ管理サーバが、前記各クラスタ管理サーバの収集による仮想サーバの稼働情報を分析し、当該分析結果を基に移動条件を満たす仮想サーバの配置先となるクラスタを決定するステップと、を有することを特徴とするリソース管理方法。
  9. 　請求項８に記載のリソース管理方法であって、
    　前記統合クラスタ管理サーバが、前記クラスタを前記各物理サーバで稼働する仮想サーバの負荷の変動幅、もしくは負荷の激しさに対応づけて２以上のグループに分けて管理するステップと、
    　前記統合クラスタ管理サーバが、前記各物理サーバで稼働する仮想サーバの稼働情報を基に前記各物理サーバで稼働する仮想サーバ毎に、当該仮想サーバの負荷の変動幅、もしくは負荷の激しさのうち少なくとも一方を前記分析結果として算出し、当該算出値に応じて前記いずれか１つのグループに属するクラスタを前記移動条件を満たす仮想サーバの配置先として決定するステップと、を有することを特徴とするリソース管理方法。
  10. 　請求項８に記載のリソース管理方法であって、
    　前記統合クラスタ管理サーバが、前記各クラスタに属する各物理サーバの構成情報を基に前記各クラスタのリソースを管理するステップと、
    　前記統合クラスタ管理サーバが、前記各物理サーバで稼働する仮想サーバ毎に、当該仮想サーバが前記配置先に配置されることを想定した際に、前記配置先のクラスタで必要となるリソースが足りるか否かを判定し、当該判定で肯定の結果を得た仮想サーバを、前記決定された配置先のクラスタに配置させるステップと、を有することを特徴とするリソース管理方法。
  11. 　請求項８に記載のリソース管理方法であって、
    　前記統合クラスタ管理サーバが、前記各クラスタに属する各物理サーバの構成情報を基に前記各クラスタのリソースを管理するステップと、
    　前記統合クラスタ管理サーバが、前記各物理サーバで稼働する仮想サーバ毎に、当該仮想サーバが前記配置先に配置されることを想定した際に、前記配置先のクラスタで必要となるリソースが足りるか否かを判定し、当該判定で否定の判定結果を得た場合、前記配置先のクラスタで必要となるリソースを満たすクラスタ構成変更の計画を策定するステップと、
    　前記統合クラスタ管理サーバが、前記各クラスタに属する各物理サーバの構成情報を基に、前記策定したクラスタ構成変更の計画に従って前記配置先のクラスタの構成変更が可能か否かを判定し、当該判定で肯定の判定結果を得た場合、前記策定したクラスタ構成変更の計画に従って前記配置先のクラスタの構成変更を実行し、当該構成変更が実行される前に、前記配置先のクラスタで必要となるリソースが足りないと判定された仮想サーバを、前記構成変更が実行された配置先のクラスタに配置させるステップと、を有することを特徴とするリソース管理方法。
  12. 　請求項９に記載のリソース管理方法であって、
    　前記各クラスタ管理サーバが、前記各クラスタに属する各物理サーバの中で負荷の偏りが生じた場合、前記負荷の高い物理サーバで稼働する仮想サーバのうちいずれかの仮想サーバを前記負荷の低い物理サーバへ移動させる負荷平準化処理を前記統合クラスタ管理サーバの設定を基に管理するステップと、
    　前記統合クラスタ管理サーバが、前記分析結果として算出された算出値に応じて前記いずれかのグループに属するクラスタ毎に前記負荷平準化処理の設定を変更するステップと、を有することを特徴とするリソース管理方法。
  13. 　請求項１２に記載のリソース管理方法であって、
    　前記統合クラスタ管理サーバは、
    　前記分析結果として算出された算出値のうち前記仮想サーバの負荷の変動幅に応じて前記いずれかのグループに属するクラスタ毎に前記負荷平準化処理の実行間隔を変更することを特徴とするリソース管理方法。
  14. 　請求項１２に記載のリソース管理方法であって、
    　前記統合クラスタ管理サーバは、
    　前記分析結果として算出された算出値のうち前記仮想サーバの負荷の激しさに応じて前記いずれかのグループに属するクラスタ毎に前記負荷平準化処理の実行の要否を変更することを特徴とするリソース管理方法。
PCT/JP2014/081703 2014-12-01 2014-12-01 計算機システム及びリソース管理方法 WO2016088163A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/081703 WO2016088163A1 (ja) 2014-12-01 2014-12-01 計算機システム及びリソース管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/081703 WO2016088163A1 (ja) 2014-12-01 2014-12-01 計算機システム及びリソース管理方法

Publications (1)

Publication Number Publication Date
WO2016088163A1 true WO2016088163A1 (ja) 2016-06-09

Family

ID=56091144

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/081703 WO2016088163A1 (ja) 2014-12-01 2014-12-01 計算機システム及びリソース管理方法

Country Status (1)

Country Link
WO (1) WO2016088163A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764879A (zh) * 2021-01-14 2021-05-07 深圳市科思科技股份有限公司 负载均衡方法、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010024027A1 (ja) * 2008-08-28 2010-03-04 日本電気株式会社 仮想サーバシステム及び物理サーバ選択方法
JP2010282533A (ja) * 2009-06-08 2010-12-16 Mitsubishi Electric Corp 計算機システム、計算機リソース制御方法および計算機リソース制御プログラム
JP2011258119A (ja) * 2010-06-11 2011-12-22 Hitachi Ltd クラスタ構成管理方法、管理装置及びプログラム
JP2014038459A (ja) * 2012-08-15 2014-02-27 Toshiba Corp 仮想ｏｓ制御装置、システム、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010024027A1 (ja) * 2008-08-28 2010-03-04 日本電気株式会社 仮想サーバシステム及び物理サーバ選択方法
JP2010282533A (ja) * 2009-06-08 2010-12-16 Mitsubishi Electric Corp 計算機システム、計算機リソース制御方法および計算機リソース制御プログラム
JP2011258119A (ja) * 2010-06-11 2011-12-22 Hitachi Ltd クラスタ構成管理方法、管理装置及びプログラム
JP2014038459A (ja) * 2012-08-15 2014-02-27 Toshiba Corp 仮想ｏｓ制御装置、システム、方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764879A (zh) * 2021-01-14 2021-05-07 深圳市科思科技股份有限公司 负载均衡方法、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US10212219B2 (en) Resource allocation diagnosis on distributed computer systems
US8386610B2 (en) System and method for automatic storage load balancing in virtual server environments
US10225333B2 (en) Management method and apparatus
EP2888676B1 (en) Client placement in a computer network system using dynamic weight assignments on resource utilization metrics
US9053221B2 (en) Promotion of performance parameters in distributed data processing environment
US9448853B2 (en) Method of allocating physical computing resource of computer system
US9146793B2 (en) Management system and management method
US9569244B2 (en) Implementing dynamic adjustment of I/O bandwidth for virtual machines using a single root I/O virtualization (SRIOV) adapter
WO2016134542A1 (zh) 虚拟机的迁移方法、装置及设备
US10460254B2 (en) System and method for reducing state space in reinforced learning by using decision tree classification
GB2508161A (en) Monitoring applications executing on a virtual machine and allocating the required resources to the virtual machine.
US10210023B2 (en) Methods and systems for managing service level objectives in a networked storage environment
US9330424B2 (en) Power management analysis and modeling for distributed computer systems
US20220171663A1 (en) Systems and Methods for Resource Lifecycle Management
KR20150049342A (ko) 가상 머신이 자동으로 확장 및 축소되는 클러스터에 대한 고가용성 부하 분산 방법 및 고가용성 부하 분산 장치
US20190317665A1 (en) Resource fairness control in distributed storage systems using congestion data
Shanmuganathan et al. Towards proactive resource management in virtualized datacenters
WO2016088163A1 (ja) 計算機システム及びリソース管理方法
US20230222092A1 (en) Method of managing storage space based on robust determinations of durations for deleting snapshots
US20140059008A1 (en) Resource allocation analyses on hypothetical distributed computer systems
WO2015008378A1 (ja) 設計支援システム、設計支援方法及びそのプログラムが格納された記憶媒体
WO2021076140A1 (en) Variable job resource representation and scheduling for cloud computing
Tseng et al. An effective VM migration scheme for reducing resource fragments in cloud data centers
JPWO2018042637A1 (ja) 学習データ処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14907379

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14907379

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP