WO2015114816A1 - 管理計算機および管理プログラム - Google Patents

管理計算機および管理プログラム Download PDF

Info

Publication number
WO2015114816A1
WO2015114816A1 PCT/JP2014/052334 JP2014052334W WO2015114816A1 WO 2015114816 A1 WO2015114816 A1 WO 2015114816A1 JP 2014052334 W JP2014052334 W JP 2014052334W WO 2015114816 A1 WO2015114816 A1 WO 2015114816A1
Authority
WO
WIPO (PCT)
Prior art keywords
physical
resource
physical resource
amount
computer
Prior art date
Application number
PCT/JP2014/052334
Other languages
English (en)
French (fr)
Inventor
智之 鷺山
智斉 内田
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US15/024,638 priority Critical patent/US9990258B2/en
Priority to PCT/JP2014/052334 priority patent/WO2015114816A1/ja
Publication of WO2015114816A1 publication Critical patent/WO2015114816A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1479Generic software techniques for error detection or fault masking
    • G06F11/1482Generic software techniques for error detection or fault masking by means of middleware or OS functionality
    • G06F11/1484Generic software techniques for error detection or fault masking by means of middleware or OS functionality involving virtual machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/805Real-time

Definitions

  • the present invention relates to a management computer that manages computers.
  • a technology is known in which a physical computer provides a virtual computer such as LPAR (Logical Partition) or VM (Virtual Machine).
  • LPAR Logical Partition
  • VM Virtual Machine
  • Patent Document 1 when a physical server constructs a plurality of LPARs and a physical server failure occurs, the management server identifies an LPAR affected by the failure, and fails over only the specified LPAR. Techniques for continuing other LPARs are described.
  • a management computer includes a memory, a network interface connected to a plurality of physical computers, and a processor connected to the memory and the network interface.
  • the memory includes a first physical computer among a plurality of physical computers, a virtual computer executed by the first physical computer, and a first physical resource included in the first physical computer and allocated to the virtual computer
  • correspondence information indicating the correspondence with the user who uses the virtual machine is stored, failure information indicating the failed physical resource is stored, and the physical resource of the same type as the first physical resource is caused by the use by the user.
  • An upper limit value is stored for the destruction amount that is the amount of the physical resource that has failed.
  • the processor calculates the amount of destruction based on the correspondence information and the failure information, determines whether the amount of destruction is less than or equal to the upper limit value, and determines whether the first physical resource has failed based on the failure information.
  • the first physical resource can be used as an alternative to the first physical resource based on the correspondence information. It is determined whether or not there are two physical resources. If it is determined that there is a second physical resource, an instruction to allocate the second physical resource to the virtual machine instead of the first physical resource is transmitted to the first physical computer.
  • the virtual computer can be prevented from excessively destroying physical resources.
  • 1 shows a configuration of a computer system according to an embodiment of the present invention.
  • 2 shows a logical configuration of a physical server 200.
  • 1 shows a configuration of a management server 100.
  • An outline of the operation of the computer system is shown.
  • Server configuration information 650 is shown.
  • LPAR configuration information 660 is shown.
  • the tenant correspondence information 670 is shown.
  • Destruction amount upper limit information 680 is shown.
  • Resource usage history information 690 is shown.
  • the operation of the failure detection program 611 is shown.
  • the first operation of the failure handling program 614 is shown.
  • the second operation following the first operation of the failure handling program 614 is shown.
  • the operation of the affected LPAR failure handling program 615 is shown.
  • the operation of the upper limit excess check program 616 is shown.
  • the operation of the destruction amount calculation program 617 is shown.
  • the operation of the post-recovery processing program 618 is shown.
  • the resource status input screen is shown.
  • a monitoring screen is shown.
  • aaa table such as “aaa list”, “aaaDB”, “aaa queue”, etc.
  • these information include tables, lists, DBs, queues, etc. It may be expressed by other than the data structure. Therefore, “aaa table”, “aaa list”, “aaaDB”, “aaa queue”, etc. may be referred to as “aaa information” to indicate that they are not dependent on the data structure.
  • program is used as the subject.
  • the program performs processing determined by being executed by the processor using the memory and communication port (communication control device)
  • the processor is used as the subject.
  • the explanation may be as follows. Further, the processing disclosed with the program as the subject may be processing performed by a computer such as a management server or an information processing apparatus. Further, part or all of the program may be realized by dedicated hardware.
  • various programs may be installed in each computer by a program distribution server or a computer-readable memory media.
  • the program distribution server includes a CPU and storage resources, and the storage resources further store a distribution program and a program to be distributed.
  • the distribution program is executed by the CPU, the CPU of the program distribution server distributes the distribution target program to other computers.
  • the management computer has input / output devices.
  • input / output devices include a display, a keyboard, and a pointer device, but other devices may be used.
  • a serial interface or an Ethernet interface is used as the input / output device, and a display computer having a display or keyboard or pointer device is connected to the interface, and the display information is transmitted to the display computer.
  • the display computer may perform the display, or the input may be replaced by the input / output device by receiving the input.
  • a set of one or more computers that manage the information processing system and display the display information of the present invention may be referred to as a management system.
  • the management computer displays the display information
  • the management computer is a management system.
  • a combination of a management computer and a display computer is also a management system.
  • a plurality of computers may realize processing equivalent to that of the management computer.
  • the plurality of computers if the display computer performs the display, display (Including computers) is the management system.
  • a computer system including a plurality of physical servers that provide virtual machines such as LPAR and VM to a user and a management server that manages them will be described.
  • FIG. 1 shows the configuration of a computer system according to an embodiment of the present invention.
  • the computer system of this embodiment includes a management server 100, a plurality of physical servers 200, a disk array device 300, and a display computer 400.
  • the management server 100, the plurality of physical servers 200, and the display computer 400 are connected to each other via a LAN (Local Area Network) 510.
  • the plurality of physical servers 200 and the disk array device 300 are connected to each other via a SAN (Storage Area Network) 520.
  • the disk array device 300 has a plurality of storage media such as HDDs (Hard Disk Drives) and flash devices, and provides a plurality of LUs (Logical Units) 310 to the physical server 200 based on these storage media.
  • HDDs Hard Disk Drives
  • LUs Logical Units
  • the physical server 200 includes a plurality of NIC (Network Interface Card) 210, a BMC (Base Management Controller) 220, a plurality of memories 230, a plurality of CPUs (Central Processing Unit) 240, a plurality of flash devices 250, and a memory. 260 and a plurality of HBAs (Host Bus Adapters) 270.
  • NIC Network Interface Card
  • BMC Basic Management Controller
  • HBA High Speed Bus Adapters
  • each of the NIC 210, the memory 230, the CPU 240, the flash device 250, and the HBA 270 may be one.
  • the flash device 250 is a storage device having a nonvolatile semiconductor memory such as a flash memory as a storage medium. The flash device 250 deteriorates as the number of writes increases.
  • the NIC 210 is connected to the LAN 510 and communicates with the management server 100.
  • the BMC 220 is connected to the LAN 510, and performs hardware monitoring of the physical server 200, remote control, recording of hardware events, and the like.
  • the memory 230 stores a program and data for processing of the physical server 200.
  • the CPU 240 executes processing based on the program and data stored in the memory 230.
  • the flash device 250 includes a nonvolatile semiconductor memory such as a flash memory and stores data.
  • the memory 260 stores a program of the logical partitioning mechanism 280. Note that the memory 260 may be a local storage such as an HDD or a flash device.
  • the HBA 270 is connected to the SAN 520 and communicates with the disk array device 300.
  • Multiple physical servers 200 provide a multi-tenant environment.
  • the multi-tenant environment is an environment in which several physical servers 200 are shared by a plurality of organizations.
  • the general administrator of the multi-tenant environment has administrator authority over the physical server 200 that provides the multi-tenant environment and the resources (physical resources) of the entire multi-tenant environment.
  • a tenant in a multi-tenant environment is a group of resources associated with an organization that uses the multi-tenant environment.
  • the resources are a part of physical resources mounted on the physical server 200 such as the CPU 240, the memory 230, the flash device 250, the NIC 210, and the HBA 270 in the physical server 200.
  • a tenant user is a user who has administrator authority over tenant resources.
  • the LPAR is a partition obtained by logically dividing resources in the physical server 200.
  • the logical partitioning mechanism 280 is firmware for constructing an LPAR on the physical server 200.
  • the hypervisor operates on the LPAR.
  • the hypervisor is a program that executes a plurality of VMs in parallel by virtualizing the physical server 200 or LPAR. Each VM executes an OS (Operating System) and applications for business.
  • OS Operating System
  • a state in which the resources configuring the physical server 200 become unavailable from the computer system due to physical damage is referred to as a failure.
  • the physical damage is, for example, overcurrent, overvoltage, overheating and the like in the case of the CPU 240, and deterioration of memory cells due to excessive writing in the case of the flash device 250.
  • the case where the LPAR destroys resources includes a failure of the CPU caused by heating due to the long-time high load processing of the CPU 240, a failure of the flash device 250 caused by deterioration of the memory cell due to excessive writing of the flash device 250, etc. It is.
  • FIG. 2 shows a logical configuration of the physical server 200.
  • the physical server (1) executes the logical partitioning mechanism (1).
  • the physical server (2) executes the logical partitioning mechanism (2).
  • the tenant user of tenant A instructs the logical partitioning mechanism (1) to create LPAR-A1 and instructs the logical partitioning mechanism (2) to create LPAR-A2 via the management server 100 or the display computer 400.
  • the tenant user of tenant B instructs the logical partitioning mechanism (1) to create LPAR-B1 and instructs the logical partitioning mechanism (2) to create LPAR-B2 via the management server 100 or the display computer 400.
  • the logical partitioning mechanism (1) allocates resources such as a CPU, memory, flash device, NIC, and HBA in the physical server (1) to each of LPAR-A1 and LPAR-B1.
  • the logical partitioning mechanism (2) allocates resources such as the CPU 240, the memory 230, the flash device 250, the NIC 210, and the HBA 270 in the physical server (2) to each of the LPAR-A1 and LPAR-B1.
  • the tenant user of tenant A causes the LPAR-A1 to execute the hypervisor (A1) and causes the LPAR-A2 to execute the hypervisor (A2) via the management server 100 or the display computer 400. Further, the tenant user of the tenant A instructs the hypervisor (A1) to create the VM (A11) and the VM (A12) via the management server 100 or the display computer 400, and sends the VM (A21) to the hypervisor (A2). ) And VM (A22) are instructed. Further, the tenant user of the tenant A uses the OS (A11) for business to the VM (A11), VM (A12), VM (A21), and VM (A22) via the management server 100 or the display computer 400, respectively.
  • OS (A12), OS (A21), and OS (A22) are executed.
  • the tenant user of tenant B causes the LPAR-B1 to execute the hypervisor (B1) and the LPAR-B2 to execute the hypervisor (B2) via the management server 100 or the display computer 400.
  • the tenant user of the tenant B instructs the hypervisor (B1) to create the VM (B11) and the VM (B12) via the management server 100 or the display computer 400, and sends the VM (B21) to the hypervisor (B2).
  • VM (B22) are instructed.
  • the tenant user of the tenant B via the management server 100 or the display computer 400, has a business OS (B11) for each of the VM (B11), VM (B12), VM (B21), and VM (B22). , OS (B12), OS (B21), and OS (B22) are executed.
  • the logical partitioning mechanism (1) manages, as a resource pool (1), normal resources in the physical server (1) that are not allocated to shared resources and LPARs.
  • the logical partitioning mechanism (2) manages, as resource pools (2), resources that are not allocated to shared resources and LPARs among normal resources in the physical server (2).
  • FIG. 3 shows the configuration of the management server 100.
  • the management server 100 includes a memory 110, a CPU 120, a NIC 130, and an input / output device 140.
  • the memory 110 stores programs and data for processing of the management server 100.
  • the memory 110 may be a local storage such as a flash memory or an HDD.
  • the CPU 120 executes processing based on programs and data stored in the memory 110.
  • the NIC 130 is connected to the LAN 510 and communicates with the physical server 200 and the display computer 400.
  • the input / output device 140 includes an input device such as a keyboard and a pointing device, and an output device such as a display and a printer.
  • the memory 110 stores a management program 610, configuration information 630, and tenant information 640.
  • the configuration information 630 indicates the configuration of the physical server 200.
  • the tenant information 640 indicates the correspondence between the tenant and the LPAR, such as which tenant is using which LPAR.
  • the management program 610 includes a failure detection program 611, a configuration information collection program 612, a tenant definition program 613, a failure handling program 614, an affected LPAR failure handling program 615, an upper limit excess check program 616, and a destruction amount calculation program 617, a post-recovery processing program 618, a resource state input program 621, a monitoring screen output program 622, and a destruction amount upper limit value input program 623.
  • the configuration information 630 includes server configuration information 650 and LPAR configuration information 660.
  • the tenant information 640 includes tenant correspondence information 670, destruction amount upper limit information 680, and resource usage history information 690.
  • the configuration information collection program 612 collects information on physical resources mounted on the physical server 200 from the physical server 200 and creates server configuration information 650 based on the collected information. Further, the configuration information collection program 612 collects LPAR information and the like constructed in the physical server 200, and creates LPAR configuration information 660 based on the collected information.
  • the LPAR configuration information 660 indicates the correspondence between the LPAR and the physical resource, such as which LPAR uses which physical resource and how much.
  • the configuration information collection program 612 may acquire configuration information from the physical server 200 at the time of constructing the LPAR, may acquire configuration information from the physical server 200 periodically, or an event notified from the physical server 200.
  • the configuration information may be acquired from the physical server 200 according to the above.
  • the tenant definition program 613 transmits tenant definition information input by the general administrator using the management server 100 or the display computer 400 to the physical server 200. Furthermore, the tenant definition program 613 acquires tenant definition information stored in the physical server 200 and creates tenant correspondence information 670 and resource usage history information 690 based on the received information.
  • the tenant definition information is stored in the physical server 200, but may be stored in the management server 100. In this case, it is not necessary to receive tenant definition information from the physical server 200. Tenant users cannot operate tenant definition information.
  • the display computer 400 includes a memory, a CPU, a NIC, and an input / output device.
  • Fig. 4 shows an outline of the operation of the computer system.
  • This figure shows the transition of the resource allocation state of the physical server (1) to the LPAR-A1 used by the tenant user of the tenant A in the multi-tenant environment built in the physical server (1). ing.
  • the physical server (1) includes CPU (1), CPU (2), memory (1), memory (2), flash device (1), flash device (2) as usable resources that are resources that can be used by LPAR. ), Flash device (3), NIC (1), NIC (2), HBA (1), and HBA (2). It is assumed that CPU (1), memory (1), flash device (1), NIC (1), and HBA (1) among the available resources are allocated to LPAR-A1 of tenant A. These are called an allocation CPU, an allocation memory, an allocation flash device, an allocation NIC, and an allocation HBA, respectively.
  • the management server 100 releases the allocation of the flash device (1) to the LPAR-A1.
  • the condition that the destruction amount, which is the sum of the resource amounts of the flash devices that have been used by the tenant A so far, is equal to or less than a predetermined upper limit value is satisfied.
  • the management server 100 allocates a normal flash device (2) to the LPAR-A1 instead of the failed flash device (1), and restores the LPAR-A1 (S20).
  • the management server 100 releases the assignment of the flash device (2) to the LPAR-A1.
  • the condition that the amount of resources used so far by the tenant A is not more than a predetermined upper limit value is not satisfied. In this case, the management server 100 does not assign a normal flash device to LPAR-A1 (S40).
  • This operation can prevent excessive resource destruction due to repeated destruction and reassignment of resources by a tenant's LPAR. Thereby, it is possible to suppress a decrease in the amount of resources in the resource pool that can be assigned to other tenants.
  • the management server 100 may fail over the failed LPAR to another physical server, as will be described later.
  • FIG. 5 shows server configuration information 650.
  • the server configuration information 650 is created by the configuration information collection program 612.
  • the server configuration information 650 associates a physical server ID 651, a logical partitioning mechanism ID 652, and owned resource information 653.
  • the physical server ID 651 is an identifier indicating the physical server 200.
  • the logical division mechanism ID 652 is an identifier indicating the logical division mechanism.
  • the owned resource information 653 indicates each resource divided by the logical division mechanism.
  • the possessed resource information 653 of a certain resource includes a resource type 654, a resource ID 655, a resource amount 656, a resource state 657, in-use information 658, and occupancy information 659.
  • the resource type 654 indicates the type of the resource.
  • the resource type 654 is a CPU, memory, flash device, NIC, HBA, or the like.
  • the resource ID 655 is an identifier indicating the resource.
  • the resource amount 656 indicates the amount of the resource.
  • the resource amount 656 is the number of CPU cores, the memory storage capacity, the flash device storage capacity, and the like.
  • the resource state 657 indicates whether the resource is normal or faulty.
  • the in-use information 658 indicates whether or not the resource is used by the LPAR.
  • Occupancy information 659 indicates whether the resource is an occupied resource occupied by one LPAR or a shared resource that can be shared by a plurality of LPARs.
  • FIG. 6 shows LPAR configuration information 660.
  • the LPAR configuration information 660 is created by the configuration information collection program 612.
  • the LPAR configuration information 660 associates an LPAR-ID 661, a logical partitioning mechanism ID 662, an LPAR operating status 663, and allocation resource information 664.
  • LPAR-ID 661 is an identifier indicating LPAR.
  • the logical partition mechanism ID 662 is an identifier indicating the logical partition mechanism that constructs the LPAR.
  • the LPAR operating status 663 indicates whether the LPAR is operating or stopped.
  • the resource allocation information 664 for a certain resource includes a resource type 665, a resource ID 666, and a resource amount 667.
  • the resource type 665 indicates the type of the resource.
  • the resource ID 666 is an identifier indicating the resource.
  • the resource amount 667 indicates the amount of the resource.
  • FIG. 7 shows tenant correspondence information 670.
  • the tenant correspondence information 670 is created by the tenant definition program 613.
  • the tenant correspondence information 670 associates the tenant ID 671, the used LPAR-ID 672, and the hypervisor information 673.
  • the tenant ID 671 is an identifier indicating a tenant.
  • the used LPAR-ID 672 is an identifier indicating the LPAR used by the tenant.
  • the hypervisor information 673 indicates whether or not the LPAR is executing a hypervisor.
  • FIG. 8 shows destruction amount upper limit information 680.
  • the destruction amount upper limit information 680 is created by the destruction amount upper limit input program 623.
  • the destruction amount upper limit value information 680 associates the tenant ID 681, the resource type 682, the destruction amount upper limit value 683, and the upper limit value excess information 684.
  • the tenant ID 681 is an identifier indicating a tenant.
  • the resource type 682 indicates the type of resource used by the tenant.
  • the destruction amount upper limit value 683 indicates the upper limit value of the resource amount of the resource type that the tenant may cause a failure.
  • the upper limit excess information 684 indicates whether the resource amount of the resource type that has failed due to the tenant has exceeded the destruction amount upper limit value 683.
  • the destruction amount upper limit value 683 is determined by a contract with a tenant user or the like, and is input to the management server 100 by the general administrator.
  • the destruction amount upper limit value 683 may be determined in advance by the class of service provided to the tenant user, or may be a value obtained by adding a margin to the amount of resources that the tenant actually uses.
  • FIG. 9 shows resource usage history information 690.
  • Resource usage history information 690 is created by the tenant definition program 613.
  • the resource usage history information 690 associates a resource ID 691, a usage tenant ID 692, a usage LPAR-ID 693, a usage history 694, and an allocation amount 695.
  • the resource ID 691 is an identifier indicating a resource.
  • the used tenant ID 692 is an identifier indicating the tenant that uses the resource.
  • the used LPAR-ID 693 is an identifier indicating the LPAR to which the resource is assigned.
  • the usage history 694 indicates a situation in which the LPAR has used the resource.
  • the allocated amount 695 indicates an amount allocated to the LPAR among the amount of the resource, and is equal to the resource amount 667 corresponding to the LPAR and the resource in the LPAR configuration information 660.
  • the flash device usage history 694 is the number of times of writing by the LPAR.
  • the CPU usage history 694 is set to the same value as the allocation amount 695.
  • the failure of the flash device 250 depends on the number of writes that is the usage history 694.
  • the CPU 240 fails due to an instantaneous phenomenon such as overheating.
  • the number of writes of the flash device 250 may be recorded by the physical server 200 or may be recorded by the flash device 250.
  • the tenant definition program 613 acquires the number of writes from the physical server 200 and reflects it in the usage history 694 of the resource usage history information 690. Even if the LPAR is deleted and the allocation of the resource is released, the usage history 694 remains until the resource is replaced.
  • FIG. 10 shows the operation of the failure detection program 611.
  • the physical server 200 When the physical server 200 detects a resource failure, the physical server 200 transmits a failure alert to the management server 100.
  • the failure alert indicates the type of failure such as CPU overheating, a failure resource that is a failed resource, and the like.
  • the failure detection program 611 When the failure detection program 611 receives a failure alert from the physical server 200 in S110, the failure detection program 611 sets the physical server 200 that has transmitted the failure alert as an affected physical server, and shifts the processing to S120. In S120, the failure detection program 611 identifies the failure resource ID that is the resource ID of the failure resource based on the failure alert, and in S130, notifies the failure handling program 614 of the failure resource ID, and ends this flow. Thereafter, the failure detection program 611 repeats this flow.
  • the management server 100 can acquire resource failure information in the affected physical server and operate according to the acquisition.
  • FIG. 11 shows a first operation of the failure handling program 614
  • FIG. 12 shows a second operation following the first operation of the failure handling program 614.
  • the failure handling program 614 When the failure handling program 614 receives the failure resource ID from the failure detection program 611 in S210, the failure handling program 614 shifts the processing to S220. In S220, the failure handling program 614 rewrites the resource state 657 of the failure resource in the server configuration information 650 from “normal” to “failure”. In S230, the failure handling program 614 identifies the LPAR associated with the failure resource as the affected LPAR based on the LPAR configuration information 660, and identifies the tenant associated with the affected LPAR as the affected tenant based on the tenant correspondence information 670. .
  • the failure handling program 614 determines whether the failure depends on the usage history. For example, when the resource type of the failure resource is a flash device, the failure handling program 614 determines that the usage history is the number of writes, the failure depends on the usage history, and the resource type of the failure resource is other than the flash device. It is determined that the failure does not depend on the usage history.
  • the failure handling program 614 shifts the processing to S260.
  • the usage history 694 of the resource usage history information 690 has already stored the usage history for each LPAR of the failed resource.
  • the failure handling program 614 When it is determined in S240 that the failure does not depend on the usage history, the failure handling program 614 adds the information on the failure resource to the resource usage history information 690 in S250, and shifts the processing to S260.
  • the failure handling program 614 adds failure resource information for all LPARs associated with the failure resource.
  • the used resource amount set in each of the usage history 694 and the allocated amount 695 of the affected LPAR is expressed by the following equation.
  • Amount of resources used total amount of fault resources allocated to affected LPARs ⁇ number of affected LPARs
  • the failure handling program 614 determines whether there is an affected LPAR that is affected by the failure.
  • the LPAR configuration information 660 includes the LPAR-ID associated with the failure resource ID
  • the failure handling program 614 determines that there is an affected LPAR.
  • the failure handling program 614 shifts the process to S380.
  • This case is, for example, a case where a failure has occurred in the CPU core but it has not been assigned to the LPAR.
  • the failure handling program 614 selects one of the affected LPARs and executes the processing of S310 to S370 for each affected LPAR.
  • the failure handling program 614 determines whether there is Yes in the upper limit value excess information 684 corresponding to the affected tenant in the destruction amount upper limit information 680.
  • the failure handling program 614 activates the affected LPAR failure handling program 615 in S330, and the process proceeds to S370. Transition.
  • the failure handling program 614 determines that the affected tenant has an affected LPAR based on the tenant correspondence information 670 in S340. And whether it has an acceptable LPAR that is the LPAR running the hypervisor.
  • the failure handling program 614 performs a VM migration process for migrating a VM on the affected LPAR to an acceptable LPAR in S350.
  • the tenant user is notified that the VM is to be moved, and the process proceeds to S370.
  • the VM migration process may be failover (cold migration) or migration (hot migration).
  • the failover here is a process of shutting down all VMs on the affected LPAR and restarting the VM on the acceptable LPAR.
  • Migration here is the process of moving all running instances of VMs on the affected LPAR to the hypervisor on the acceptable LPAR.
  • the failure handling program 614 transmits a VM migration processing instruction to the affected physical server and the physical server executing the acceptable LPAR.
  • the failure handling program 614 may display the notification to the tenant user on the input / output device of the management server 100 or the display computer 400, or may send it to a preset address by e-mail or the like.
  • the failure handling program 614 shuts down the affected LPAR and cannot perform the VM migration process in S360, and activates the affected LPAR.
  • the tenant user is notified that (reboot) is not possible, and the process proceeds to S370.
  • the failure handling program 614 transmits an instruction to shut down the affected LPAR to the affected physical server.
  • failure handling program 614 may determine whether or not to make a VM migration process target in accordance with the type of failure indicated in the failure alert.
  • the affected tenant if the affected tenant has an acceptable LPAR even if the resource amount used by the affected tenant exceeds the predetermined destruction amount upper limit value, on the affected LPAR VMs can be moved onto an acceptable LPAR and VM execution can continue. As a result, the affected tenant can continue the business although the overall resources are reduced.
  • the affected LPAR if the amount of resources used by the affected tenant exceeds the predetermined destruction amount upper limit and the affected tenant does not have an acceptable LPAR, the affected LPAR is shut down to operate on the affected LPAR. You can safely stop your work. Moreover, it is possible to prevent the affected tenant from further destroying resources.
  • FIG. 13 shows the operation of the affected LPAR failure handling program 615.
  • the affected LPAR failure handling program 615 determines whether there is a substitute resource for the failed resource in the affected physical server based on the server configuration information 650.
  • the affected LPAR failure handling program 615 uses a resource instead of the failed resource as a substitute resource from the resource pool of the affected physical server.
  • the alternative resource has the same resource type as the failure resource and has a resource amount that is equal to or greater than the resource amount of the failure resource.
  • the affected LPAR failure handling program 615 cancels the allocation of the fault resource to the affected LPAR and assigns the alternative resource instead of the fault resource in S420. Reconstruct the LPAR and end this flow.
  • the affected LPAR failure handling program 615 transmits an instruction to reconstruct the affected LPAR to the affected physical server.
  • the affected LPAR failure handling program 615 creates an LPAR of the same specifications as the affected LPAR on the physical server 200 other than the affected physical server in S430. It is determined whether or not there are free resources to construct.
  • the free resources here have the same resource type and the same resource amount as all the resources allocated to the affected LPAR.
  • the affected LPAR failure handling program 615 sets the physical server 200 having the free resource as an acceptable physical server in S440. Then, an LPAR is constructed by using free resources on the acceptable physical server, and the affected LPAR on the affected physical server is moved to the acceptable physical server.
  • the LPAR migration process may be a failover or a migration, similar to the VM migration process.
  • the affected LPAR failure handling program 615 deallocates the normal resource assigned to the affected LPAR and includes the normal resource in the resource pool. As a result, the normal resource can be used by another LPAR.
  • the affected LPAR failure handling program 615 transmits an LPAR migration processing instruction to the affected physical server and the acceptable physical server.
  • the affected LPAR failure handling program 615 determines that the affected tenant is other than the affected LPAR based on the tenant correspondence information 670 in S450. Whether it has an acceptable LPAR that is the LPAR running the hypervisor.
  • the affected LPAR failure handling program 615 If it is determined in S450 that the affected tenant has an acceptable LPAR (Yes), the affected LPAR failure handling program 615 performs a VM migration process in S460 and notifies the tenant user that the VM is to be migrated. And this flow is complete
  • the affected LPAR failure handling program 615 transmits a VM migration processing instruction to the affected physical server and the acceptable physical server.
  • the affected LPAR failure handling program 615 shuts down the affected LPAR and cannot perform the VM migration process in S470, and the affected LPAR The tenant user is notified that the VM cannot be started, and this flow is terminated.
  • the affected LPAR failure handling program 615 transmits an instruction to shut down the affected LPAR to the affected physical server.
  • the affected LPAR failure handling program 615 performs a VM migration process from the affected LPAR to the acceptable LPAR before performing the LPAR migration process. You can go.
  • the affected LPAR failure handling program 615 may set a priority for each VM in advance, and may select a VM migration process and an LPAR migration process according to the priority. For example, when the priority of three levels of high, medium, and low is set to VM, the affected LPAR failure handling program 615 preferentially saves the VM with high priority by the VM migration processing, and the priority VMs having low priority are shut down without moving, and VMs having medium priority are saved together with the hypervisor by LPAR move processing.
  • the number of active VMs on the affected LPAR is reduced by the VM migration process, and the memory usage of the hypervisor on the affected LPAR is reduced, thereby reducing the processing load and communication load of the LPAR migration process.
  • the alternative resource can be assigned to the affected LPAR instead of the failed resource, and execution of the VM on the affected LPAR can be continued. Further, if there is a free resource having the same resource amount as the affected LPAR in the acceptable physical server, the affected LPAR on the affected physical server can be moved to the acceptable physical server and the execution of the VM can be continued. As a result, the affected tenant can continue operations without reducing resources. Also, even if there are no alternative resources in the affected physical server or free resources in the acceptable physical server, if the affected tenant has an acceptable LPAR executing the hypervisor, the affected LPAR changes to the acceptable LPAR.
  • the VM can be moved. As a result, the affected tenant can continue the business although the overall resources are reduced. Also, if there are no alternative resources in the affected physical server or free resources in the acceptable physical server and the affected tenant does not have an acceptable LPAR, the affected LPAR can be shut down to operate on the affected LPAR. You can safely stop your work. Moreover, it is possible to prevent the affected tenant from further destroying resources.
  • the acceptance that is a physical resource that can be used as an alternative to the failure resource in any of the plurality of physical servers 200 It is determined whether there is an acceptable physical resource. If it is determined that there is an acceptable physical resource, an acceptable physical resource is allocated to the virtual machine instead of the failed resource.
  • the acceptable physical resource includes any one of an alternative resource in the affected physical server, a free resource in the acceptable physical server, and a physical resource allocated to the acceptable LPAR. Thereby, the operation of the VM on the affected LPAR can be continued.
  • FIG. 14 shows the operation of the upper limit excess check program 616.
  • the upper limit excess check program 616 acquires all tenants from the used tenant 692 of the resource usage history information 690, selects one of the acquired tenants as the target tenant, and performs S500 to S590 for each target tenant. Execute the process.
  • the upper limit excess check program 616 acquires all resource IDs from the resource ID 691 of the resource usage history information 690, and all resource types corresponding to the acquired resource ID from the resource type 654 of the server configuration information 650. , Select one of the acquired resource types as the target resource type, and execute the processing of S510 to S580 for each target resource type.
  • the upper limit excess check program 616 activates the destruction amount calculation program 617, and sends a list of all resource IDs corresponding to the target tenant and the target resource type and the tenant ID of the target tenant to the destruction amount calculation program 617. hand over.
  • the upper limit excess check program 616 receives the destruction amount from the destruction amount calculation program 617 in S530.
  • the upper limit value excess check program 616 acquires the destruction amount upper limit value 683 corresponding to the target tenant and the target resource type of the destruction amount upper limit information 680, and determines whether or not the destruction amount is larger than the destruction amount upper limit value. To do.
  • the upper limit value excess check program 616 sets the upper limit value excess information 684 corresponding to the acquired destruction amount upper limit value in S550. No ”is set, and the process proceeds to S580.
  • the upper limit value excess check program 616 sets the upper limit value excess information 684 corresponding to the acquired destruction amount upper limit value to “Yes” in S560.
  • the tenant user of the target tenant is notified that no more resources can be allocated, and the process proceeds to step S580.
  • the upper limit excess check program 616 returns to S510 if there is the next target resource type in S580, and shifts the processing to S590 if not. If there is a next target tenant in S590, the upper limit excess check program 616 returns to S500, and if not, ends this flow.
  • FIG. 15 shows the operation of the destruction amount calculation program 617.
  • the destruction amount calculation program 617 acquires a list of resource IDs belonging to the target tenant and the target resource type from the upper limit excess check program 616 in S610.
  • the destruction amount calculation program 617 initializes the destruction amount to 0 in S620.
  • the destruction amount calculation program 617 selects one of the resource IDs in the list as a target resource, and executes the processing of S630 to S680 for each target resource.
  • the destruction amount calculation program 617 determines whether or not the resource state 657 of the target resource indicates a failure in the server configuration information 650.
  • the destruction amount calculation program 617 calculates and calculates the allocation amount of the target resource to the target tenant in S650.
  • the distribution amount is added to the destruction amount, and the process proceeds to S680.
  • the allocation amount indicates the resource amount allocated according to the usage history of the target tenant among the resource amounts of the target resource, and is expressed by the following expression based on the resource usage history information 690.
  • Allocation amount Total value of allocation amount 695 of target resource to all tenants ⁇ Total value of usage history 694 of target resource by target tenant ⁇ Total value of usage history 694 of target resource by all tenants
  • the allocation amount of the flash device Flash1-1 to the tenant A in FIG. 9 will be described.
  • the resource amount that is not allocated to the affected LPAR among the resource amounts of the target resource is not added as the destruction amount. For example, among the CPUs having 4 cores, 3 cores are allocated to the tenant, and the remaining 1 core is not allocated. If this CPU fails, 3 cores are recorded as the allocated amount for each tenant, and the remaining One core of is not counted as a distribution amount. Note that the resource amount that is not allocated to the tenant may be recorded as the distribution amount of the affected tenant.
  • the allocation amount 695 of the target resource allocated to the target tenant is the allocation amount.
  • the calculation formula of the distribution amount may be a different formula depending on the resource type.
  • the destruction amount calculation program 617 assigns the target resource to the affected LPAR based on the LPAR configuration information 660 in S660. It is determined whether or not.
  • the destruction amount calculation program 617 shifts the processing to S680.
  • the target resource is a normal resource that was previously assigned to the affected LPAR but is not currently assigned to the affected LPAR.
  • the destruction amount calculation program 617 in S670 the resource amount assigned to the affected LPAR among the target resources, that is, LPAR configuration information
  • the resource amount 667 corresponding to the combination of the affected LPAR and the target resource of 660 is added to the destruction amount, and the process proceeds to S680.
  • the destruction amount calculation program 617 if there is a next target resource ID, the destruction amount calculation program 617 returns to S630. If not, the destruction amount calculation program 617 passes the destruction amount to the upper limit excess check program 616 in S690, and ends this flow.
  • the destruction amount calculation program 617 it is possible to calculate the total resource amount of the target resource type that the tenant has used and has failed so far. Further, by allocating the resource amount of the failure resource to the tenant that uses the failure resource according to the usage history, the use by the tenant can be reflected in the destruction amount.
  • the resource amount of the failure resource can be distributed to each tenant according to the cumulative usage amount of the failure resource by each tenant.
  • the resource amount of the failure resource can be distributed to each tenant according to the allocation amount of the failure resource to each tenant.
  • FIG. 16 shows the operation of the post-recovery processing program 618.
  • the physical server 200 when the failed resource is replaced with a recovery resource that is a new resource having the same resource type and the same resource amount, the physical server 200 transmits a recovery alert to the management server 100.
  • the recovery alert indicates the type of recovery and recovery resources.
  • the recovery post-processing program 618 When the recovery post-processing program 618 receives a recovery alert from the physical server 200 in S710, the processing proceeds to S720.
  • the post-recovery processing program 618 specifies a recovery resource ID that is the resource ID of the recovery resource based on the recovery alert.
  • the post-recovery processing program 618 rewrites the resource state 657 of the recovery resource in the server configuration information 650 from “failure” to “normal”.
  • the post-recovery processing program 618 initializes the usage history 694 corresponding to the recovery resource ID in the resource usage history information 690, and updates the allocation amount 695. For example, when the recovery resource is a flash device, the number of writes in the usage history 694 is initialized.
  • the post-recovery processing program 618 activates the upper limit excess check program 616 in S750 and ends this flow. As a result, the resource amount based on the failure resource is removed from the destruction amount of the resource type of the failure resource.
  • the post-recovery processing program 618 indicates that the resource can be allocated. May be notified.
  • the management server 100 can update the resource usage history in response to the replacement of the failed resource. Further, when a failure resource is assigned to the tenant LPAR, the usage history of the failure resource is initialized. As a result, the amount of resources used by the tenant may change from a state where it exceeds a predetermined destruction amount upper limit value to a state where it does not exceed. In this case, a new resource can be allocated to the LPAR of the tenant.
  • FIG. 17 shows a resource status input screen.
  • the resource status input program 621 displays a resource status input screen on the input / output device of the management server 100 or the display computer 400 according to the operation of the management server 100 or the display computer 400 by the general administrator. Accepts input.
  • the resource status input screen includes resource status information 710, a failure button 721, a recovery button 722, and an deallocation flag 723.
  • the resource status input program 621 creates the resource status information 710 based on the server configuration information 650 and the LPAR configuration information 660.
  • the resource state information 710 has an entry for each resource.
  • One resource entry includes a designation flag (#) 711, a resource 712, an allocation destination LPAR 713, an LPAR operating status 714, physical server information 715, and a resource status 716.
  • a designation flag 711 is a check box, and when set to true, designates the resource as a designated resource.
  • the resource 712 is a resource ID indicating the resource, and is based on the resource ID 655 of the server configuration information 650.
  • the allocation destination LPAR 713 is an LPAR-ID indicating the LPAR to which the resource is allocated, and is based on the LPAR-ID 661 of the LPAR configuration information 660.
  • the LPAR operating status 714 indicates whether the LPAR is operating or stopped, and is based on the LPAR operating status 663 of the LPAR configuration information 660.
  • the physical server information 715 indicates the physical server ID of the physical server 200 having the resource, and is based on the physical server ID 651 of the server configuration information 650.
  • the resource state 716 indicates whether the resource is normal or failed, and is based on the resource state 657 of the server configuration information 650.
  • the affected physical server and the management server 100 may not be able to identify the failure resource immediately after the occurrence of the failure, and the failure resource may be identified by cause analysis performed thereafter.
  • the failure resource can be set using the resource status input screen.
  • the failure button 721 is pressed while the designated resource is designated by the designation flag 711, the resource state input program 621 changes the resource state 657 of the designated resource to “failure” in the server configuration information 650.
  • the resource state input program 621 may distinguish a failure input from the resource state input screen from a failure detected by the physical server 200. For example, the resource state input program 621 rewrites the resource state 657 of the server configuration information 650 as “failure (manual)” for the failure input on the resource state input screen.
  • the failure detection program 611 When the failure button 721 is pressed, the failure detection program 611 performs the same process as when a failure alert is received. Therefore, when the resource state input program 621 receives information indicating that the failure button 721 has been pressed, the resource state input program 621 transmits a pseudo failure alert to the management server 100 to the physical server 200 corresponding to the specified resource. You may request.
  • the management server 100 has not received a recovery alert from the physical server 200 but the general administrator determines that the resource has been recovered, or if a failure is entered using the resource status input screen but it is desired to return to normal, A person can set a recovery resource using the resource status input screen.
  • the recovery button 722 is pressed while the designated resource is designated by the designation flag 711, the resource status input program 621 changes the resource status 657 of the designated resource to “normal” in the server configuration information 650.
  • the post-recovery processing program 618 When the recovery button 722 is pressed, the post-recovery processing program 618 performs the same processing as when a recovery alert is received. Therefore, when the resource status input program 621 receives information indicating that the recovery button 722 has been pressed, the resource status input program 621 transmits a pseudo recovery alert to the management server 100 to the physical server 200 corresponding to the specified resource. You may request.
  • the deallocation flag 723 sets whether to perform deallocation (re-allocation execution) immediately.
  • the management server 100 determines that the LPAR Perform a restart. If it is necessary to restart the LPAR and the deallocation flag 723 is invalid, the general administrator manually shuts down the LPAR, and the management server 100 manages all the corresponding LPARs to which the specified resource is allocated.
  • the LPAR operation status 663 of the LPAR configuration information 660 is stopped, the operation when the failure alert or the recovery alert is received is performed.
  • the deallocation flag 723 may be omitted. In this case, the LPAR is restarted by a predetermined method.
  • the resource status input screen displays information indicating the topology such as the allocation destination LPAR 713 and the physical server information 715, the LPAR operating status 714, and the resource status 716 together with the resource ID. Therefore, it is possible to assist the judgment of the general manager and prevent misjudgment. Even when the general administrator manually sets a failure or recovery, the management server 100 can operate in the same manner as when the physical server 200 detects a failure or recovery.
  • FIG. 18 shows a monitoring screen.
  • the monitoring screen output program 622 displays a monitoring screen on the input / output device of the management server 100 or the display computer 400 according to the operation of the management server 100 or the display computer 400 by the general administrator or a tenant user of a specific tenant.
  • the monitoring screen is an interface for displaying information such as monitoring and alerts to the general administrator and tenant users based on information held by the management server 100. However, the tenant user can browse only information related to his / her tenant.
  • the monitoring screen includes an alert display unit 810, a resource type designation unit 820, and a monitoring display unit 830.
  • the resource type designation unit 820 accepts the selection of the resource type by the tenant user and sets the selected resource type as the selected resource type.
  • the monitoring display unit 830 displays the number of exchanges of the selected resource type by the tenant for each preset unit time.
  • the horizontal axis is time
  • the vertical axis is the number of exchanges.
  • the monitoring display unit 830 further displays the replacement number upper limit on the vertical axis.
  • the number of replacements and the replacement number threshold here are the number of times a new resource is allocated to the tenant due to a failure of a resource of the selected resource type. Note that the destruction amount may be used instead of the number of exchanges.
  • the upper limit value of the number of exchanges for the selected resource type of the tenant is, for example, a value obtained by dividing the destruction amount upper limit value by the allocated amount.
  • the monitoring display unit 830 displays a warning mark 831. Note that the monitoring screen may display how many more replacements can be performed up to the upper limit of the number of replacements for the selected resource type.
  • Alert display unit 810 displays an alert to the general administrator or tenant user.
  • the alert display unit 810 displays an alert when a calculated value for the tenant and a specific resource type exceeds a preset alert threshold value in a unit time.
  • the monitoring screen output program 622 can set an alert threshold and an alert notification based on an input from the general administrator or a tenant user.
  • the tenant user can set only for his own tenant.
  • the calculated value is, for example, a resource exchange frequency or a resource exchange remaining amount.
  • the resource exchange frequency is the number of times that a new resource is assigned to the tenant due to a failure within a unit time for a specific resource type.
  • the resource replacement remaining amount is a value obtained by subtracting the destruction amount from the destruction amount upper limit value, and indicates how much resource amount can be allocated to the destruction amount upper limit value.
  • the resource replacement remaining amount is a value obtained by subtracting the number of replacements from the replacement number upper limit value, and indicates how many times the resource amount can be allocated up to the replacement number upper limit value.
  • the alert display unit 810 asks the general administrator whether to send an alert to the tenant user, or Display an inquiry as to whether to suppress tenant resource exchange. Accordingly, the monitoring screen output program 622 transmits an alert to the tenant user when a transmission instruction is input from the general administrator, and when an instruction to suppress resource exchange is input from the general administrator, A process is performed in which the tenant upper limit excess information 684 is set to Yes.
  • the alert display unit 810 has a problem with the operating system for the tenant user. Indicates that it is necessary to review whether there is any.
  • the alert display unit 810 indicates that there is a possibility that the specifications of the CPU are insufficient with respect to the operating system, and that it is necessary to confirm whether or not an excessive load is applied to the flash device. .
  • the destruction amount of a certain tenant is likely to reach the destruction amount upper limit value, or if it reaches, the tenant user of the tenant will not be able to exchange more resources, no more resources will be exchanged, Indicates that the upper limit of destruction can be increased by moving to service.
  • the general administrator or the tenant user determines whether the tenant is operating stably, whether there is a sudden change, whether the amount of destruction or the number of replacements is less than the upper limit, etc. You can check the situation.
  • FIG. 19 shows a destruction amount upper limit input screen.
  • the destruction amount upper limit value input program 623 displays a destruction amount upper limit value input screen on the input / output device of the management server 100 or the display computer 400 according to the operation of the management server 100 or the display computer 400 by the general administrator. Accepts input from the general administrator. Thereby, the destruction amount upper limit value input program 623 creates the destruction amount upper limit value information 680.
  • the destruction amount upper limit input program 623 may acquire the destruction amount upper limit information 680 that is collectively input as a file based on the template without using the destruction amount upper limit input screen.
  • the destruction amount upper limit value input screen includes destruction amount upper limit value information 910, an enter button 921, and a cancel button 922.
  • the destruction amount upper limit information 910 includes a tenant ID 911, a resource type 912, and a destruction amount upper limit value 913.
  • the destruction amount upper limit information 910 includes entries for all tenants and all resource types.
  • the tenant ID 911 is an identifier indicating a tenant.
  • a resource type 912 indicates a resource type.
  • the destruction amount upper limit value 913 is represented by a set value and a unit. The general administrator can input a set value in the destruction amount upper limit value 913 and can select a unit.
  • the destruction amount upper limit value input program 623 reflects the content input to the destruction amount upper limit information 910 in the destruction amount upper limit information 680.
  • the destruction amount upper limit value input program 623 discards the contents input to the destruction amount upper limit value information 910.
  • the overall administrator can set the destruction amount upper limit for each resource type based on a contract with the tenant user.
  • a failure alert may be transmitted to the management server 100 and processed by the failure detection program 611 in the same manner as a failure.
  • the physical server 200 sets a failure predictive threshold lower than the write count threshold that is the lifetime of the flash device, and transmits a failure alert to the management server 100 when the write count exceeds the failure predictive threshold.
  • the management server 100 can process a failure sign in the same manner as a failure.
  • the LPAR and VM in this embodiment can be regarded as virtual machines having different layers.
  • a hypervisor may be used instead of the logical partitioning mechanism, the physical server 200 may execute the hypervisor, and the hypervisor may execute a plurality of VMs.
  • the hypervisor may be hierarchized.
  • the LPAR may execute the OS. In this case, the LPAR move process is executed instead of the VM move process. Further, there may be one tenant in the computer system.
  • processing order in each program can be exchanged.
  • the order of the processing of S260 to S370 and the processing of S380 in the failure handling program 614 can be exchanged.
  • the management computer corresponds to the management server 100 or the like.
  • the memory corresponds to the memory 110 and the like.
  • the network interface corresponds to the NIC 130 or the like.
  • the processor corresponds to the CPU 120 and the like.
  • the display device and the input device correspond to the input / output device 140 or the display computer 400.
  • the physical computer corresponds to the physical server 200 or the like.
  • the virtual machine corresponds to LPAR or VM.
  • a user corresponds to a tenant or the like.
  • the correspondence information corresponds to the configuration information 630, the tenant information 640, and the like.
  • the upper limit value corresponds to the upper limit value of the destruction amount.
  • the failure information corresponds to a failure alert, information indicating that the failure button 721 is pressed, or the like.
  • the recovery information corresponds to information indicating that the recovery alert or the recovery button 722 has been pressed.
  • the nonvolatile semiconductor memory corresponds to the flash device 250 or the like.
  • the input screen corresponds to a resource status input screen or the like.
  • Information based on the amount of destruction corresponds to the number of exchanges, the amount of destruction, the frequency of resource exchange, the remaining amount of resource exchange, an alert to the general administrator or tenant user, and the like.
  • DESCRIPTION OF SYMBOLS 100 Management server 110 ... Memory 120 ... CPU 130 ... NIC 140 ... Input / output device 200 ... Physical server 230 ... Memory 240 ... CPU 250 ... Flash device 260 ... Memory 280 ... Logical partition mechanism 300 ... Disk array apparatus 400 ... Display computer 610 ... management program 630 ... configuration information 640 ... tenant information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Hardware Redundancy (AREA)

Abstract

 仮想計算機が物理リソースを過度に破壊することを防ぐ。 管理計算機において、メモリは、第一物理計算機と、第一物理計算機により実行されている仮想計算機と、仮想計算機へ割り当てられている第一物理リソースと、仮想計算機を使用するユーザとの対応情報を記憶し、故障した物理リソースを示す故障情報を記憶し、ユーザによる使用に起因して故障した物理リソースの量である破壊量に対し、上限値を記憶する。プロセッサは、破壊量を算出し、第一物理リソースが故障したと判定され、且つ破壊量が上限値以下であると判定され、且つ複数の物理計算機の何れかに第二物理リソースが有ると判定された場合、第一物理リソースに代えて第二物理リソースを仮想計算機へ割り当てる指示を第一物理計算機へ送信する。

Description

管理計算機および管理プログラム
 本発明は、計算機を管理する管理計算機に関する。
 物理計算機がLPAR(Logical Partition:論理区画)やVM(Virtual Machine)などの仮想計算機を提供する技術が知られている。
 特許文献1には、物理サーバが複数のLPARを構築し、物理サーバの障害が発生した時、管理サーバはその障害の影響を受けるLPARを特定し、特定されたLPARのみをフェイルオーバすることで、他のLPARを継続させる技術が記載されている。
特開2011-258233号公報
 仮想計算機に割り当てられている物理リソースが故障し、その故障の影響を受けた仮想計算機が、故障した物理リソースの代わりに新たな物理リソースを用いて動作する場合、その仮想計算機の動作に起因して新たな物理リソースも故障することがある。これにより、他の仮想計算機も故障の影響を受けることがある。
 上記課題を解決するために、本発明の一態様である管理計算機は、メモリと、複数の物理計算機に接続されるネットワークインターフェースと、メモリおよびネットワークインターフェースに接続されるプロセッサと、を備える。メモリは、複数の物理計算機の中の第一物理計算機と、第一物理計算機により実行されている仮想計算機と、第一物理計算機に含まれており且つ仮想計算機へ割り当てられている第一物理リソースと、仮想計算機を使用するユーザとの対応付けを示す対応情報を記憶し、故障した物理リソースを示す故障情報を記憶し、第一物理リソースと同じ種類の物理リソースでユーザによる使用に起因して故障した物理リソースの量である破壊量に対し、上限値を記憶する。プロセッサは、対応情報および故障情報に基づいて破壊量を算出し、破壊量が上限値以下であるか否かを判定し、故障情報に基づいて第一物理リソースが故障したか否かを判定し、第一物理リソースが故障したと判定され且つ破壊量が上限値以下であると判定された場合、対応情報に基づいて、複数の物理計算機の何れかに第一物理リソースの代替として使用できる第二物理リソースが有るか否かを判定し、第二物理リソースが有ると判定された場合、第一物理リソースに代えて第二物理リソースを仮想計算機へ割り当てる指示を第一物理計算機へ送信する。
 本発明の一態様によれば、仮想計算機が物理リソースを過度に破壊することを防ぐことができる。
本発明の実施例の計算機システムの構成を示す。 物理サーバ200の論理構成を示す。 管理サーバ100の構成を示す。 計算機システムの動作の概要を示す。 サーバ構成情報650を示す。 LPAR構成情報660を示す。 テナント対応情報670を示す。 破壊量上限値情報680を示す。 リソース使用履歴情報690を示す。 障害検知プログラム611の動作を示す。 障害対処プログラム614の第一の動作を示す。 障害対処プログラム614の第一の動作に続く第二の動作を示す。 影響LPAR障害対処プログラム615の動作を示す。 上限値超過チェックプログラム616の動作を示す。 破壊量算出プログラム617の動作を示す。 復旧後処理プログラム618の動作を示す。 リソース状態入力画面を示す。 監視画面を示す。 破壊量上限値入力画面を示す。
 なお、以後の説明では「aaaテーブル」、「aaaリスト」、「aaaDB」、「aaaキュー」等の表現にて本発明の情報を説明するが、これら情報はテーブル、リスト、DB、キュー、等のデータ構造以外で表現されていてもよい。そのため、データ構造に依存しないことを示すために「aaaテーブル」、「aaaリスト」、「aaaDB」、「aaaキュー」等について「aaa情報」と呼ぶことがある。
 さらに、各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「名前」、「ID」という表現を用いるが、これらについてはお互いに置換が可能である。
 以後の説明では「プログラム」を主語として説明を行う場合があるが、プログラムはプロセッサによって実行されることで定められた処理をメモリ及び通信ポート(通信制御デバイス)を用いながら行うため、プロセッサを主語とした説明としてもよい。また、プログラムを主語として開示された処理は管理サーバ等の計算機、情報処理装置が行う処理としてもよい。また、プログラムの一部または全ては専用ハードウェアによって実現されてもよい。
 また、各種プログラムはプログラム配布サーバや、計算機が読み取り可能な記憶メディア(computer-readable memory media)によって各計算機にインストールされてもよい。この場合、プログラム配布サーバはCPUと記憶資源を含み、記憶資源はさらに配布プログラムと配布対象であるプログラムを記憶している。そして、配布プログラムをCPUが実行することで、プログラム配布サーバのCPUは配布対象のプログラムを他の計算機に配布する。
 なお、管理計算機は入出力デバイスを有する。入出力デバイスの例としてはディスプレイとキーボードとポインタデバイスが考えられるが、これ以外のデバイスであってもよい。また、入出力デバイスの代替としてシリアルインターフェースやイーサーネットインターフェースを入出力デバイスとし、当該インターフェースにディスプレイ又はキーボード又はポインタデバイスを有する表示用計算機を接続し、表示用情報を表示用計算機に送信したり、入力用情報を表示用計算機から受信することで、表示用計算機で表示を行ったり、入力を受け付けることで入出力デバイスでの入力及び表示を代替してもよい。
 以後、情報処理システムを管理し、本願発明の表示用情報を表示する一つ以上の計算機の集合を管理システムと呼ぶことがある。管理計算機が表示用情報を表示する場合は管理計算機が管理システムである。また、管理計算機と表示用計算機の組み合わせも管理システムである。また、管理処理の高速化や高信頼化のために複数の計算機で管理計算機と同等の処理を実現してもよく、この場合は当該複数の計算機(表示を表示用計算機が行う場合は表示用計算機も含め)が管理システムである。
 以下、本発明の実施例について図面を用いて説明する。
 本実施例では、LPARやVMなどの仮想計算機をユーザに提供する複数の物理サーバと、それらを管理する管理サーバとを含む計算機システムについて説明する。
 図1は、本発明の実施例の計算機システムの構成を示す。
 本実施例の計算機システムは、管理サーバ100と、複数の物理サーバ200と、ディスクアレイ装置300と、表示用計算機400とを含む。管理サーバ100と、複数の物理サーバ200と、表示用計算機400とは、LAN(Local Area Network)510を介して互いに接続されている。複数の物理サーバ200と、ディスクアレイ装置300とは、SAN(Storage Area Network)520を介して互いに接続されている。
 ディスクアレイ装置300は、HDD(Hard Disk Drive)やフラッシュデバイスなどの複数の記憶媒体を有し、それらの記憶媒体に基づいて複数のLU(Logical Unit)310を物理サーバ200に提供する。
 物理サーバ200は、複数のNIC(Network Interface Card)210と、BMC(Base Management Controller)220と、複数のメモリ230と、複数のCPU(Central Processing Unit)240と、複数のフラッシュデバイス250と、メモリ260と、複数のHBA(Host Bus Adaptor)270とを含む。なお、NIC210と、メモリ230と、CPU240と、フラッシュデバイス250と、HBA270とのそれぞれは、一つであっても良い。フラッシュデバイス250は、記憶媒体としてフラッシュメモリなどの不揮発性半導体メモリを有する記憶デバイスである。フラッシュデバイス250は、書き込み回数の増大に伴って劣化する。
 NIC210は、LAN510に接続されており、管理サーバ100との通信を行う。BMC220は、LAN510に接続されており、物理サーバ200のハードウェアの監視、リモートコントロール、ハードウェアイベントの記録などを行う。メモリ230は、物理サーバ200の処理のためのプログラムおよびデータを格納する。CPU240は、メモリ230に格納されているプログラムおよびデータに基づいて処理を実行する。フラッシュデバイス250は、フラッシュメモリなどの不揮発性半導体メモリを含み、データを格納する。メモリ260は、論理分割(Logical Partitioning)機構280のプログラムを格納する。なお、メモリ260は、HDDやフラッシュデバイスなどのローカルストレージであっても良い。HBA270は、SAN520に接続されており、ディスクアレイ装置300との通信を行う。
 複数の物理サーバ200は、マルチテナント環境を提供する。マルチテナント環境は、幾つかの物理サーバ200を、複数の組織で共同利用する環境である。マルチテナント環境の全体管理者は、マルチテナント環境を提供する物理サーバ200や、マルチテナント環境全体のリソース(物理リソース)に対して管理者権限を持つ。マルチテナント環境におけるテナントは、マルチテナント環境を利用する組織に対応付けられたリソースのグループである。リソースは、物理サーバ200内のCPU240、メモリ230、フラッシュデバイス250、NIC210、HBA270など、物理サーバ200に搭載される物理リソースの一部である。テナントユーザは、テナントのリソースに対して管理者権限を持つユーザである。LPARは、物理サーバ200内のリソースを論理的に分割して得られる区画である。論理分割機構280は、物理サーバ200上にLPARを構築するためのファームウェアである。本実施例では、LPAR上でハイパーバイザが動作する。ハイパーバイザは、物理サーバ200又はLPARを仮想化することにより、複数のVMを並列に実行するプログラムである。各VMは、業務のためのOS(Operating System)やアプリケーションを実行する。
 以下、物理サーバ200を構成するリソースが、物理的な損傷により、計算機システムから利用できなくなる状態になることを、故障と呼ぶ。物理的な損傷は、例えば、CPU240の場合、過電流、過電圧、過熱などであり、フラッシュデバイス250の場合、書き込み過多によるメモリセルの劣化などである。LPARがリソースを破壊する場合とは、CPU240の長時間の高負荷処理による加熱を原因とするCPUの故障や、フラッシュデバイス250の書き込み過多によるメモリセルの劣化を原因とするフラッシュデバイス250の故障などである。
 図2は、物理サーバ200の論理構成を示す。
 ここでは、複数の物理サーバ200の中の物理サーバ(1)および物理サーバ(2)について説明する。物理サーバ(1)は、論理分割機構(1)を実行する。物理サーバ(2)は、論理分割機構(2)を実行する。
 テナントAのテナントユーザは、管理サーバ100または表示用計算機400を介して、論理分割機構(1)にLPAR-A1の作成を指示し、論理分割機構(2)にLPAR-A2の作成を指示する。テナントBのテナントユーザは、管理サーバ100または表示用計算機400を介して、論理分割機構(1)にLPAR-B1の作成を指示し、論理分割機構(2)にLPAR-B2の作成を指示する。論理分割機構(1)は、LPAR-A1およびLPAR-B1のそれぞれに対し、物理サーバ(1)内のCPU、メモリ、フラッシュデバイス、NIC、HBAなどのリソースを割り当てる。論理分割機構(2)は、LPAR-A1およびLPAR-B1のそれぞれに対し、物理サーバ(2)内のCPU240、メモリ230、フラッシュデバイス250、NIC210、HBA270などのリソースを割り当てる。
 テナントAのテナントユーザは、管理サーバ100または表示用計算機400を介して、LPAR-A1にハイパーバイザ(A1)を実行させ、LPAR-A2にハイパーバイザ(A2)を実行させる。更にテナントAのテナントユーザは、管理サーバ100または表示用計算機400を介して、ハイパーバイザ(A1)にVM(A11)およびVM(A12)の作成を指示し、ハイパーバイザ(A2)にVM(A21)およびVM(A22)の作成を指示する。更にテナントAのテナントユーザは、管理サーバ100または表示用計算機400を介して、VM(A11)、VM(A12)、VM(A21)、VM(A22)にそれぞれ、業務のためのOS(A11)、OS(A12)、OS(A21)、OS(A22)を実行させる。同様にして、テナントBのテナントユーザは、管理サーバ100または表示用計算機400を介して、LPAR-B1にハイパーバイザ(B1)を実行させ、LPAR-B2にハイパーバイザ(B2)を実行させる。更にテナントBのテナントユーザは、管理サーバ100または表示用計算機400を介して、ハイパーバイザ(B1)にVM(B11)およびVM(B12)の作成を指示し、ハイパーバイザ(B2)にVM(B21)およびVM(B22)の作成を指示する。更にテナントBのテナントユーザは、管理サーバ100または表示用計算機400を介して、VM(B11)、VM(B12)、VM(B21)、VM(B22)にそれぞれ、業務のためのOS(B11)、OS(B12)、OS(B21)、OS(B22)を実行させる。
 論理分割機構(1)は、物理サーバ(1)内の正常なリソースのうち、共有リソースおよびLPARに割り当てられていないリソースを、リソースプール(1)として管理する。同様に、論理分割機構(2)は、物理サーバ(2)内の正常なリソースのうち、共有リソースおよびLPARに割り当てられていないリソースを、リソースプール(2)として管理する。
 図3は、管理サーバ100の構成を示す。
 管理サーバ100は、メモリ110と、CPU120と、NIC130と、入出力デバイス140とを含む。メモリ110は、管理サーバ100の処理のためのプログラムおよびデータを格納する。なお、メモリ110は、フラッシュメモリやHDDなどのローカルストレージであっても良い。CPU120は、メモリ110に格納されたプログラムおよびデータに基づいて処理を実行する。NIC130は、LAN510に接続されており、物理サーバ200および表示用計算機400との通信を行う。入出力デバイス140は、キーボードやポインティングデバイスなどの入力デバイスと、ディスプレイやプリンタなどの出力デバイスとを含む。
 メモリ110は、管理プログラム610と、構成情報630と、テナント情報640とを格納する。構成情報630は、物理サーバ200の構成を示す。テナント情報640は、どのテナントがどのLPARを使用しているかなど、テナントとLPARの対応関係を示す。
 管理プログラム610は、障害検知プログラム611と、構成情報収集プログラム612と、テナント定義プログラム613と、障害対処プログラム614と、影響LPAR障害対処プログラム615と、上限値超過チェックプログラム616と、破壊量算出プログラム617と、復旧後処理プログラム618と、リソース状態入力プログラム621と、監視画面出力プログラム622と、破壊量上限値入力プログラム623とを含む。
 構成情報630は、サーバ構成情報650と、LPAR構成情報660とを含む。テナント情報640は、テナント対応情報670と、破壊量上限値情報680と、リソース使用履歴情報690とを含む。
 構成情報収集プログラム612は、物理サーバ200に搭載されている物理リソースの情報を物理サーバ200から収集し、収集された情報に基づいてサーバ構成情報650を作成する。更に構成情報収集プログラム612は、物理サーバ200中に構築されたLPARの情報などを収集し、収集された情報に基づいてLPAR構成情報660を作成する。LPAR構成情報660は、どのLPARがどの物理リソースをどれくらい使用しているかなど、LPARと物理リソースの対応関係を示す。構成情報収集プログラム612は、LPARの構築時に物理サーバ200から構成情報を取得しても良いし、定期的に物理サーバ200から構成情報を取得しても良いし、物理サーバ200から通知されるイベントに応じて物理サーバ200から構成情報を取得しても良い。
 テナント定義プログラム613は、全体管理者により管理サーバ100または表示用計算機400を用いて入力されるテナントの定義情報を物理サーバ200へ送信する。更にテナント定義プログラム613は、物理サーバ200中に格納されているテナントの定義情報を取得し、受信された情報に基づいてテナント対応情報670およびリソース使用履歴情報690を作成する。テナントの定義情報は、物理サーバ200内に格納されているが、管理サーバ100内に格納されていても良い。この場合、物理サーバ200からテナントの定義情報を受信することは不要である。テナントユーザはテナントの定義情報を操作できない。
 表示用計算機400は、管理サーバ100と同様、メモリとCPUとNICと入出力デバイスを含む。
 図4は、計算機システムの動作の概要を示す。
 この図は、物理サーバ(1)内に構築されているマルチテナント環境において、テナントAのテナントユーザにより利用されているLPAR-A1に対する、物理サーバ(1)のリソースの割り当ての状態の遷移を示している。
 物理サーバ(1)は、LPARにより使用可能なリソースである使用可能リソースとして、CPU(1)、CPU(2)、メモリ(1)、メモリ(2)、フラッシュデバイス(1)、フラッシュデバイス(2)、フラッシュデバイス(3)、NIC(1)、NIC(2)、HBA(1)、HBA(2)を有する。テナントAのLPAR-A1には、使用可能リソースのうち、CPU(1)とメモリ(1)とフラッシュデバイス(1)とNIC(1)とHBA(1)が割り当てられているとする。これらをそれぞれ、割り当てCPU、割り当てメモリ、割り当てフラッシュデバイス、割り当てNIC、割り当てHBAと呼ぶ。
 ここで、フラッシュデバイス(1)の故障が発生したとする(S10)。その後、管理サーバ100は、LPAR-A1へのフラッシュデバイス(1)の割り当てを解除する。ここで、これまでにテナントAにより使用されて故障したフラッシュデバイスのリソース量の合計である破壊量が予め定められた上限値以下であるという条件を満たすとする。この場合、管理サーバ100は、LPAR-A1に対し、故障したフラッシュデバイス(1)の代わりに正常なフラッシュデバイス(2)を割り当て、LPAR-A1を復旧させる(S20)。
 その後、LPAR-A1に割り当てられているフラッシュデバイス(2)の故障が発生したとする(S30)。管理サーバ100は、LPAR-A1へのフラッシュデバイス(2)の割り当てを解除する。ここで、これまでにテナントAにより使用されたリソース量が予め定められた上限値以下であるという条件を満たさないとする。この場合、管理サーバ100は、LPAR-A1に正常なフラッシュデバイスを割り当てない(S40)。
 この動作により、あるテナントのLPARがリソースの破壊と再割り当てを繰り返すことによる過度のリソース破壊を防ぐことができる。これにより、他のテナントに割り当てることができるリソースプール内のリソース量の低下を抑止することができる。
 なお、管理サーバ100は、後述するように、故障が発生したLPARを別の物理サーバへフェイルオーバしても良い。
 以下、管理サーバ100に格納される構成情報630およびテナント情報640について説明する。
 図5は、サーバ構成情報650を示す。
 サーバ構成情報650は、構成情報収集プログラム612により作成される。サーバ構成情報650は、物理サーバID651と、論理分割機構ID652と、保有リソース情報653とを関連付けている。物理サーバID651は、物理サーバ200を示す識別子である。論理分割機構ID652は、論理分割機構を示す識別子である。保有リソース情報653は、論理分割機構により分割された各リソースを示す。或るリソースの保有リソース情報653は、リソース種類654と、リソースID655と、リソース量656と、リソース状態657と、使用中情報658と、占有情報659とを含む。リソース種類654は、当該リソースの種類を示す。例えば、リソース種類654は、CPU、メモリ、フラッシュデバイス、NIC、HBAなどである。リソースID655は、当該リソースを示す識別子である。リソース量656は、当該リソースの量を示す。例えば、リソース量656は、CPUのコア数、メモリの記憶容量、フラッシュデバイスの記憶容量などである。リソース状態657は、当該リソースが正常か故障かを示す。使用中情報658は、当該リソースがLPARにより使用されているか否かを示す。占有情報659は、当該リソースが一つのLPARにより占有される占有リソースであるか、複数のLPARにより共有可能な共有リソースであるかを示す。
 図6は、LPAR構成情報660を示す。
 LPAR構成情報660は、構成情報収集プログラム612により作成される。LPAR構成情報660は、LPAR-ID661と、論理分割機構ID662と、LPAR稼働状況663と、割当リソース情報664とを関連付けている。LPAR-ID661は、LPARを示す識別子である。論理分割機構ID662は、当該LPARを構築している論理分割機構を示す識別子である。LPAR稼働状況663は、当該LPARが、稼働中であるか停止中であるかを示す。或るリソースの割当リソース情報664は、リソース種類665と、リソースID666と、リソース量667とを含む。リソース種類665は、当該リソースの種類を示す。リソースID666は、当該リソースを示す識別子である。リソース量667は、当該リソースの量を示す。
 図7は、テナント対応情報670を示す。
 テナント対応情報670は、テナント定義プログラム613により作成される。テナント対応情報670は、テナントID671と、使用LPAR-ID672と、ハイパーバイザ情報673とを関連付けている。テナントID671は、テナントを示す識別子である。使用LPAR-ID672は、当該テナントにより使用されているLPARを示す識別子である。ハイパーバイザ情報673は、当該LPARがハイパーバイザを実行しているか否かを示す。
 図8は、破壊量上限値情報680を示す。
 破壊量上限値情報680は、破壊量上限値入力プログラム623により作成される。破壊量上限値情報680は、テナントID681と、リソース種類682と、破壊量上限値683と、上限値超過情報684とを関連付けている。テナントID681は、テナントを示す識別子である。リソース種類682は、当該テナントにより使用されるリソースの種類を示す。破壊量上限値683は、当該テナントが故障させても良い当該リソース種類のリソース量の上限値を示す。上限値超過情報684は、当該テナントが原因となって故障した当該リソース種類のリソース量が破壊量上限値683を超えたか否かを示す。当該テナントが原因となって故障した当該リソース種類のリソース量が破壊量上限値683を超えた場合、管理サーバ100は、新たに当該リソース種類のリソースを当該テナントに割り当てることが抑止する。
 破壊量上限値683は、テナントユーザとの契約などにより決定され、全体管理者により管理サーバ100へ入力される。破壊量上限値683は、テナントユーザに提供されるサービスの階級により予め定められていても良いし、テナントが実際に使用する予定のリソース量にマージンを加えた値であっても良い。
 図9は、リソース使用履歴情報690を示す。
 リソース使用履歴情報690は、テナント定義プログラム613により作成される。リソース使用履歴情報690は、リソースID691と、使用テナントID692と、使用LPAR-ID693と、使用履歴694と、割当量695とを関連付けている。リソースID691は、リソースを示す識別子である。使用テナントID692は、当該リソースを使用したテナントを示す識別子である。使用LPAR-ID693は、当該リソースが割り当てられているLPARを示す識別子である。使用履歴694は、当該LPARが当該リソースを使用した状況を示す。割当量695は、当該リソースの量のうち当該LPARに割り当てられた量を示し、LPAR構成情報660の当該LPARおよび当該リソースに対応するリソース量667に等しい。フラッシュデバイスの使用履歴694は当該LPARによる書き込み回数である。CPUの使用履歴694は、割当量695と同じ値に設定される。
 故障がリソースの使用履歴694に依存するリソース種類がある。例えば、フラッシュデバイス250の故障は使用履歴694である書き込み回数に依存する。一方、故障がリソースの使用履歴694に依存しないリソース種類がある。例えば、CPU240は、オーバーヒートのように瞬間的な現象によって故障する。フラッシュデバイス250の書き込み回数は、物理サーバ200により記録されても良いし、フラッシュデバイス250により記録されても良い。テナント定義プログラム613は、物理サーバ200から書き込み回数を取得し、リソース使用履歴情報690の使用履歴694に反映する。当該LPARが削除され、当該リソースの割り当てが解除されても、当該リソースが交換されるまで使用履歴694は残る。
 以下、管理サーバ100における各プログラムの動作について説明する。
 図10は、障害検知プログラム611の動作を示す。
 物理サーバ200は、リソースの故障を検出すると、障害アラートを管理サーバ100へ送信する。障害アラートは、CPUのオーバーヒートなどの障害の種類や、故障したリソースである故障リソースなどを示す。
 障害検知プログラム611は、S110において物理サーバ200から障害アラートを受信すると、障害アラートを送信した物理サーバ200を影響物理サーバとし、処理をS120へ移行させる。障害検知プログラム611は、S120において、障害アラートに基づいて故障リソースのリソースIDである故障リソースIDを特定し、S130において、故障リソースIDを障害対処プログラム614へ通知し、このフローを終了する。その後、障害検知プログラム611は、このフローを繰り返す。
 以上の障害検知プログラム611によれば、管理サーバ100は、影響物理サーバにおけるリソースの故障の情報を取得し、その取得に応じて動作することができる。
 図11は、障害対処プログラム614の第一の動作を示し、図12は、障害対処プログラム614の第一の動作に続く第二の動作を示す。
 障害対処プログラム614は、S210において、障害検知プログラム611から故障リソースIDを受信すると、処理をS220へ移行させる。障害対処プログラム614は、S220において、サーバ構成情報650における故障リソースのリソース状態657を、「正常」から「故障」に書き換える。障害対処プログラム614は、S230において、LPAR構成情報660に基づいて故障リソースに関連付けられたLPARを影響LPARとして特定し、テナント対応情報670に基づいて影響LPARに関連付けられたテナントを影響テナントとして特定する。
 障害対処プログラム614は、S240において、故障が使用履歴に依存するか否かを判定する。例えば、障害対処プログラム614は、故障リソースのリソース種類がフラッシュデバイスである場合、使用履歴が書き込み回数であり、故障が使用履歴に依存すると判定し、故障リソースのリソース種類がフラッシュデバイス以外である場合、故障が使用履歴に依存しないと判定する。
 S240において、故障が使用履歴に依存すると判定された場合、障害対処プログラム614は、処理をS260へ移行させる。この場合、リソース使用履歴情報690の使用履歴694には既に、故障リソースのLPAR毎の使用履歴が格納されている。
 S240において、故障が使用履歴に依存しないと判定された場合、障害対処プログラム614は、S250において、リソース使用履歴情報690に故障リソースの情報を追加し、処理をS260へ移行させる。ここで、障害対処プログラム614は、故障リソースに関連付けられたすべてのLPARについて故障リソースの情報を追加する。影響LPARの使用履歴694および割当量695のそれぞれに設定される使用リソース量は、次式で表される。
 使用リソース量
 = 影響LPARに割り当てられている故障リソースのリソース量の合計
  ÷影響LPARの数
 CPUのリソース量はコア数で表されても良い。例えば、CPUの1個のコアが、テナントAの1個のLPARと、テナントBの3個のLPARとに割り当てられている場合、各LPARに設定される使用リソース量は、1コア÷4個=0.25コアとなる。
 障害対処プログラム614は、S260において、故障の影響を受ける影響LPARがあるか否かを判定する。ここで、障害対処プログラム614は、LPAR構成情報660内に、故障リソースIDに関連付けられたLPAR-IDがある場合、影響LPARがあると判定する。
 S260において、影響LPARがない(No)と判定された場合、障害対処プログラム614は、処理をS380へ移行させる。このケースは、例えば、CPUのコアに故障が発生したが、それがLPARに割り当てられていない場合である。
 S260において、影響LPARがある(Yes)と判定された場合、障害対処プログラム614は、処理をS310へ移行させる。
 S310において、障害対処プログラム614は、影響LPARの一つを選択し、影響LPAR毎にS310-S370の処理を実行する。
 障害対処プログラム614は、S320において、破壊量上限値情報680の中で影響テナントに対応する上限値超過情報684にYesのものがあるか否かを判定する。
 S320において、影響テナントに対応する上限値超過情報684がすべてNoである(No)と判定された場合、障害対処プログラム614は、S330において、影響LPAR障害対処プログラム615を起動し、処理をS370へ移行させる。
 S320において、影響テナントに対応する上限値超過情報684にYesのものがある(Yes)と判定された場合、障害対処プログラム614は、S340において、テナント対応情報670に基づいて、影響テナントが影響LPAR以外であってハイパーバイザを実行しているLPARである受容可能LPARを有しているか否かを判定する。
 S340において、影響テナントが受容可能LPARを有している(Yes)と判定された場合、障害対処プログラム614は、S350において、影響LPAR上のVMを受容可能LPAR上へ移動させるVM移動処理を行い、VMを移動させる旨をテナントユーザへ通知し、処理をS370へ移行させる。VM移動処理は、フェイルオーバ(コールド・マイグレーション)であっても良いし、マイグレーション(ホット・マイグレーション)であってもよい。ここでのフェイルオーバは、影響LPAR上のすべてのVMをシャットダウンし、受容可能LPAR上でVMを立ち上げ直す処理である。ここでのマイグレーションは、影響LPAR上のすべてのVMの動作中のインスタンスを、受容可能LPAR上のハイパーバイザへ移動させる処理である。ここで、障害対処プログラム614は、影響物理サーバと受容可能LPARを実行している物理サーバとへ、VM移動処理の指示を送信する。障害対処プログラム614は、テナントユーザへの通知を、管理サーバ100や表示用計算機400の入出力デバイスに表示させても良いし、電子メールなどにより予め設定されたアドレスへ送信しても良い。
 S340において、影響テナントが受容可能LPARを有していない(No)と判定された場合、障害対処プログラム614は、S360において、影響LPARをシャットダウンし、VM移動処理ができない旨と、影響LPARを起動(リブート)できない旨とを、テナントユーザへ通知し、処理をS370へ移行させる。ここで、障害対処プログラム614は、影響物理サーバへ、影響LPARのシャットダウンの指示を送信する。
 S370において、障害対処プログラム614は、次の影響LPARがあれば、S310へ戻り、そうでなければ、S380において、上限値超過チェックプログラム616を起動し、このフローを終了する。
 なお、障害対処プログラム614は、障害アラートに示されている障害の種類に応じてVM移動処理の対象とするか否かを判定しても良い。
 以上の障害対処プログラム614によれば、影響テナントにより使用されたリソース量が予め定められた破壊量上限値を超過している場合でも影響テナントが受容可能LPARを有していれば、影響LPAR上のVMを受容可能LPAR上へ移動させ、VMの実行を継続させることができる。これにより、影響テナントは、全体のリソースが減るものの、業務を継続させることができる。また、影響テナントにより使用されたリソース量が予め定められた破壊量上限値を超過し、且つ影響テナントが受容可能LPARを有していない場合、影響LPARをシャットダウンすることにより、影響LPAR上で稼働している業務を安全に停止することができる。また、影響テナントが更にリソースを破壊することを防ぐことができる。
 図13は、影響LPAR障害対処プログラム615の動作を示す。
 影響LPAR障害対処プログラム615は、S410において、サーバ構成情報650に基づいて、影響物理サーバ内に故障リソースの代替リソースが存在するか否かを判定する。ここで、影響LPAR障害対処プログラム615は、影響物理サーバのリソースプールの中から、故障リソースの代わりとなるリソースを代替リソースとする。代替リソースは、故障リソースと同じリソース種類を有し、且つ故障リソースのリソース量以上のリソース量を有する。
 S410において、代替リソースが存在すると判定された場合(Yes)、影響LPAR障害対処プログラム615は、S420において、影響LPARへの故障リソースの割り当てを解除し、故障リソースの代わりに代替リソースを割り当てて影響LPARを再構築し、このフローを終了する。ここで、影響LPAR障害対処プログラム615は、影響LPARの再構築の指示を影響物理サーバへ送信する。
 S410において、代替リソースが存在しないと判定された場合(No)、影響LPAR障害対処プログラム615は、S430において、影響物理サーバ以外の物理サーバ200上に影響LPARと同スペックの(等価な)LPARを構築するための空きリソースがあるか否かを判定する。ここでの空きリソースは、影響LPARに割り当てられているすべてのリソースと同一のリソース種類および同一のリソース量を有する。
 S430において、同スペックのLPARを構築するための空きリソースがあると判定された場合(Yes)、影響LPAR障害対処プログラム615は、S440において、その空きリソースを有する物理サーバ200を受容可能物理サーバとし、受容可能物理サーバ上に空きリソースを用いてLPARを構築し、影響物理サーバ上の影響LPARを受容可能物理サーバ上へ移動させるLPAR移動処理を行う。ここで、LPAR移動処理は、VM移動処理と同様、フェイルオーバであっても良いし、マイグレーションであっても良い。ここで、影響LPAR障害対処プログラム615は、影響LPARに割り当てられている正常リソースの割り当てを解除し、その正常リソースをリソースプールに含める。これにより、その正常リソースは、他のLPARにより使用可能となる。ここで、影響LPAR障害対処プログラム615は、影響物理サーバと受容可能物理サーバへLPAR移動処理の指示を送信する。
 S430において、同スペックのLPARを構築するための空きリソースがない(No)と判定された場合、影響LPAR障害対処プログラム615は、S450において、テナント対応情報670に基づいて、影響テナントが影響LPAR以外であってハイパーバイザを実行しているLPARである受容可能LPARを有しているか否かを判定する。
 S450において、影響テナントが受容可能LPARを有している(Yes)と判定された場合、影響LPAR障害対処プログラム615は、S460において、VM移動処理を行い、VMを移動させる旨をテナントユーザへ通知し、このフローを終了する。ここで、影響LPAR障害対処プログラム615は、影響物理サーバおよび受容可能物理サーバへVM移動処理の指示を送信する。
 S450において、影響テナントが受容可能LPARを有していない(No)と判定された場合、影響LPAR障害対処プログラム615は、S470において、影響LPARをシャットダウンし、VM移動処理ができない旨と、影響LPARのVMを起動できない旨とを、テナントユーザへ通知し、このフローを終了する。ここで、影響LPAR障害対処プログラム615は、影響LPARのシャットダウンの指示を影響物理サーバへ送信する。
 なお、影響LPAR障害対処プログラム615は、影響テナントがハイパーバイザを実行している受容可能LPARを有している場合、LPAR移動処理を行う前に、影響LPARから受容可能LPARへのVM移動処理を行っても良い。例えば、影響LPAR障害対処プログラム615は、VM毎に優先度を予め設定し、優先度に応じてVM移動処理およびLPAR移動処理を選択しても良い。例えば、高、中、低の3段階の優先度がVMに設定されている場合、影響LPAR障害対処プログラム615は、優先度が高であるVMをVM移動処理により優先的に退避させ、優先度が低であるVMについては移動せずにシャットダウンし、優先度が中であるVMはLPAR移動処理によりハイパーバイザごと退避させる。このように優先度に応じてVM移動処理およびLPAR移動処理を使い分けることにより、柔軟な対処が可能になる。また、VM移動処理により影響LPAR上の稼働VMの数が減り、影響LPAR上のハイパーバイザのメモリ使用量が減ることにより、LPAR移動処理の処理および通信の負荷を軽減することができる。
 以上の影響LPAR障害対処プログラム615によれば、影響物理サーバ内に代替リソースがあれば、故障リソースの代わりに代替リソースを影響LPARに割り当て、影響LPAR上のVMの実行を継続させることができる。また、受容可能物理サーバ内に影響LPARと同じリソース量の空きリソースがあれば、影響物理サーバ上の影響LPARを受容可能物理サーバへ移動させ、VMの実行を継続させることができる。これにより、影響テナントは、リソースを減らさずに業務を継続させることができる。また、影響物理サーバ内の代替リソースや受容可能物理サーバ内の空きリソースがない場合でも、影響テナントがハイパーバイザを実行している受容可能LPARを有していれば、影響LPARから受容可能LPARへVMを移動させることができる。これにより、影響テナントは、全体のリソースが減るものの、業務を継続させることができる。また、影響物理サーバ内の代替リソースや受容可能物理サーバ内の空きリソースがなく、且つ影響テナントが受容可能LPARを有していない場合、影響LPARをシャットダウンすることにより、影響LPAR上で稼働している業務を安全に停止することができる。また、影響テナントが更にリソースを破壊することを防ぐことができる。
 障害対処プログラム614および影響LPAR障害対処プログラム615によれば、破壊量が上限値以下であると判定された場合、複数の物理サーバ200の何れかに故障リソースの代替として使用できる物理リソースである受容可能物理リソースが有るか否かを判定し、受容可能物理リソースが有ると判定された場合、故障リソースに代えて受容可能物理リソースを前記仮想計算機へ割り当てる。受容可能物理リソースは、影響物理サーバ内の代替リソース、受容可能物理サーバ内の空きリソース、受容可能LPARに割り当てられている物理リソースの何れかを含む。これにより、影響LPAR上のVMの動作を継続させることができる。
 図14は、上限値超過チェックプログラム616の動作を示す。
 上限値超過チェックプログラム616は、S500において、リソース使用履歴情報690の使用テナント692から全てのテナントを取得し、取得されたテナントの一つを対象テナントとして選択し、対象テナント毎にS500-S590の処理を実行する。
 上限値超過チェックプログラム616は、S510において、リソース使用履歴情報690のリソースID691から全てのリソースIDを取得し、サーバ構成情報650のリソース種類654から、取得されたリソースIDに対応するすべてのリソース種類を取得し、取得されたリソース種類の一つを対象リソース種類として選択し、対象リソース種類毎にS510-S580の処理を実行する。
 上限値超過チェックプログラム616は、S520において、破壊量算出プログラム617を起動し、対象テナントおよび対象リソース種類に対応するすべてのリソースIDのリストと、対象テナントのテナントIDとを破壊量算出プログラム617へ渡す。上限値超過チェックプログラム616は、S530において、破壊量算出プログラム617から破壊量を受け取る。
 上限値超過チェックプログラム616は、S540において、破壊量上限値情報680の対象テナントおよび対象リソース種類に対応する破壊量上限値683を取得し、破壊量が破壊量上限値より多いか否かを判定する。
 S540において、破壊量が破壊量上限値以下である(No)と判定された場合、上限値超過チェックプログラム616は、S550において、取得された破壊量上限値に対応する上限値超過情報684を「No」に設定し、処理をS580へ移行させる。
 S540において、破壊量が破壊量上限値より多い(Yes)と判定された場合、上限値超過チェックプログラム616は、S560において、取得された破壊量上限値に対応する上限値超過情報684を「Yes」に設定し、S570において、対象テナントのテナントユーザに、これ以上のリソースの割り当てができない旨を通知し、処理をS580へ移行させる。
 上限値超過チェックプログラム616は、S580において、次の対象リソース種類があれば、S510へ戻り、そうでなければ処理をS590へ移行させる。上限値超過チェックプログラム616は、S590において、次の対象テナントがあれば、S500へ戻り、そうでなければ、このフローを終了する。
 以上の上限値超過チェックプログラム616によれば、各テナントが現在までに使用したリソース量が予め定められた破壊量上限値より多いか否かを判定することができる。
 図15は、破壊量算出プログラム617の動作を示す。
 破壊量算出プログラム617は、S610において、上限値超過チェックプログラム616から対象テナントおよび対象リソース種類に属するリソースIDのリストを取得する。破壊量算出プログラム617は、S620において、破壊量を0に初期化する。
 破壊量算出プログラム617は、S630において、リスト内のリソースIDの一つを対象リソースとして選択し、対象リソース毎にS630-S680の処理を実行する。
 破壊量算出プログラム617は、S640において、サーバ構成情報650において対象リソースのリソース状態657が故障を示すか否かを判定する。
 S640において、対象リソースに対応するリソース状態657が故障を示す(Yes)と判定された場合、破壊量算出プログラム617は、S650において、対象テナントへの対象リソースの配分量を算出し、算出された配分量を破壊量に加算し、処理をS680へ移行させる。配分量は、対象リソースのリソース量のうち、対象テナントの使用履歴に応じて配分されたリソース量を示し、リソース使用履歴情報690に基づいて次式により表される。
 配分量 = 全テナントへの対象リソースの割当量695の合計値
      ×対象テナントによる対象リソースの使用履歴694の合計値
      ÷全テナントによる対象リソースの使用履歴694の合計値
 例として、図9におけるテナントAへのフラッシュデバイスFlash1-1の配分量について説明する。全テナントへの対象リソースの割当量695の合計値は、100GB+100GB+100GB=300GBである。対象テナントによる対象リソースの使用履歴694の合計値は、8000回+1000回=9000回である。全テナントによる対象リソースの使用履歴694の合計値は、8000回+1000回+1000回=10000回である。したがって、テナントAへのFlash1-1の配分量は、300GB×9000回/10000回=270GBである。
 この配分量の式によれば、対象リソースのリソース量のうち影響LPARに割り当てられていないリソース量は、破壊量として加算されない。例えば、4コアを有するCPUのうち、テナントに3コアが割り当てられ、残りの1コアが未割当であり、このCPUが故障した場合、各テナントには3コア分が配分量として計上され、残りの1コア分は配分量として計上されない。なお、テナントに割り当てられていないリソース量を影響テナントの配分量として計上してもよい。
 ここで、対象リソースが占有リソースである場合、対象テナントに割り当てられている対象リソースの割当量695が配分量となる。配分量の計算式は、リソース種類に応じて異なる式であってもよい。
 S640において、対象リソースに対応するリソース状態657が正常を示す(No)と判定された場合、破壊量算出プログラム617は、S660において、LPAR構成情報660に基づいて、対象リソースが影響LPARに割り当てられているか否かを判定する。
 S660において、対象リソースが影響LPARに割り当てられていない(No)と判定された場合、破壊量算出プログラム617は、処理をS680へ移行させる。この場合、対象リソースは、かつて影響LPARに割り当てられていたが現在は影響LPARに割り当てられていない正常リソースである。
 S660において、対象リソースが影響LPARに割り当てられている(Yes)と判定された場合、破壊量算出プログラム617は、S670において、対象リソースのうち影響LPARに割り当てられているリソース量、即ちLPAR構成情報660の影響LPARおよび対象リソースの組み合わせに対応するリソース量667を破壊量に加算し、処理をS680へ移行させる。
 S680において、破壊量算出プログラム617は、次の対象リソースIDがあれば、S630へ戻り、そうでなければ、S690において、上限値超過チェックプログラム616に破壊量を渡し、このフローを終了する。
 以上の破壊量算出プログラム617によれば、テナントが現在までに使用して故障させた対象リソース種類のリソース量の合計を算出することができる。また、故障リソースのリソース量を、故障リソースを使用するテナントへ使用履歴に応じて配分することにより、テナントによる使用を破壊量に反映させることができる。フラッシュメモリのように故障が累積的な使用量に依存する場合、各テナントによる故障リソースの累積的な使用量に応じて故障リソースのリソース量を各テナントへ配分することができる。CPUのように故障が累積的な使用量に依存しない場合、各テナントへの故障リソースの割当量に応じて故障リソースのリソース量を各テナントへ配分することができる。或るテナントの或るリソース種類について、故障リソースのリソース量を当該テナントの使用履歴に応じて配分したリソース量と、故障リソース以外のリソース量のうち影響LPARに割り当てられているリソース量とを加算して破壊量を算出することにより、当該テナントにより使用された当該リソース種類のリソース量を破壊量に反映させることができる。
 図16は、復旧後処理プログラム618の動作を示す。
 物理サーバ200において、故障リソースが、同一のリソース種類および同一のリソース量を有する新たなリソースである復旧リソースに交換されると、その物理サーバ200は、復旧アラートを管理サーバ100へ送信する。復旧アラートは、復旧の種類や復旧リソースなどを示す。
 復旧後処理プログラム618は、S710において、物理サーバ200から復旧アラートを受信すると、処理をS720へ移行させる。復旧後処理プログラム618は、S720において、復旧アラートに基づいて復旧リソースのリソースIDである復旧リソースIDを特定する。
 復旧後処理プログラム618は、S730において、サーバ構成情報650における復旧リソースのリソース状態657を、「故障」から「正常」に書き換える。復旧後処理プログラム618は、S740において、リソース使用履歴情報690内の復旧リソースIDに対応する使用履歴694を初期化し、割当量695を更新する。例えば、復旧リソースがフラッシュデバイスである場合、使用履歴694における書き込み回数が初期化される。復旧後処理プログラム618は、S750において、上限値超過チェックプログラム616を起動し、このフローを終了する。これにより、故障リソースのリソース種類の破壊量から、故障リソースに基づくリソース量が除かれる。上限値超過チェックプログラム616の動作により、破壊量上限値情報680の上限値超過情報684がYesからNoに変化した場合、復旧後処理プログラム618は、リソースの割り当てが可能になった旨をテナントユーザへ通知しても良い。
 以上の復旧後処理プログラム618によれば、故障リソースが交換されたことに応じて、管理サーバ100がリソースの使用履歴を更新することができる。また、テナントのLPARに故障リソースが割り当てられている場合、故障リソースの使用履歴が初期化される。これにより、テナントにより使用されたリソース量が予め定められた破壊量上限値を超過した状態から超過しない状態に変化する場合がある。この場合、そのテナントのLPARに新たなリソースを割り当てることができるようになる。
 図17は、リソース状態入力画面を示す。
 リソース状態入力プログラム621は、全体管理者による管理サーバ100または表示用計算機400の操作に応じて、管理サーバ100または表示用計算機400の入出力デバイスにリソース状態入力画面を表示させ、全体管理者からの入力を受け付ける。リソース状態入力画面は、リソース状態情報710と、故障ボタン721と、復旧ボタン722と、割当解除フラグ723とを含む。
 リソース状態入力プログラム621は、サーバ構成情報650およびLPAR構成情報660に基づいて、リソース状態情報710を作成する。リソース状態情報710は、リソース毎のエントリを有する。一つのリソースのエントリは、指定フラグ(#)711と、リソース712と、割当先LPAR713と、LPAR稼働状況714と、物理サーバ情報715と、リソース状態716とを含む。指定フラグ711は、チェックボックスであり、真にされることにより、当該リソースを指定リソースとして指定する。リソース712は、当該リソースを示すリソースIDであり、サーバ構成情報650のリソースID655に基づいている。割当先LPAR713は、当該リソースの割当先のLPARを示すLPAR-IDであり、LPAR構成情報660のLPAR-ID661に基づいている。LPAR稼働状況714は、当該LPARが稼働中か停止中かを示し、LPAR構成情報660のLPAR稼働状況663に基づいている。物理サーバ情報715は、当該リソースを有する物理サーバ200の物理サーバIDを示し、サーバ構成情報650の物理サーバID651に基づいている。リソース状態716は、当該リソースが正常か故障かを示し、サーバ構成情報650のリソース状態657に基づいている。
 影響物理サーバおよび管理サーバ100は、故障の発生後すぐに故障リソースを特定できるとは限らず、その後に行われる原因分析により故障リソースが特定される場合がある。このように原因分析により故障リソースが特定された場合や、管理サーバ100が物理サーバ200から障害アラートを受信していないが、全体管理者がリソースの故障と判断した場合などにおいて、全体管理者は、リソース状態入力画面を用いて故障リソースを設定することができる。指定フラグ711により指定リソースが指定されている状態で、故障ボタン721が押下された場合、リソース状態入力プログラム621は、サーバ構成情報650において指定リソースのリソース状態657を「故障」に変更する。ここで、リソース状態入力プログラム621は、リソース状態入力画面により入力された故障を、物理サーバ200により検出された故障と区別しても良い。例えば、リソース状態入力プログラム621は、リソース状態入力画面により入力された故障について、サーバ構成情報650のリソース状態657を「故障(手動)」と書き換える。
 故障ボタン721が押下された場合、障害検知プログラム611は、障害アラートを受信した場合と同様に処理する。そのために、リソース状態入力プログラム621は、故障ボタン721が押下されたことを示す情報を受信すると、指定リソースに対応する物理サーバ200に対し、擬似的な障害アラートを管理サーバ100へ送信することを要求しても良い。
 管理サーバ100が物理サーバ200から復旧アラートを受信していないが、全体管理者がリソースの復旧と判断した場合や、リソース状態入力画面を用いて故障と入力したが正常に戻したい場合、全体管理者は、リソース状態入力画面を用いて復旧リソースを設定することができる。指定フラグ711により指定リソースが指定されている状態で、復旧ボタン722が押下された場合、リソース状態入力プログラム621は、サーバ構成情報650において指定リソースのリソース状態657を「正常」に変更する。
 復旧ボタン722が押下された場合、復旧後処理プログラム618は、復旧アラートを受信した場合と同様に処理する。そのために、リソース状態入力プログラム621は、復旧ボタン722が押下されたことを示す情報を受信すると、指定リソースに対応する物理サーバ200に対し、擬似的な復旧アラートを管理サーバ100へ送信することを要求しても良い。
 割当解除フラグ723は、割り当て解除(再割り当て実行)を即時実行するか否かを設定する。故障ボタン721または復旧ボタン722が押下され、故障リソースの割り当て解除または再割り当てのためにLPARの再起動が必要である場合で、割当解除フラグ723が有効であれば、管理サーバ100は、LPARの再起動を行う。LPARの再起動が必要な場合で、割当解除フラグ723が無効であれば、全体管理者が手動でLPARのシャットダウンを行い、管理サーバ100は、指定リソースを割り当てられている対応するすべてのLPARについて、LPAR構成情報660のLPAR稼働状況663が停止中になった場合、障害アラートまたは復旧アラートを受信した場合の動作を行う。なお、割当解除フラグ723は省かれても良い。この場合、予め定められた方法でLPARの再起動を行う。
 以上のリソース状態入力プログラム621によれば、リソース状態入力画面が、リソースIDと共に、割当先LPAR713および物理サーバ情報715のようなトポロジを示す情報や、LPAR稼働状況714およびリソース状態716を表示することにより、全体管理者の判断を補助し、誤判断を防止することができる。また、全体管理者が手動で故障または復旧の設定を行った場合でも、管理サーバ100は、物理サーバ200が故障または復旧を検出した場合と同様に動作することができる。
 図18は、監視画面を示す。
 監視画面出力プログラム622は、全体管理者または特定のテナントのテナントユーザによる管理サーバ100または表示用計算機400の操作に応じて、管理サーバ100または表示用計算機400の入出力デバイスに監視画面を表示させる。監視画面は、管理サーバ100が保持する情報をもとに、全体管理者やテナントユーザに対してモニタリングやアラートなどの情報を表示するためのインターフェースである。但し、テナントユーザは、自身のテナントに関する情報のみを閲覧することができる。監視画面は、アラート表示部810と、リソース種類指定部820と、モニタリング表示部830とを含む。
 リソース種類指定部820は、テナントユーザによるリソース種類の選択を受け付け、選択されたリソース種類を選択リソース種類とする。
 モニタリング表示部830は、予め設定された単位時間毎に、当該テナントによる選択リソース種類の交換回数を表示する。モニタリング表示部830において、横軸は時間であり、縦軸は交換回数である。モニタリング表示部830は更に、縦軸に交換回数上限値を表示する。ここでの交換回数および交換回数閾値は、選択リソース種類のリソースの故障により新たなリソースが当該テナントへ割り当てられた回数である。なお、交換回数に代えて破壊量が用いられても良い。当該テナントの選択リソース種類についての交換回数上限値は、例えば、破壊量上限値を割当量で除した値である。また、単位時間内の交換回数が交換回数閾値以上である場合、モニタリング表示部830は、警告マーク831を表示する。なお、監視画面は、選択リソース種類について、交換回数上限値まであと何回の交換が可能かを表示しても良い。
 アラート表示部810は、全体管理者またはテナントユーザへのアラートを表示する。例えば、アラート表示部810は、単位時間において、当該テナントおよび特定のリソース種類についての計算値が、予め設定されたアラート閾値を超えた場合、アラートを表示する。監視画面出力プログラム622は、全体管理者またはテナントユーザからの入力に基づいて、アラート閾値と、アラートの通知を設定することができる。但し、テナントユーザは、自身のテナントのみについて設定することができる。計算値は、例えば、リソース交換頻度やリソース交換残量である。リソース交換頻度は、特定のリソース種類について、単位時間内に故障により新たなリソースが当該テナントへ割り当てられた回数である。リソース交換残量は、破壊量上限値から破壊量を減じた値であり、破壊量上限値まであとどれだけのリソース量を割り当てることができるかを示す。あるいは、リソース交換残量は、交換回数上限値から交換回数を減じた値であり、交換回数上限値まであと何回リソース量を割り当てることができるかを示す。
 アラートの例について説明する。或るテナントのリソース交換頻度が、全体管理者により設定されたアラート閾値を超えた場合、アラート表示部810は、全体管理者に対し、テナントユーザにアラートを送信するか否かの問い合わせ、または、テナントのリソース交換を抑止するか否かの問い合わせを表示する。これに応じて、監視画面出力プログラム622は、全体管理者から送信の指示が入力された場合、テナントユーザへアラートを送信し、全体管理者からリソース交換の抑止の指示が入力された場合、当該テナントの上限値超過情報684をYesとする処理を行う。また、或るテナントのリソース交換頻度が、全体管理者または当該テナントのテナントユーザにより設定されたアラート閾値を超えた場合、アラート表示部810は、当該テナントユーザに対し、運用中のシステムに問題が無いかを見直す必要があることを示す。更にアラート表示部810は、稼働しているシステムに対してCPUのスペックが不足している可能性があることや、フラッシュデバイスに必要以上の負荷を掛けていないか確認する必要があることを示す。また、或るテナントの破壊量が破壊量上限値に達しそうな場合や達した場合、当該テナントのテナントユーザに対し、リソース交換残量や、これ以上のリソース交換ができないことや、より上位のサービスに移行することで破壊量上限値を増加できることを示す。
 以上の監視画面出力プログラム622によれば、全体管理者またはテナントユーザは、テナントが安定稼働しているか、急な変化はないか、破壊量や交換回数が上限値以下となっているか、などの状況を確認することができる。
 図19は、破壊量上限値入力画面を示す。
 破壊量上限値入力プログラム623は、全体管理者による管理サーバ100または表示用計算機400の操作に応じて、管理サーバ100または表示用計算機400の入出力デバイスに破壊量上限値入力画面を表示させ、全体管理者からの入力を受け付ける。これにより、破壊量上限値入力プログラム623は、破壊量上限値情報680を作成する。なお、破壊量上限値入力プログラム623は、破壊量上限値入力画面を用いずに、テンプレートに基づきファイルとして一括入力された破壊量上限値情報680を取得してもよい。破壊量上限値入力画面は、破壊量上限値情報910と、決定ボタン921と、キャンセルボタン922とを含む。
 破壊量上限値情報910は、テナントID911と、リソース種類912と、破壊量上限値913とを含む。破壊量上限値情報910は、すべてのテナントとすべてのリソース種類のエントリを有する。テナントID911は、テナントを示す識別子である。リソース種類912は、リソース種類を示す。破壊量上限値913は、設定値と単位で表される。全体管理者は、破壊量上限値913において、設定値を入力することができ、単位を選択することができる。
 決定ボタン921が押下された場合、破壊量上限値入力プログラム623は、破壊量上限値情報910に入力された内容を破壊量上限値情報680へ反映する。キャンセルボタン922が押下された場合、破壊量上限値入力プログラム623は、破壊量上限値情報910に入力された内容を破棄する。
 以上の破壊量上限値入力プログラム623によれば、全体管理者は、テナントユーザとの契約などに基づいて、リソース種類毎の破壊量上限値を設定することができる。
 なお、物理サーバ200が障害予兆を検出する場合、障害と同様に障害アラートが管理サーバ100へ送信され、障害検知プログラム611により処理されても良い。例えば、物理サーバ200は、フラッシュデバイスの寿命となる書き込み回数の閾値より低い障害予兆閾値を設定し、書き込み回数が障害予兆閾値を超えた場合に障害アラートを管理サーバ100へ送信する。これにより、管理サーバ100は、障害予兆であっても障害と同様に処理することができる。
 本実施例におけるLPARおよびVMは、互いにレイヤの異なる仮想計算機と見なすことができる。また、論理分割機構の代わりにハイパーバイザを用い、物理サーバ200がハイパーバイザを実行し、そのハイパーバイザが複数のVMを実行しても良い。また、ハイパーバイザが階層化されていても良い。また、LPARがOSを実行しても良い。この場合、VM移動処理の代わりにLPAR移動処理が実行される。また、計算機システムにおけるテナントが一つであっても良い。
 また、各プログラムにおける処理の順序は交換可能である。例えば、障害対処プログラム614におけるS260~S370の処理と、S380の処理との順序は交換可能である。
 本発明の表現のための用語について説明する。管理計算機は、管理サーバ100などに対応する。メモリは、メモリ110などに対応する。ネットワークインターフェースは、NIC130などに対応する。プロセッサは、CPU120などに対応する。表示装置および入力装置は、入出力デバイス140または表示用計算機400などに対応する。物理計算機は、物理サーバ200などに対応する。仮想計算機は、LPARまたはVMなどに対応する。ユーザは、テナントなどに対応する。対応情報は、構成情報630およびテナント情報640などに対応する。上限値は、破壊量上限値などに対応する。故障情報は、障害アラートや故障ボタン721の押下を示す情報などに対応する。復旧情報は、復旧アラートや復旧ボタン722の押下を示す情報などに対応する。不揮発性半導体メモリは、フラッシュデバイス250などに対応する。入力画面は、リソース状態入力画面などに対応する。破壊量に基づく情報は、交換回数、破壊量、リソース交換頻度、リソース交換残量、全体管理者またはテナントユーザへのアラートなどに対応する。
 本発明は、以上の実施例に限定されるものでなく、その趣旨から逸脱しない範囲で、他の様々な形に変更することができる。
 100…管理サーバ 110…メモリ 120…CPU 130…NIC 140…入出力デバイス 200…物理サーバ 230…メモリ 240…CPU 250…フラッシュデバイス 260…メモリ 280…論理分割機構 300…ディスクアレイ装置 400…表示用計算機 610…管理プログラム 630…構成情報 640…テナント情報
 

Claims (15)

  1.  メモリと、
     複数の物理計算機に接続されるネットワークインターフェースと、
     前記メモリおよび前記ネットワークインターフェースに接続されるプロセッサと、
    を備え、
     前記メモリは、前記複数の物理計算機の中の第一物理計算機と、前記第一物理計算機により実行されている仮想計算機と、前記第一物理計算機に含まれており且つ前記仮想計算機へ割り当てられている第一物理リソースと、前記仮想計算機を使用するユーザとの対応付けを示す対応情報を記憶し、故障した物理リソースを示す故障情報を記憶し、前記第一物理リソースと同じ種類の物理リソースで前記ユーザによる使用に起因して故障した物理リソースの量である破壊量に対し、上限値を記憶し、
     前記プロセッサは、前記対応情報および前記故障情報に基づいて前記破壊量を算出し、前記破壊量が前記上限値以下であるか否かを判定し、前記故障情報に基づいて前記第一物理リソースが故障したか否かを判定し、前記第一物理リソースが故障したと判定され且つ前記破壊量が前記上限値以下であると判定された場合、前記対応情報に基づいて、前記複数の物理計算機の何れかに前記第一物理リソースの代替として使用できる第二物理リソースが有るか否かを判定し、前記第二物理リソースが有ると判定された場合、前記第一物理リソースに代えて前記第二物理リソースを前記仮想計算機へ割り当てる指示を前記第一物理計算機へ送信する、
    管理計算機。
  2.  前記第一物理リソースが故障したと判定され、且つ前記破壊量が前記上限値以下であると判定された場合、前記プロセッサは、前記対応情報に基づいて、前記第一物理計算機の中に前記第二物理リソースが有るか否かを判定し、前記第一物理計算機の中に前記第二物理リソースが有ると判定された場合、前記第一物理リソースに代えて前記第二物理リソースを前記仮想計算機へ割り当てる指示を前記第一物理計算機へ送信する、
    請求項1に記載の管理計算機。
  3.  前記第一物理リソースが故障したと判定され、且つ前記破壊量が前記上限値以下であると判定され、且つ前記第一物理計算機に前記第二物理リソースが無いと判定された場合、前記プロセッサは、前記対応情報に基づいて、前記仮想計算機へ割り当てられている物理リソース群であって前記第一物理リソースを含む前記物理リソース群と等価な代替物理リソース群であって前記第二物理リソースを含む前記代替物理リソース群が、前記複数の物理計算機の中で前記第一物理計算機以外の中に有るか否かを判定し、前記代替物理リソース群が有ると判定された場合、前記代替物理リソース群を前記仮想計算機へ割り当て且つ前記第一物理計算機から前記代替物理リソース群を含んでいる第二物理計算機へ前記仮想計算機を移動させ且つ前記物理リソース群を前記仮想計算機から解放する指示を、前記第一物理計算機および前記第二物理計算機へ送信する、
    請求項2に記載の管理計算機。
  4.  前記メモリは、複数のユーザの夫々による前記第一物理リソースの使用履歴を格納し、
     前記プロセッサは、前記複数のユーザの夫々による前記第一物理リソースの使用履歴に基づいて、前記第一物理リソースの量を前記複数のユーザへ配分することにより、前記複数のユーザの夫々に対して前記破壊量を算出する、
    請求項3に記載の管理計算機。
  5.  前記種類が、不揮発性半導体メモリである場合、前記プロセッサは、前記仮想計算機による前記不揮発性半導体メモリへの書き込み回数を前記第一物理計算機から受信し、前記使用履歴として前記メモリへ保存する、
    請求項4に記載の管理計算機。
  6.  前記種類が、不揮発性半導体メモリでない場合、前記プロセッサは、前記仮想計算機に割り当てられている前記第一物理リソースの量を、前記使用履歴として前記メモリへ保存する、
    請求項5に記載の管理計算機。
  7.  前記仮想計算機は、前記第一物理計算機を論理的に分割することにより構築される第一論理区画であり、
     前記対応情報は、前記第一論理区画により実行されているVM(Virtual Machine)を示し、
     前記破壊量が前記上限値を上回ると判定された場合、前記プロセッサは、前記対応情報に基づいて、前記ユーザにより使用されており且つ前記VMを実行できる第二論理区画が、前記複数の物理計算機の何れかにより実行されているか否かを判定し、前記第二論理区画が実行されていると判定された場合、前記VMを前記第一論理区画から前記第二論理区画へ移動させる指示を前記第一物理計算機へ送信する、
    請求項6に記載の管理計算機。
  8.  前記第一物理リソースが故障したと判定され、且つ前記破壊量が前記上限値以下であると判定され、且つ前記第二物理リソースが前記第一物理計算機に含まれていないと判定され、且つ前記代替物理リソース群が無いと判定された場合、前記プロセッサは、前記対応情報に基づいて、前記第二論理区画が実行されているか否かを判定し、前記第二論理区画が実行されていると判定された場合、前記VMを前記第一論理区画から前記第二論理区画へ移動させる指示を前記第一物理計算機へ送信する、
    請求項7に記載の管理計算機。
  9.  前記プロセッサは、前記第一物理リソースの復旧を示す復旧情報を取得した場合、前記破壊量から前記第一物理リソースに基づく量を減じ、前記破壊量が前記上限値以下であるか否かを判定する、
    請求項4に記載の管理計算機。
  10.  前記故障情報は、前記第一物理リソースの故障に応じて前記第一物理計算機から前記プロセッサへ送信され、
     前記プロセッサは、前記第一物理計算機から前記故障情報を受信する、
    請求項1に記載の管理計算機。
  11.  前記プロセッサは、前記故障情報を入力するための入力画面を表示装置に表示させ、
     前記故障情報は、前記表示に応じて入力装置へ入力され、
     前記プロセッサは、前記入力装置から前記故障情報を受信する、
    請求項10に記載の管理計算機。
  12.  前記プロセッサは、前記破壊量に基づく情報を表示装置に表示させる、
    請求項1に記載の管理計算機。
  13.  前記第一物理リソースが故障したと判定され、且つ前記破壊量が前記上限値を上回ると判定され、且つ前記第二論理区画が実行されていないと判定された場合、または前記破壊量が前記上限値以下であると判定され、且つ前記第二物理リソースが前記第一物理計算機に含まれていないと判定され、且つ前記代替物理リソース群が無いと判定され、且つ前記第二論理区画が実行されていないと判定された場合、前記プロセッサは、前記第一論理区画をシャットダウンする指示を前記第一物理計算機へ送信する、
    請求項8に記載の管理計算機。
  14.  前記プロセッサは、前記第一物理リソースの量のうち前記ユーザに配分された量と、前記物理リソース群のうち前記種類の物理リソースで前記第一物理リソース以外の物理リソースの量とを加算することにより、前記破壊量を算出する、
    請求項4に記載の管理計算機。
  15.  複数の物理計算機に接続されるコンピュータに実行される管理プログラムであって、
     前記複数の物理計算機の中の第一物理計算機と、前記第一物理計算機により実行されている仮想計算機と、前記第一物理計算機に含まれており且つ前記仮想計算機へ割り当てられている第一物理リソースと、前記仮想計算機を使用するユーザとの対応付けを示す対応情報を記憶し、
     故障した物理リソースを示す故障情報を記憶し、
     前記第一物理リソースと同じ種類の物理リソースで前記ユーザによる使用に起因して故障した物理リソースの量である破壊量に対し、上限値を記憶し、
     前記対応情報および前記故障情報に基づいて前記破壊量を算出し、
     前記破壊量が前記上限値以下であるか否かを判定し、
     前記故障情報に基づいて前記第一物理リソースが故障したか否かを判定し、
     前記第一物理リソースが故障したと判定され且つ前記破壊量が前記上限値以下であると判定された場合、前記対応情報に基づいて、前記複数の物理計算機の何れかに前記第一物理リソースの代替として使用できる第二物理リソースが有るか否かを判定し、
     前記第二物理リソースが有ると判定された場合、前記第一物理リソースに代えて前記第二物理リソースを前記仮想計算機へ割り当てる指示を前記第一物理計算機へ送信する、
    ことをコンピュータに実行させる管理プログラム。
     
PCT/JP2014/052334 2014-01-31 2014-01-31 管理計算機および管理プログラム WO2015114816A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/024,638 US9990258B2 (en) 2014-01-31 2014-01-31 Management computer and management program
PCT/JP2014/052334 WO2015114816A1 (ja) 2014-01-31 2014-01-31 管理計算機および管理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/052334 WO2015114816A1 (ja) 2014-01-31 2014-01-31 管理計算機および管理プログラム

Publications (1)

Publication Number Publication Date
WO2015114816A1 true WO2015114816A1 (ja) 2015-08-06

Family

ID=53756427

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/052334 WO2015114816A1 (ja) 2014-01-31 2014-01-31 管理計算機および管理プログラム

Country Status (2)

Country Link
US (1) US9990258B2 (ja)
WO (1) WO2015114816A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582352B1 (en) 2015-11-30 2017-02-28 International Business Machines Corporation Monitoring and responding to operational conditions of a logical partition from a separate logical partition
CN111581040A (zh) * 2020-04-29 2020-08-25 杭州迪普科技股份有限公司 电子设备的破坏性边界值的确定方法及其系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180143856A1 (en) * 2016-11-18 2018-05-24 Sap Se Flexible job management for distributed container cloud platform
US10237118B2 (en) 2016-11-18 2019-03-19 Sap Se Efficient application build/deployment for distributed container cloud platform
US10686908B2 (en) 2016-11-18 2020-06-16 Sap Se Embedded database as a microservice for distributed container cloud platform
US20180150331A1 (en) * 2016-11-30 2018-05-31 International Business Machines Corporation Computing resource estimation in response to restarting a set of logical partitions
CN109726005B (zh) * 2017-10-27 2023-02-28 伊姆西Ip控股有限责任公司 用于管理资源的方法、服务器系统和计算机可读介质
JP7358800B2 (ja) * 2019-06-27 2023-10-11 京セラドキュメントソリューションズ株式会社 電子機器及びその制御プログラム
US11546271B2 (en) 2019-08-09 2023-01-03 Oracle International Corporation System and method for tag based request context in a cloud infrastructure environment
US20210042165A1 (en) 2019-08-09 2021-02-11 Oracle International Corporation System and method for supporting a quota policy language in a cloud infrastructure environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330740A (ja) * 2002-05-15 2003-11-21 Hitachi Ltd 多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム
WO2011074284A1 (ja) * 2009-12-18 2011-06-23 株式会社日立製作所 仮想計算機の移動方法、仮想計算機システム及びプログラムを格納した記憶媒体
WO2011138879A1 (ja) * 2010-05-06 2011-11-10 株式会社日立製作所 情報処理システムの運用管理装置および運用管理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3657665B2 (ja) * 1995-02-14 2005-06-08 富士通株式会社 共用メモリに結合される複数の計算機システム及び共用メモリに結合される複数の計算機システムの制御方法
JP2005301442A (ja) * 2004-04-07 2005-10-27 Hitachi Ltd ストレージ装置
JP4462024B2 (ja) * 2004-12-09 2010-05-12 株式会社日立製作所 ディスク引き継ぎによるフェイルオーバ方法
US7937616B2 (en) * 2005-06-28 2011-05-03 International Business Machines Corporation Cluster availability management
JP4923990B2 (ja) * 2006-12-04 2012-04-25 株式会社日立製作所 フェイルオーバ方法、およびその計算機システム。
US8117295B2 (en) * 2006-12-15 2012-02-14 Nec Corporation Remote apparatus management system, remote apparatus management method and remote apparatus management program
KR20100041313A (ko) * 2008-10-14 2010-04-22 삼성전자주식회사 데이터 저장 방법, 데이터 저장 장치 및 그 시스템
JP4874368B2 (ja) 2009-06-22 2012-02-15 株式会社日立製作所 フラッシュメモリを用いたストレージシステムの管理方法及び計算機
US8418166B2 (en) * 2011-01-11 2013-04-09 International Business Machines Corporation Transparent update of adapter firmware for self-virtualizing input/output device
JP5321658B2 (ja) 2011-08-26 2013-10-23 株式会社日立製作所 フェイルオーバ方法、およびその計算機システム。
US9268642B2 (en) * 2012-08-24 2016-02-23 Vmware, Inc. Protecting paired virtual machines
WO2015052836A1 (ja) * 2013-10-11 2015-04-16 株式会社日立製作所 ストレージ装置及びフェールオーバ方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330740A (ja) * 2002-05-15 2003-11-21 Hitachi Ltd 多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム
WO2011074284A1 (ja) * 2009-12-18 2011-06-23 株式会社日立製作所 仮想計算機の移動方法、仮想計算機システム及びプログラムを格納した記憶媒体
WO2011138879A1 (ja) * 2010-05-06 2011-11-10 株式会社日立製作所 情報処理システムの運用管理装置および運用管理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582352B1 (en) 2015-11-30 2017-02-28 International Business Machines Corporation Monitoring and responding to operational conditions of a logical partition from a separate logical partition
US9852020B1 (en) 2015-11-30 2017-12-26 International Business Machines Corporation Monitoring and responding to operational conditions of a logical partition from a separate logical partition
US9864650B2 (en) 2015-11-30 2018-01-09 International Business Machines Corporation Monitoring and responding to operational conditions of a logical partition from a separate logical partition
US9983917B2 (en) 2015-11-30 2018-05-29 International Business Machines Corporation Monitoring and responding to operational conditions of a logical partition from a separate logical partition
CN111581040A (zh) * 2020-04-29 2020-08-25 杭州迪普科技股份有限公司 电子设备的破坏性边界值的确定方法及其系统
CN111581040B (zh) * 2020-04-29 2023-04-18 杭州迪普科技股份有限公司 电子设备的破坏性边界值的确定方法及其系统

Also Published As

Publication number Publication date
US20160239391A1 (en) 2016-08-18
US9990258B2 (en) 2018-06-05

Similar Documents

Publication Publication Date Title
WO2015114816A1 (ja) 管理計算機および管理プログラム
US9846611B2 (en) Proactive resource reservation for protecting virtual machines
US9606745B2 (en) Storage system and method for allocating resource
JP5282046B2 (ja) 計算機システム及びその可用化方法
US7802127B2 (en) Method and computer system for failover
JP6051228B2 (ja) 計算機システム、ストレージ管理計算機及びストレージ管理方法
US10282136B1 (en) Storage system and control method thereof
JP6392978B2 (ja) 計算機システムの管理システム
WO2011074284A1 (ja) 仮想計算機の移動方法、仮想計算機システム及びプログラムを格納した記憶媒体
JP6121527B2 (ja) 計算機システム及びリソース管理方法
US20150074251A1 (en) Computer system, resource management method, and management computer
WO2015118679A1 (ja) 計算機、ハイパーバイザ、物理コアの割り当て方法
US20150234671A1 (en) Management system and management program
JP2009230263A (ja) データ処理システム及びその記憶領域割り当て方法
CN106537354B (zh) 虚拟化基础设施管理装置、系统、方法和记录介质
US20130185531A1 (en) Method and apparatus to improve efficiency in the use of high performance storage resources in data center
US9047247B2 (en) Storage system and data processing method
JP2011227766A (ja) 記憶手段の管理方法、仮想計算機システムおよびプログラム
JP2013206379A (ja) クラスタ監視装置、クラスタ監視方法、及びプログラム
US10552224B2 (en) Computer system including server storage system
US11755438B2 (en) Automatic failover of a software-defined storage controller to handle input-output operations to and from an assigned namespace on a non-volatile memory device
JP5266347B2 (ja) 引継方法、計算機システム及び管理サーバ
US20230393775A1 (en) Health evaluation for a distributed storage system
WO2015193947A1 (ja) 物理計算機及び仮想計算機移行方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14881195

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15024638

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14881195

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP