WO2016162916A1 - 管理計算機およびリソース管理方法 - Google Patents

管理計算機およびリソース管理方法 Download PDF

Info

Publication number
WO2016162916A1
WO2016162916A1 PCT/JP2015/060722 JP2015060722W WO2016162916A1 WO 2016162916 A1 WO2016162916 A1 WO 2016162916A1 JP 2015060722 W JP2015060722 W JP 2015060722W WO 2016162916 A1 WO2016162916 A1 WO 2016162916A1
Authority
WO
WIPO (PCT)
Prior art keywords
storage
server
management
resources
configuration
Prior art date
Application number
PCT/JP2015/060722
Other languages
English (en)
French (fr)
Inventor
弘志 那須
智大 川口
良徳 大平
俊二 川村
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US15/544,528 priority Critical patent/US10592268B2/en
Priority to PCT/JP2015/060722 priority patent/WO2016162916A1/ja
Priority to JP2017510805A priority patent/JP6472508B2/ja
Publication of WO2016162916A1 publication Critical patent/WO2016162916A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1479—Generic software techniques for error detection or fault masking
    • G06F11/1482—Generic software techniques for error detection or fault masking by means of middleware or OS functionality
    • G06F11/1484—Generic software techniques for error detection or fault masking by means of middleware or OS functionality involving virtual machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/18—Error detection or correction of the data by redundancy in hardware using passive fault-masking of the redundant circuits
    • G06F11/181—Eliminating the failing redundant component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45583—Memory management, e.g. access or allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Definitions

  • the present invention relates to a computer system that uses a server and a storage.
  • Cloud computing has become widespread as a system having a different form from conventional computer systems.
  • Cloud computing is classified into SaaS (Software as a Service), PaaS (Platform as a Service), and IaaS (Infrastructure as a Service) depending on the service provided.
  • SaaS Software as a Service
  • PaaS PaaS
  • IaaS Infrastructure as a Service
  • IaaS cloud computing is provided by a computer system in which a server and a storage are connected to each other.
  • Patent Literatures 1 and 2 disclose documents relating to the availability of servers and storages (Availability).
  • Patent Document 1 discloses a technology for realizing high availability (HA: High Availability) of a server in IaaS.
  • Patent Document 2 discloses a technique for realizing high storage availability in IaaS.
  • HA configuration high availability configuration
  • VM Virtual Machine
  • the HA constituting the system is used by the device constituting the system. Restrictions are imposed on the configuration. Whether or not the storage HA configuration can be assembled is highly dependent on the device vendor. In some cases, the HA configuration cannot be assembled unless the storages of the same device vendor exist.
  • IaaS Usually, in IaaS, resources are managed and allocated from the server side. If this is applied to the construction of the HA configuration in which the server and the storage are linked, the HA configuration on the server side is assembled, and then the HA configuration on the storage side is assembled.
  • the HA configuration cannot be constructed between storage devices with different device vendors due to differences in specifications.
  • the construction of the server-side HA configuration if a situation occurs in which it is discovered that the storage-side HA configuration cannot be constructed, the construction of the server-side HA configuration is repeated.
  • IaaS users often request a VM deployment that makes a large amount of VM (Virtual Machine) available at one time. Moreover, it is required to speed up the VM deployment process as much as possible. However, in the method for constructing the HA configuration as described above, the deployment process is delayed, and the time for which the user waits becomes long.
  • VM Virtual Machine
  • An object of the present invention is to provide a technology that makes it possible to efficiently construct a redundant configuration in which a server and a storage are linked.
  • a management apparatus is a management computer that has a plurality of server resources and a plurality of storage resources, and manages the resources of a computer system that is allocated to a virtual machine by combining the server resources and the storage resources. And a memory for storing the management information and the management program, and a CPU for referring to the management information and executing the management program, and the management information can be paired in a redundant configuration with respect to the plurality of storage resources.
  • the storage management information Refer to and determine storage resources to be paired with a redundant configuration, and then refer to the connectable configuration management information to select server resources that can be connected to each of the storage resources to be paired with the redundant configuration. To make a redundant pair.
  • the redundant configuration of the storage that often imposes restrictions on the redundant configuration is determined first, and then the redundant configuration of the server is determined. Therefore, the redundant configuration in which the server and the storage are linked is efficiently constructed. be able to.
  • FIG. 5 is a diagram illustrating a configuration example of a storage management table 33010.
  • FIG. 5 is a diagram illustrating a configuration example of a pool management table 33020.
  • FIG. 5 is a diagram showing a configuration example of a volume management table 33030.
  • FIG. . It is a figure which shows the structural example of the volume pair creation possible structure management table 33040. It is a figure which shows the structural example of the volume pair management table 33050.
  • FIG. 5 is a diagram illustrating a configuration example of a host management table 33110.
  • FIG. 5 is a diagram illustrating a configuration example of a hypervisor management table 33120.
  • FIG. 5 is a diagram illustrating a configuration example of a virtual machine management table 33130.
  • FIG. 5 is a diagram showing a configuration example of a virtual machine pair creatable configuration management table 33140.
  • FIG. 5 is a diagram illustrating a configuration example of a virtual machine pair management table 33150.
  • FIG. 5 is a diagram showing a configuration example of a storage-host connectable configuration management table 33160.
  • FIG. 5 is a diagram showing a configuration example of an all storage management table 33210.
  • FIG. It is a figure which shows the structural example of all the pool management tables 33220.
  • FIG. 5 is a diagram showing a configuration example of an all volume management table 33230.
  • FIG. It is a figure which shows the structural example of the all volume pair creation possible structure management table 33240.
  • FIG. 20 is a diagram showing a configuration example of an all volume pair management table 33250.
  • 5 is a diagram illustrating a configuration example of an all-host management table 33260.
  • FIG. It is a figure which shows the structural example of the all hypervisor management table 33270.
  • It shows the structural example of all the virtual machine management tables 33280.
  • 5 is a diagram showing a configuration example of an all virtual machine pair management table 33300.
  • FIG. 20 is a diagram showing a configuration example of an all volume pair management table 33250.
  • 5 is a diagram illustrating a configuration example of an all-host management table 33260.
  • FIG. It is a figure which shows the structural example of the all hypervisor management table
  • FIG. 5 is a diagram showing a configuration example of an all storage-host connectable configuration management table 33310.
  • FIG. This is a sequence showing a process in which the overall management program 33520 acquires the configuration information shown in FIGS. 5 to 15 from all the host management programs 33530 and the storage management program 33540 and updates the contents of the configuration information tables shown in FIGS. .
  • It is a sequence of virtual machine creation processing to which the HA function of the host and storage is applied.
  • It is a sequence of virtual machine creation processing to which the HA function of the host and storage is applied.
  • It is a flowchart of the process which determines a storage HA configuration and a host HA configuration.
  • It is a sequence of virtual machine creation processing to which the DR function of the host and storage is applied.
  • FIG. 1 is a block diagram showing the system configuration of the first embodiment.
  • the system of FIG. 1 includes a data center 50000 and a network 41000 between the data centers.
  • the data center 50000 includes a host 10000, a storage 20000, a management server 300000, and a host-storage network 40000.
  • the management server 30000 can communicate with all the hosts 10000 and the storage 20000 in the data center 50000.
  • the management server 30000 can communicate with the management server 30000 of another data center 50000. A network connecting them to each other is not shown.
  • the host 10000 includes a hypervisor and a virtual machine (VM in the figure).
  • the virtual machine can form an HA pair (VM pair in the figure) with a virtual machine of another host 10000.
  • the HA pair is a pair that realizes high availability, that is, a redundant configuration pair.
  • the storage 20000 includes a pool that provides storage areas such as RAID Group and Thin Provisioning Pool, and a volume (VOL in the figure) obtained by cutting out the storage area from the pool.
  • a volume can be configured with a volume of another storage 20000 and an HA pair (VOL pair in the figure).
  • the storage 20000 includes a volume of a quorum disk (Quorum Disk (Witness) (Q-xx in the figure)) for the HA pair of the virtual machine and the HA pair of the storage 20000.
  • FIG. 2 is a diagram schematically showing a configuration example of the host 10000.
  • the host 10000 includes a CPU (Central Processing Unit) 11000 that is a processor, a non-volatile secondary storage device 12000, a memory 13000 that is a main storage device, an input / output device 14000, an initiator port 16000 that is an I / O request issuer interface, A management interface 17000 is included. These components are interconnected by a bus 15000 so that they can communicate with each other.
  • CPU Central Processing Unit
  • the CPU 11000 operates by reading and executing a program stored in the memory 13000. Typically, programs and data stored in the secondary storage device 12000 are loaded into the memory 13000.
  • the memory 13000 holds an OS (Operating System) 13100, a hypervisor 13020, and a plurality of virtual machine programs 13030.
  • OS Operating System
  • the initiator port 16000 is a network interface connected to the network 40000 between the host and the storage or the network 41000 between the data centers.
  • the initiator port 16000 transmits / receives data and requests to / from the storage 20000 via the network 40000 or 41000.
  • the management interface 17000 is a network interface connected to the management server 30000.
  • the management interface 17000 transmits / receives management data and control commands to / from the storage 20000 via the local area network (LAN) in the data center 50000 and the network 41000 between the data centers.
  • the management interface 17000 further transmits / receives management data and control commands to / from the management server 30000 via the local area network (LAN) in the data center 50000 and the network 41000 between the data centers.
  • LAN local area network
  • FIG. 3 is a diagram schematically illustrating a hardware configuration example of the storage 20000.
  • the basic configuration of each storage 20000 is the same, but the number of components, storage capacity, and the like depend on each physical storage device. These may have different configurations.
  • the storage 20000 is a storage controller that controls a plurality of storage devices (for example, hard disk drive, SSD (Solid State Drive), etc.) 22000 and the storage 20000, and performs volume management, data communication with the host 10000 or other storages, etc. Including.
  • the storage controller includes a CPU 21000 that is a processor, a memory 23000, an initiator port 26000 that is an I / O request issuer interface, a target port 27000 that is an I / O request reception interface, a management interface 28000, and a cache memory 24000 for data transfer. , including.
  • the components of the storage 20000 are interconnected via a bus 25000 so that they can communicate with each other.
  • the storage 20000 is connected to another external storage via the initiator port 26000, transmits an I / O request and write data (user data) to the external physical storage, and reads data (user data) from the external physical storage. Data).
  • the initiator port 26000 is connected to a host-storage network 40000 and a data center network 41000.
  • the initiator port 26000 is a protocol used within the storage controller, such as Fiber Channel (FC), Fiber Channel Over Ethernet (registered trademark) (FCoE), or iSCSI used for communication with an external physical storage system. It has a function of converting to PCIe.
  • FC Fiber Channel
  • FCoE Fiber Channel Over Ethernet
  • iSCSI iSCSI
  • the storage 20000 is connected to the host 10000 or an external storage at the target port 27000.
  • the storage 20000 receives I / O requests and write data from the host 10000 or external physical storage via the target port 27000, and transmits read data to the host 10000 or external physical storage.
  • the target port 27000 is connected to the host-storage network 40000 and the data center network 41000.
  • the target port 27000 has a function of converting a protocol such as FC, FCoE, iSCSI used for communication with the host 10000 or an external storage into a protocol used inside the storage controller, for example, PCIe.
  • the management interface 28000 is a device for connecting to the management server 30000.
  • the management interface 28000 has a function of converting a protocol used in the LAN into a protocol used in the storage controller, for example, PCIe.
  • the CPU 21000 realizes predetermined functions including control of I / O from the host 10000 and management and control of the volume of the storage 20000 by executing a program for storage control. At least a part of the functions realized by the CPU 21000 described in this embodiment may be realized by a logic circuit different from the CPU 21000.
  • the memory 23000 stores data and programs handled by the CPU 21000.
  • the data in the memory 23000 is loaded into the memory 23000 from, for example, any storage device 22000 or flash memory (not shown) in the storage 20000 or another device connected via a network.
  • FIG. 4 is a diagram illustrating a configuration example of the management server 30000.
  • the management server 30000 includes a CPU 31000 as a processor, a memory 33000 as a main storage device, a secondary storage device 32000, an input / output device 34000, and a management interface (I / F) 36000. These devices of the management server 30000 are interconnected via a bus 35000 so that they can communicate with each other.
  • Management server 30000 executes a management program and operates according to it.
  • the management I / F 36000 is connected to a network in a data center or a network between data centers, and performs conversion between a protocol in the management server 30000 and a protocol of an external network.
  • the management server 30000 can communicate with the storage 20000 and the host 10000 via the management I / F 36000.
  • the input / output device 34000 includes one or more devices such as a display, a pointer, or a keyboard.
  • the user can operate the management server 3000 using the input / output device 34000, and may access the management server 30000 from a client computer connected via a network.
  • the client computer is included in the management system together with the management server 30000.
  • the user can input necessary information with an input device (for example, a mouse and a keyboard), and can visually recognize the necessary information with an output device.
  • the CPU 31000 implements a predetermined function of the management server 30000 by executing a program stored in the memory 33000.
  • the memory 33000 stores a program executed by the CPU 31000 and data necessary for executing the program.
  • a program operating on the management server 30000 will be described later.
  • At least some of the functions realized by the CPU 31000 described in this embodiment may be realized by a logic circuit different from the CPU 31000.
  • the program is loaded from the secondary storage device 32000 to the memory 33000.
  • the secondary storage device 32000 is a storage device provided with a non-volatile non-transitory storage medium that stores programs and data necessary for realizing predetermined functions of the management server 30000.
  • the secondary storage device 32000 may be an external storage device connected via a network.
  • the management system of this configuration example is configured with a management server, but the management system may be configured with a plurality of computers.
  • One of the plurality of computers may be a display computer, and the plurality of computers may realize processing equivalent to that of the management server in order to speed up management processing and increase reliability.
  • the administrator may access the management server of the management system from the management console of the management system, instruct the management server to perform processing, and acquire and display the processing result of the management server on the management console.
  • the management system may be configured in the physical storage. Some functions of the management system may be implemented in the physical storage.
  • the memory 33000 of the management server 30000 stores data and programs handled by the CPU 31000. Data in the memory 33000 is loaded into the memory 33000 from, for example, any storage device 22000 or flash memory (not shown) in the storage 20000 or another device connected via a network.
  • the memory 33000 holds an OS, a virtual machine management user I / F program 33510, an overall management program 33520, a host management program 33530, and a storage management program 33540. Further, the memory 33000 holds a configuration information management table 33400.
  • the virtual machine management user I / F program 33510 provides a user with an interface such as a command line interface (CLI) or a graphical user interface (GUI) for managing a virtual machine.
  • an interface such as a command line interface (CLI) or a graphical user interface (GUI) for managing a virtual machine.
  • CLI command line interface
  • GUI graphical user interface
  • the host management program 33530 manages host resources in the data center.
  • the storage management program 33540 manages storage resources in the data center.
  • the overall management program 33520 manages the host and storage resources of all data centers.
  • the overall management program 33520 can communicate with the host management program and the storage management program of the management server.
  • the configuration information management table 33400 is a table for managing the host and storage resources shown in FIGS.
  • the storage management program 33540 refers to and updates the tables shown in FIGS.
  • the host management program 33530 refers to and updates the tables shown in FIGS.
  • the overall management program 33520 refers to and updates the tables shown in FIGS.
  • the tables of FIGS. 5 to 26 will be described.
  • FIG. 5 shows a configuration example of the storage management table 33010.
  • the storage management table 33010 has a storage ID column 33011 for storing the ID of each storage in the data center, and a vendor name 33012 for storing the vendor name of the storage hardware.
  • FIG. 6 shows a configuration example of the pool management table 33020.
  • the pool management table 33020 includes a pool ID column 33021 for storing a pool ID of a pool possessed by each storage in the data center, a storage ID column 33022 for storing a storage ID of the storage having the pool, a usage amount of the pool, and the like. It has a total capacity column 33023 for storing the value of the total capacity including the free capacity and the like, and a free capacity column 33024 for storing the value of the free capacity of the pool.
  • FIG. 7 shows a configuration example of the volume management table 33030.
  • the volume management table 33030 includes a VOLID column 33031 for storing a volume ID of a volume created from a pool of each storage in the data center, a pool ID column 33032 for storing the pool ID of the pool, and a capacity value of the volume. And a capacity column 33033 for storing.
  • FIG. 8 shows a configuration example of the configuration management table 33040 that can create a volume pair.
  • the volume pair creatable configuration management table 33040 includes a pool ID column 33041 for storing a pool ID of each storage in the data center, and a partner for storing a pool ID of a storage in another data center capable of constructing a volume pair configuration. It has a pool ID column 33043 and a pair type column 33042 for storing information on the pair type.
  • a character string “HA” is stored for an HA pair
  • DR is stored for a DR pair.
  • DR Disaster Recovery
  • a redundant configuration may be constructed in the server and storage. Note that the combination of storages that can be configured as a volume pair may be freely selected in accordance with the specifications of the storage hardware and software.
  • FIG. 9 shows a configuration example of the volume pair management table 33050.
  • the volume pair management table 33050 includes a VOL pair ID column 33051 for storing a pair ID of a volume pair, a VOLID 33052 for storing a volume ID of one side volume or a quorum volume of the pair in the data center, and a pair type of the pair.
  • the consistency group is composed of at least one volume pair, and each volume pair includes a primary volume and a secondary volume.
  • the primary volume is a logical volume that is provided to the host device and in which write access occurs.
  • the secondary volume is a logical volume that is a replica of the primary volume.
  • the consistency group is a volume group that needs to be consistent between one or more primary volumes and one or more secondary volumes. The consistency group is prepared on the disk device.
  • VOL type column for example, a character string “PVOL” is stored for a primary volume (PVOL), “SVOL” is stored for a secondary volume (SVOL), and “Quorum” is stored for a quorum volume.
  • pair status column 33055 for example, “COPY” is displayed when data is being copied between paired volumes, “PAIR” is displayed when data copy is completed and data synchronization is in progress, and “PSUS” (PAIR SUSPEND is displayed when data copy is suspended. ) Etc. are stored.
  • FIG. 10 shows a configuration example of the host management table 33110.
  • the host management table 33110 has a host ID column 33111 for storing the host ID of each host in the data center.
  • FIG. 11 shows a configuration example of the hypervisor management table 33120.
  • the hypervisor management table 33120 includes a hypervisor ID column 33121 for storing a hypervisor ID of a hypervisor on each host in the data center, a hypervisor name column 33122 for storing a character string indicating the type of the hypervisor, and a host having the hypervisor. Host ID 33123.
  • FIG. 12 shows a configuration example of the virtual machine management table 33130.
  • the virtual machine management table 33130 includes a VMID column 33131 that stores an ID of a virtual machine deployed on a hypervisor in the data center, a hypervisor ID column 33132 that stores a hypervisor ID of a hypervisor in which the virtual machine is deployed, And a connection VOLID 33133 for storing an ID of a volume accessible by the VM.
  • FIG. 13 shows a configuration example of the virtual machine pair creation possible configuration management table 33140.
  • the virtual machine pair creatable configuration management table 33140 includes a hypervisor ID column 33141 for storing the ID of a hypervisor in the data center and a partner hypervisor ID column for storing an ID of a hypervisor that can be paired with HA or DR in another data center. 33141 and a pair type column 33142 of the pair.
  • FIG. 14 shows a configuration example of the virtual machine pair management table 33150.
  • the virtual machine pair management table 33150 includes a VM pair ID column 33151 that stores the ID of a pair that is a constituent element of the virtual machine in the data center, and a VMID column 33152 that stores the ID of the virtual machine in the data center of the pair.
  • a pair type column 33153 for storing a character string indicating the information on the pair type
  • a VM status column 33155 for storing a character string indicating the status information of the virtual machine having the ID of the VMID column 33152
  • another data center The other party hypervisor ID column 33156 for storing the ID of the hypervisor that is the one-side pair
  • the QuorumID column 33157 for storing the ID of the quorum volume of the pair.
  • a character string such as “Active” is stored if the virtual machine is in an active state (Active), and “Standby” is stored in a standby state (Standby).
  • FIG. 15 shows a configuration example of the storage-host connectable configuration management table 33160.
  • the storage-host connectable configuration management table 33160 stores a storage ID column 33161 for storing an ID of a storage in the data center, and an ID of a host that is connected to the storage through an arbitrary network and can communicate with the storage. Host ID 33162.
  • FIG. 16 shows a configuration example of the total storage management table 33210.
  • the all storage management table 33210 includes a storage ID column 3321 for storing IDs of storages in all data centers, a vendor name column 33212 for storing the storage hardware vendor name of the storage, and an ID of the data center where the storage is located. And a data center ID column 33213 for storing.
  • FIG. 17 shows a configuration example of the all pool management table 33220.
  • the total pool management table 33220 includes a pool ID 33221 for storing the IDs of the pools in all data centers, a storage ID column 33222 indicating the ID of the storage having the pool, and the total capacity including the used amount and free capacity of the pool. And a free capacity column 33224 for storing the value of the free capacity of the pool.
  • FIG. 18 shows a configuration example of the total volume management table 33230.
  • the all volume management table 33230 includes a VOLID column 3321 for storing IDs of volumes in all data centers, a pool ID 33232 for storing IDs of pools to which capacities are allocated to the volumes, and storages for storing IDs of storages having the pools. It has an ID column 33233 and a capacity column 33234 for storing the capacity value of the volume.
  • FIG. 19 shows a configuration example of the configuration management table 33240 that can create all volume pairs.
  • the all-volume-pair-creatable configuration management table 33240 stores the first pool ID column 33241 for storing the ID of the first pool that provides the volume that can configure the pair and the ID of the second pool in all data centers.
  • Second pool ID 33242 and 33243 for storing a character string indicating pair type information.
  • FIG. 20 shows a configuration example of the all volume pair management table 33250.
  • the all-volume pair management table 33250 includes a VOL pair ID column 33251 that stores IDs of volume pairs in all data centers, a pair type column 33252 that stores character strings indicating pair type information of the pair, A pair status column 33253 for storing a character string indicating pair status information of the pair, a PVOLID column 33254 for storing the ID of the PVOL of the pair, a SVOLID column 33255 for storing the ID of the SVOL of the pair, It has a QuorumID column 33256 for storing the ID of the Quorum volume, and a GrpID column 22357 indicating the ID of a group such as a consistency group of the pair.
  • FIG. 21 shows a configuration example of the all-host management table 33260.
  • the all-host management table 33260 has a host ID 3261 that stores the IDs of hosts in all data centers, and a data center ID column 33262 that stores the IDs of the data centers in which the hosts are located.
  • FIG. 22 shows a configuration example of the entire hypervisor management table 33270.
  • the all hypervisor management table 33270 stores a hypervisor ID column 33271 for storing the IDs of hypervisors in all data centers, a hypervisor name column 33272 for storing a character string indicating the type of the hypervisor, and an ID of a host having the hypervisor. Host ID column 33273.
  • FIG. 23 shows a configuration example of the all virtual machine management table 33280.
  • the all virtual machine management table 33280 includes a VMID column 33281 for storing IDs of virtual machines in all data centers, a hypervisor ID column 33282 for storing IDs of hypervisors with the virtual machines, and volumes accessible to the virtual machines. And a connection VOLID column 33283 indicating the ID of the connection.
  • FIG. 24 shows a configuration example of the configuration management table 33290 that can create all virtual machine pairs.
  • the all-virtual-machine-pair-creatable configuration management table 33290 includes the first hypervisor ID column 33291 for storing the ID of the first hypervisor that provides a virtual machine that can configure a pair in all the data centers, and the ID of the second hypervisor.
  • a second hypervisor ID column 33292 for storing and a pair type column 33293 for storing a character string indicating pair type information of the pair are included.
  • FIG. 25 shows a configuration example of the all virtual machine pair management table 33300.
  • the all virtual machine pair management table 33300 includes a VM pair ID column 33301 for storing the IDs of virtual machine pairs in all data centers, a pair type column 33302 for storing a character string indicating the pair type of the pair, A pair status column 33303 for storing a character string indicating the pair status, a first VMID 33304 for storing the ID of the first virtual machine of the pair, and a first character string for storing the status of the first virtual machine A VM status column 33305, a second VMID 33306 for storing the ID of the second virtual machine, a second VM status column 33307 for storing a character string indicating the status of the second virtual machine, and the Quorum volume of the pair And a QuorumID column 33308 for storing the ID.
  • FIG. 26 shows a configuration example of the all storage-host connectable configuration management table 33310.
  • the all storage-host connectable configuration management table 33310 stores a storage ID column 33311 for storing IDs of storages of all data centers, and IDs of hosts connected to the storage via the network and capable of communicating with the storage.
  • FIG. 27, FIG. 28, and FIG. 29 show the virtual machine creation processing sequence of the first embodiment.
  • This sequence includes a user 60000, a virtual machine management user I / F program 33510, an overall management program 33520, a host management program 33530, and a storage management program 33540.
  • one user 60000 performs a virtual machine creation operation via one virtual machine management user I / F program 33510 of one management server.
  • one overall management program 33520 of the same management server 30000 is replaced with a host management program 33530 and a storage management program 33540 of the same management server 30000, a host management program 33530 and a storage management program 33540 of the management server 30000 in another data center 50000.
  • commands such as acquisition of configuration information of each host and storage, creation of a volume HA pair, and setting of a virtual machine HA pair are issued.
  • FIG. 27 shows a process in which the overall management program 33520 acquires the configuration information shown in FIGS. 5 to 15 from all the host management programs 33530 and the storage management program 33540 and updates the contents of the configuration information tables shown in FIGS.
  • FIG. 27 shows a process in which the overall management program 33520 acquires the configuration information shown in FIGS. 5 to 15 from all the host management programs 33530 and the storage management program 33540 and updates the contents of the configuration information tables shown in FIGS.
  • step S101 the overall management program 33520 transmits an instruction for acquiring the host configuration information in the tables shown in FIGS. 10 to 15 to all the host management programs 33530.
  • the host management program 33530 Upon receiving the configuration information acquisition command from the overall management program 33520, the host management program 33530 transmits the contents of the host configuration information in the tables shown in FIGS. 10 to 15 to the overall management program 33520.
  • step S102 the overall management program 33520 reflects the configuration information received from the host management program 33530 in the tables of FIGS.
  • step S103 the overall management program 33520 transmits an instruction to acquire storage configuration information in the tables shown in FIGS. 10 to 15 to all the storage management programs 33540.
  • the storage management program 33540 transmits the contents of the storage configuration information in the tables shown in FIGS. 5 to 9 to the overall management program.
  • step S104 the overall management program 33520 reflects the configuration information received from the storage management program 33540 in the tables of FIGS.
  • step S100 a series of processing of steps S101 to S104 surrounded by a broken line in FIG. 27 is assumed to be step S100.
  • steps S111 and S112 the configuration information acquisition in step S100 may be executed according to an instruction from the user 60000.
  • FIG. 28 and FIG. 29 are virtual machine creation processing sequences to which the HA functions of the host and storage are applied.
  • a user 60000 in FIGS. 28 and 29 is an IaaS user who issues a request for virtual machine creation / deletion to the overall management program 33520.
  • 28 and 29 indicates the virtual machine management user I / F program 33510.
  • the user 60000 issues a command to the overall management program 33520 via the I / F 33510.
  • the overall management 33520 in FIG. 28 and FIG. 29 indicates the overall management program 33520 in the same management server as the I / F 33510.
  • the host management 33530 in FIGS. 28 and 29 indicates the host management program 33530 in the management server of each data center.
  • the storage management 33540 in FIGS. 28 and 29 shows the storage management program 33540 in the management server of each data center.
  • step S201 of FIG. 28 the user 60000 instructs the virtual machine management user I / F program 33510 to create a virtual machine to which the HA function is applied.
  • step S202 the virtual machine management user I / F program 33510 transmits a command for creating a virtual machine to which the HA function is applied to the overall management program 33520.
  • step S203 the overall management program 33520 determines the storage HA configuration and the host HA configuration. A detailed description of this step will be described later.
  • the overall management program 33520 instructs the plurality of storage management programs 33540 to create HA volume pairs based on the storage HA configuration and the host HA configuration determined in step S203.
  • step S205 the overall management program 33520 transmits a command for creating a primary volume (Primary Volume, PVOL) of the HA to the storage management program 33540.
  • Primary Volume Primary Volume
  • step S206 the storage management program 33540 creates the volume according to the command from the storage management program, and returns the command completion to the storage overall management program.
  • step S207 the overall management program transmits an instruction to create a secondary volume (Secondary Volume, SVOL) of the HA to the storage management program 33540.
  • a secondary volume Secondary Volume, SVOL
  • step S208 the storage management program 33540 creates the volume in accordance with the command from the overall management program 33520, and returns the command completion to the storage management program 33540.
  • step S209 the overall management program 33520 transmits an HA Quorum volume creation command to the storage management program 33540.
  • step S210 the storage management program 33540 creates the volume in accordance with the command from the storage management program 33540, and returns completion of the command to the overall management program 33520.
  • step S211 the overall management program 33520 transmits a PVOL-Quorum connection command to the PVOL-side storage management program 33540.
  • step S212 the storage management program 33540 on the PVOL side executes the PVOL-Quorum connection setting for the storage management program 33540 on the quorum side, and returns completion of the setting to the overall management program 33520.
  • step S213 the overall management program 33520 transmits an SVOL-Quorum connection command to the storage management program 33540 on the SVOL side.
  • step S214 the storage management program 33540 on the SVOL side executes the SVOL-Quorum connection setting for the storage management program 33540 on the quorum side, and returns completion of the setting to the overall management program 33520.
  • step S215 the overall management program 33520 transmits a PVOL-SVOL HA pair creation command to the PVOL-side storage management program 33540.
  • step S216 the PVOL-side storage management program 33540 executes the PVOL-SVOL HA pair creation for the SVOL-side storage management program 33540, and returns the completion of the pair creation to the overall management program 33520.
  • step S217 the overall management program 33520 reflects the configuration information after creating the HA volume pair described above in the configuration management table. At this time, the overall management program 33520 may perform the configuration information TB update process in step S100 again.
  • step S218 in FIG. 29 the overall management program 33520 transmits a command to store the VM image in the PVOL to the host management program 33530.
  • step S219 the host management program 33530 transmits a Write command to the PVOL of the VM image data in accordance with a command from the overall management program 33520 to the storage management program 33540 on the PVOL side.
  • step S220 the storage management program 33540 copies the data written in the PVOL to the SVOL side.
  • step S221 the overall management program 33520 transmits a quorum volume creation command to the storage management program 33540 of the storage that is the quorum creation source of the host HA.
  • step S222 the storage management program 33540 creates a volume and returns completion of the command to the overall management program 33520.
  • step S223 the path definition from the storage HA pair volume and the quorum setting of the host HA are executed for each hypervisor of the host HA configuration determined in step S204.
  • step S224 the host management program 33530 instructs the storage management program 33540 on the PVOL side to define a path from the PVOL to the host.
  • step S225 the host management program 33530 performs quorum setting for the storage management program 33540 on the quorum side of the host HA.
  • step S226 the host management program 33530 sets the path definition from the storage HA pair volume (step S226) and the host HA quorum setting (step S227) to the host management program 33530 of another host in the host HA pair. Instruct.
  • step S228, the overall management program 33520 reflects the configuration information after creating the HA volume pair described above in the configuration management table. At this time, the overall management program 33520 may perform the configuration information TB update process in step S100 again.
  • step S229 the overall management program 33520 instructs the host management program 33530 to start a virtual machine.
  • step S230 the host management program 33530 accesses the volume (step S230) and starts the virtual machine.
  • step S231 the host management program 33530 returns completion of virtual machine activation to the overall management program 33520.
  • step S231 the overall management program 33520 returns the completion of virtual machine creation to the virtual machine management user I / F program 33510.
  • the virtual machine management user I / F program 33510 notifies the user 60000 of completion of virtual machine creation.
  • FIG. 30 is a flowchart of processing for determining the storage HA configuration and the host HA configuration.
  • step S203-01 the overall management program 33520 refers to the configuration management table 33240 that can create all volume pairs, selects one storage pool combination that can create HA volume pairs, and then proceeds to step S203-02. move on. If there is no unselected pool combination, the process is terminated. If either the storage HA configuration or the host HA configuration has not been determined, the process ends abnormally.
  • step S203-02 the overall management program 33520 refers to the all pool management table 33220 and calculates the total free capacity of both pools of the pool combination selected in the immediately preceding step S203-01.
  • step S203-03 the overall management program 33520 has the total free capacity of both pools of the pool combination selected in the immediately preceding step S203-01 larger than that of the already determined storage HA pool combination. If so, the process proceeds to step S203-04; otherwise, the process returns to step S203-01.
  • the method of selecting the pool combination is not limited to the method of this embodiment, and other methods may be used.
  • step S203-04 the overall management program 33520 refers to the all storage-host connectable configuration management table, and selects one unselected one that can be connected to one storage of the pool combination selected in the immediately preceding step S203-01. If there is a host, it is selected and the process proceeds to step S203-05; otherwise, the process returns to step S203-01.
  • step S203-05 the overall management program 33520 refers to the all virtual machine pair creatable configuration management table 33290, and the host hypervisor (first) selected in the immediately preceding step S203-04 and the hypervisor capable of HA configuration. If there is an unselected combination in the (second) combination, it is selected and the process proceeds to step S203-06, and if not, the process returns to step S203-04.
  • step S203-06 the overall management program 33520 acquires calculation processing load information such as the CPU usage rate and memory usage rate of the selected host.
  • step S203-07 the overall management program 33520 refers to the load information acquired in the immediately preceding step S203-06, and the load of the host selected in the immediately preceding step S203-04 is already determined. If it is lower than that of the first host, the process proceeds to step S203-08; otherwise, the process returns to step S203-04.
  • the host selection method is not limited to the method of this embodiment, and other methods may be used.
  • the overall management program 33520 refers to the entire pool management table 33220, and a storage pool for creating a quorum volume for the storage HA and a storage pool for creating a quorum volume for the host HA. Select.
  • the pool in which the volume is created is located in a place other than the two pools in which the HA volume pair is created or the data center where the host where the HA host pair is placed is located, and the free capacity of the pool Select the one that maximizes.
  • the pool selection method is not limited to the method of this embodiment, and other methods may be used.
  • step S203-09 the overall management program 33520 updates the combination information of the storage HA configuration and the host HA configuration determined in the previous step S203-01 to step S203-09, and returns to step S203-01.
  • the management computer (management server 30000) is a computer that manages the resources of the computer system assigned to the virtual machine by combining server resources and storage resources.
  • the computer system has a plurality of server resources and a plurality of storage resources, and the management computer combines the server resources and the storage resources from among them and assigns them to the virtual machine.
  • the configuration information management table 33400 is stored in the memory 33000 of the management server 30000.
  • storage management information (storage management table 33010) that can determine whether or not a plurality of storage resources can be paired in a redundant configuration, and a plurality of storage resources and a plurality of server resources are mutually connected.
  • connectable configuration management information (storage-host connectable configuration management table 33161) capable of determining whether or not it is possible.
  • a storage ID 33011 of each storage and a vendor name 33012 of the storage vendor are recorded in association with each other.
  • storages from the same vendor can be connected.
  • a storage ID of each storage and a host ID 33162 of a host connectable to the storage are recorded in association with each other.
  • the CPU 31000 When deploying a virtual machine, the CPU 31000 first refers to storage management information to determine a storage resource to be paired with a redundant configuration, and then refers to connectable configuration management information to determine a redundant configuration pair. Select server resources that can be connected to each storage resource to be paired in a redundant configuration.
  • the CPU 31000 allocates storage resources to be paired in a redundant configuration to the primary storage and the secondary storage in the redundant configuration, and the storage for the primary storage and the secondary storage to mutually check the survival of the devices other than the primary storage and the secondary storage.
  • Store quorum information Further, the CPU 31000 assigns server resources to be paired in a redundant configuration to the primary server and secondary server in the redundant configuration, respectively, and a server for the primary server and the secondary server to confirm mutual survival to devices other than the primary server and the secondary server.
  • Store quorum information According to this, quorum information can be arranged in a third site other than the primary and secondary.
  • the CPU 31000 may be able to store server quorum information and storage quorum information in the same device. According to this, since the quorum information of the server and the storage can be stored in the same device, the quorum information can be arranged efficiently.
  • a plurality of server devices and a plurality of storage devices may be distributed and arranged in a plurality of sites that do not become obstacles simultaneously in the same disaster.
  • the CPU 31000 may set the server resources and server quorum information to be paired in a redundant configuration so that they are different sites.
  • the CPU 31000 sets the storage resources and storage quorum information to be paired in a redundant configuration so that they are different sites. According to this, it is possible to arrange a redundant configuration pair and a device for storing quorum information at a site that does not become a failure at the same time due to a disaster, thereby ensuring high reliability of the system.
  • the CPU 31000 may set a consistency group that includes the plurality of storage resource pairs and maintains the consistency of all pairs. According to this, storage resource pairs can be managed as a consistency group, and consistency can be ensured and virtualization machines can be efficiently deployed.
  • a redundant server pair is defined later as a storage redundant pair destination is shown, but other configurations are possible.
  • a pair with a larger constraint imposed on the combination of the redundant configuration pair may be determined first.
  • the management apparatus When a redundant configuration pair is selected for the first resource and the second resource, a pair is selected first for a resource having a lower ratio of a pair combination that can be selected from a plurality of pairs. According to this, since a resource with a large restriction imposed on a redundant configuration pair is determined first and then a redundant configuration pair of the other resource is determined, a redundant configuration in which the first resource and the second resource are linked together is determined. It can be constructed efficiently. Here, it is assumed that the restriction imposed on the determination of the pair is larger when the ratio of the pair combination that can be selected is lower.
  • the second embodiment is an example in which the host DR configuration is constructed in accordance with the configuration of the storage DR (Disaster Recovery) after the storage DR is configured in the virtual server creation in IaaS.
  • Quorum is set in addition to the primary and secondary, but in the DR of the second embodiment, only the primary and secondary are set, and the Quorum is not set.
  • FIG. 31 and 32 are virtual machine creation processing sequences to which the DR function of the host and storage is applied.
  • FIG. 31 corresponds to FIG. 28 in the first embodiment
  • FIG. 32 corresponds to FIG. 29 in the first embodiment.
  • the sequence of FIGS. 31 and 32 is different from the sequence of FIGS. 28 and 29 in that there is no quorum setting.
  • FIG. 33 is a flowchart showing processing for determining the storage DR configuration and the host DR configuration.
  • FIG. 33 corresponds to FIG. 30 in the first embodiment.
  • the flowchart of FIG. 33 differs from FIG. 30 only in that there is no quorum setting.
  • the third embodiment is an example in which another volume is connected to a virtual machine applied to an already created HA in creating a virtual server in IaaS.
  • 34 and 35 are sequences showing processing for connecting a volume to a virtual machine to which the HA configuration is applied to the host-storage.
  • step S401 in FIG. 34 the user 60000 instructs the virtual machine management I / F program 33510 to connect a specific volume to a specific virtual machine.
  • step S402 the virtual machine management I / F program 33510 instructs the overall management program 33520 to connect a volume to the virtual machine.
  • step S403 the overall management program 33520 refers to the all virtual machine pair management table 33300 and confirms the pair type 33302 of the specific VM pair ID 33301. Here, it is assumed that the pair type 33302 is “HA”.
  • the overall management program 33520 refers to the all volume management table 33230 and the all volume pair creation possible configuration management table 33240, and can create a SVOL that can create a specific volume and HA pair for which a connection instruction has been issued. Side pool selection and Quorum volume creation destination pool selection. The method for selecting each pool is the same as in step S203 of the first embodiment.
  • the overall management program 33520 implements PVOL creation, SVOL creation, Quorum connection, and HA pair creation for the storage management program 33540.
  • the overall management program 33520 refers to the all volume pair management table 33250 and the all virtual machine management table 33280, and has the same consistency group ID as the HA pair volume already connected to the specific VM. Is identified and HA pair creation is performed.
  • the overall management program 33520 monitors the created HA pair volume and performs path definition for each VM of the specific host HA pair.
  • step S418, the overall management program 33520 reflects the above-described configuration change content in the configuration management table. At this time, the overall management program 33520 may perform the configuration information TB update process in step S100 again.
  • step S419 the overall management program 33520 returns the volume connection completion to the virtual machine to the virtual machine management user I / F program.
  • step S420 the virtual machine management user I / F program 33510 notifies the user 60000 of the completion of volume connection to the virtual machine.
  • 10000 Host, 11000: CPU, 12000: Secondary storage device, 13000 ... Memory, 13020 ... Hypervisor, 13030 ... Virtual machine program, 14000 ... I / O device, 15000 ... Bus, 16000 ... Initiator port, 17000 ... Management interface, 20000 ... Storage, 21000 ... CPU, 22000 ... Storage device, 23000 ... Memory, 24000 ... Cache memory, 25000 ... Bus, 26000 ... Initiator port, 27000 ... Target port, 28000 ... Management interface, 30000 ... Management server, 31000 ... CPU, 32000 ... secondary storage device, 33000 ... memory, 34000 ... input / output device, 35000 ... bus, 36000 ... management interface, 4 000 ... network, 41000 ... network, 50,000 ... data center

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

　複数のサーバリソースと複数のストレージリソースとを有し、サーバリソースとストレージリソースを組み合わせて仮想化マシンに割り当てるコンピュータシステムのリソースを管理する管理計算機は、管理情報と管理プログラムを格納するメモリと、管理情報を参照し、管理プログラムを実行するＣＰＵと、を有し、管理情報は、複数のストレージリソースについて冗長構成のペアにできるか否かを判断可能にするストレージ管理情報と、複数のストレージリソースと複数のサーバリソースについて相互に接続できるか否かを判断可能にする接続可能構成管理情報と、を含み、ＣＰＵは、仮想化マシンをデプロイするとき、まず、ストレージ管理情報を参照して、冗長構成のペアにするストレージリソースを決定し、次に、接続可能構成管理情報を参照して、冗長構成のペアにするストレージリソースのそれぞれと接続できるサーバリソースを選択して冗長構成のペアにする。

Description

管理計算機およびリソース管理方法
　本発明は、サーバとストレージを利用するコンピュータシステムに関する。
　近年、従来型の計算機システムとは異なる形態のシステムとして、クラウドコンピューティングが広く普及してきている。クラウドコンピューティングは、提供するサービスにより、ＳａａＳ（Ｓｏｆｔｗａｒｅ　ａｓ　ａ　Ｓｅｒｖｉｃｅ）、ＰａａＳ（Ｐｌａｔｆｏｒｍ　ａｓ　ａ　Ｓｅｒｖｉｃｅ）、ＩａａＳ（Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ　ａｓ　ａ　Ｓｅｒｖｉｃｅ）に分類される。クラウドジョンピューティングにおいては可用性および信頼性の向上とシステム拡張の柔軟性の実現のためリソースの管理が重要であり、様々な研究開発がすすめられている。
　ＩａａＳのクラウドコンピューティングは、サーバとストレージが互いに接続されたコンピュータシステムにより提供される。サーバおよびストレージの可用性（Ａｖａｉｌａｂｉｌｉｔｙ）に関する技術を開示する文献として特許文献１、２がある。特許文献１は、ＩａａＳにおけるサーバの高可用性（ＨＡ：Ｈｉｇｈ　Ａｖａｉｌａｂｉｌｉｔｙ）を実現する技術を開示している。特許文献２は、ＩａａＳにおけるストレージの高可用性を実現する技術を開示している。
米国特許出願公開ＵＳ８８８０７７４ ＰＣＴ／ＪＰ２０１４／０６１１５１
　ＩａａＳを提供するコンピュータシステムにおいて、従来からあるサーバ側の高可用性技術と、ストレージ側の高可用性技術を組み合わせることにより、システムとしての可用性を高めることが考えられる。
　しかしながら、上述のように個々にサーバの高可用性技術とストレージの高可用性技術はそれぞれ検討されているものの、サーバとストレージの両方を連携する高可用性技術はない。
　サーバ側とストレージ側の双方で高可用性のための冗長構成（高可用性構成（ＨＡ構成））を組んだ環境を構築するにあたり、ＶＭ（Ｖｉｒｔｕａｌ　Ｍａｃｈｉｎｅ）のデプロイにおいて、システムを構成する装置により、ＨＡ構成に制約が課される。ストレージのＨＡ構成が組めるかどうかは装置ベンダへの依存性が高く、同じ装置ベンダのストレージ同士出なければＨＡ構成を組めない場合がある。
　通常、ＩａａＳではサーバ側を起点としたリソースの管理および割り当てが行われる。これをサーバとストレージを連携させたＨＡ構成の構築に適用すると、サーバ側のＨＡ構成を組みその後でストレージ側のＨＡ構成を組むことになる。
　しかしながら、装置ベンダが異なるストレージ機器同士では、仕様の相違により、ＨＡ構成を構築できない場合がある。サーバ側のＨＡ構成を構築した後、ストレージ側のＨＡ構成が構築できないことが発覚するといった事態が起こると、サーバ側のＨＡ構成の構築からやり直しとなってしまう。
　ＩａａＳのユーザは１度に大量のＶＭ（Ｖｉｒｔｕａｌ　Ｍａｃｈｉｎｅ）を利用可能な状態にするようなＶＭデプロイを要求するケースが多い。なおかつ、そのＶＭデプロイの処理をできるだけ高速化することが求められる。しかし、上述ようなＨＡ構成の構築方法では、デプロイ処理が遅延し、ユーザを待たせる時間が長くなってしまう。
　本発明の目的は、サーバとストレージを連携させた冗長構成を効率よく構築することを可能にする技術を提供することである。
　本発明の一つの実施態様に従う管理装置は、複数のサーバリソースと複数のストレージリソースとを有し、サーバリソースとストレージリソースを組み合わせて仮想化マシンに割り当てるコンピュータシステムのリソースを管理する管理計算機であって、管理情報と管理プログラムを格納するメモリと、前記管理情報を参照し、前記管理プログラムを実行するＣＰＵと、を有し、前記管理情報は、前記複数のストレージリソースについて冗長構成のペアにできるか否かを判断可能にするストレージ管理情報と、前記複数のストレージリソースと前記複数のサーバリソースについて相互に接続できるか否かを判断可能にする接続可能構成管理情報と、を含み、前記ＣＰＵは、仮想化マシンをデプロイするとき、まず、前記ストレージ管理情報を参照して、冗長構成のペアにするストレージリソースを決定し、次に、前記接続可能構成管理情報を参照して、前記冗長構成のペアにする前記ストレージリソースのそれぞれと接続できるサーバリソースを選択して冗長構成のペアにする。
　本発明によれば、冗長構成に制約が課される場合が多いストレージの冗長構成を先に決めて次にサーバの冗長構成を決めるので、サーバとストレージを連携させた冗長構成を効率よく構築することができる。
第一の実施例のシステム構成を示すブロック図である。 ホスト１００００の構成例を模式的に示す図である。 ストレージ２００００のハードウェア構成例を模式的に示す図である。 管理サーバ３００００の構成例を示す図である。 ストレージ管理テーブル３３０１０の構成例を示す図である。 プール管理テーブル３３０２０の構成例を示す図である。 ボリューム管理テーブル３３０３０の構成例を示す図である。。 ボリュームペア作成可能構成管理テーブル３３０４０の構成例を示す図である。 ボリュームペア管理テーブル３３０５０の構成例を示す図である。 ホスト管理テーブル３３１１０の構成例を示す図である。 ハイパバイザ管理テーブル３３１２０の構成例を示す図である。 仮想マシン管理テーブル３３１３０の構成例を示す図である。 仮想マシンペア作成可能構成管理テーブル３３１４０の構成例を示す図である。 仮想マシンペア管理テーブル３３１５０の構成例を示す図である。 ストレージ－ホスト接続可能構成管理テーブル３３１６０の構成例を示す図である。 全ストレージ管理テーブル３３２１０の構成例を示す図である。 全プール管理テーブル３３２２０の構成例を示す図である。 全ボリューム管理テーブル３３２３０の構成例を示す図である。 全ボリュームペア作成可能構成管理テーブル３３２４０の構成例を示す図である。 全ボリュームペア管理テーブル３３２５０の構成例を示す図である。 全ホスト管理テーブル３３２６０の構成例を示す図である。 全ハイパバイザ管理テーブル３３２７０の構成例を示す図である。 全仮想マシン管理テーブル３３２８０の構成例を示す図である。 全仮想マシンペア作成可能構成管理テーブル３３２９０の構成例を示す図である。 全仮想マシンペア管理テーブル３３３００の構成例を示す図である。 全ストレージ－ホスト接続可能構成管理テーブル３３３１０の構成例を示す図である。 全体管理プログラム３３５２０が、全てのホスト管理プログラム３３５３０及びストレージ管理プログラム３３５４０から図５～図１５の構成情報を取得し、図１６～図２６の構成情報テーブルの内容を更新する処理を示すシーケンスである。 ホストおよびストレージのＨＡ機能を適用した仮想マシン作成処理のシーケンスである。 ホストおよびストレージのＨＡ機能を適用した仮想マシン作成処理のシーケンスである。 ストレージＨＡ構成及びホストＨＡ構成を決定する処理のフローチャートである。 ホストおよびストレージのＤＲ機能を適用した仮想マシン作成処理のシーケンスである。 ホストおよびストレージのＤＲ機能を適用した仮想マシン作成処理のシーケンスである。 ストレージＤＲ構成及びホストＤＲ構成を決定する処理を示すフローチャートである。 ホスト‐ストレージにＨＡ構成を適用した仮想マシンにボリュームを接続する処理を示すシーケンスである。 ホスト‐ストレージにＨＡ構成を適用した仮想マシンにボリュームを接続する処理を示すシーケンスである。
　図１は、第一の実施例のシステム構成を示すブロック図である。図１のシステムには、データセンタ５００００と、データセンタ間のネットワーク４１０００と、が含まれている。
　データセンタ５００００は、ホスト１００００と、ストレージ２００００と、管理サーバ３０００００と、ホスト‐ストレージ間のネットワーク４００００と、を含む。なお、管理サーバ３００００は、データセンタ５００００内の全てのホスト１００００およびストレージ２００００と互いに通信可能である。また、管理サーバ３００００は、他のデータセンタ５００００の管理サーバ３００００と互いに通信可能である。それらを相互に接続するネットワークは不図示である。
　ホスト１００００は、ハイパバイザと、仮想マシン（図中のＶＭ）と、を含む。仮想マシンは、別のホスト１００００の仮想マシンとＨＡペア（図中のＶＭペア）を構成することが可能である。ＨＡペアは高可用性を実現するペアであり、つまり冗長構成のペアである。
　ストレージ２００００は、ＲＡＩＤ　ＧｒｏｕｐやＴｈｉｎ　Ｐｒｏｖｉｓｉｏｎｉｎｇ　Ｐｏｏｌ等の記憶領域を提供するプールと、プールから記憶領域を切り出したボリューム（図中のＶＯＬ）と、を含む。ボリュームは、別のストレージ２００００のボリュームとＨＡペア（図中のＶＯＬペア）構成することが可能である。また、ストレージ２００００は、仮想マシンのＨＡペア及びストレージ２００００のＨＡペア用のクオーラムのディスク（Ｑｕｏｒｕｍ　Ｄｉｓｋ（Ｗｉｔｎｅｓｓ）（図中のＱ－ｘｘ））のボリュームを含む。
　本実施例では、ＩａａＳにおける仮想サーバ作成において、ストレージのＨＡペアを構成した後、ストレージのＨＡペアの構成に合わせてホスト（サーバ）のＨＡペアを構築する例について説明する。
　図２は、ホスト１００００の構成例を模式的に示す図である。ホスト１００００は、プロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１０００、不揮発性の二次記憶デバイス１２０００、主記憶デバイスであるメモリ１３０００、入出力デバイス１４０００、Ｉ／Ｏ要求発行側インタフェースであるイニシエータポート１６０００、管理インタフェース１７０００を含む。それら各構成要素は、バス１５０００により通信可能に相互接続されている。
　ＣＰＵ１１０００は、メモリ１３０００に格納されたプログラムを読み出し、実行することにより動作する。典型的には、二次記憶デバイス１２０００に格納されているプログラム及びデータが、メモリ１３０００にロードされる。本例において、メモリ１３０００は、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）１３１００、ハイパバイザ１３０２０及び複数の仮想マシンプログラム１３０３０を保持する。
　イニシエータポート１６０００は、ホスト－ストレージ間のネットワーク４００００またはデータセンタ間のネットワーク４１０００に接続するネットワークインタフェースである。イニシエータポート１６０００は、ネットワーク４００００または４１０００を介してストレージ２００００とデータ及び要求を送受信する。
　管理インタフェース１７０００は、管理サーバ３００００と接続するネットワークインタフェースである。管理インタフェース１７０００は、データセンタ５００００内のＬｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ（ＬＡＮ）やデータセンタ間のネットワーク４１０００を介してストレージ２００００と管理データ及び制御命令を送受信する。管理インタフェース１７０００は、さらに、データセンタ５００００内のＬｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ（ＬＡＮ）やデータセンタ間のネットワーク４１０００を介して管理サーバ３００００と、管理データ及び制御命令を送受信する。
　図３は、ストレージ２００００のハードウェア構成例を模式的に示す図である。本例において、各ストレージ２００００の基本構成は同じであるが、構成要素の数および記憶容量等は各物理ストレージ装置に依存する。これらは異なる構成を有していてもよい。
　ストレージ２００００は、複数の記憶デバイス（例えば、ハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等）２２０００と、ストレージ２００００を制御し、ボリューム管理や、ホスト１００００又は他のストレージとのデータ通信等を行うストレージコントローラとを含む。ストレージコントローラは、プロセッサであるＣＰＵ２１０００、メモリ２３０００、Ｉ／Ｏ要求発行側インタフェースであるイニシエータポート２６０００、Ｉ／Ｏ要求受信側インタフェースであるターゲットポート２７０００、管理インタフェース２８０００、データ転送のためのキャッシュメモリ２４０００、を含む。ストレージ２００００の構成要素は、バス２５０００で通信可能に相互接続されている。
　ストレージ２００００は、イニシエータポート２６０００ を介して、外部にある他のストレージに接続し、外部の物理ストレージにＩ／Ｏ要求及びライトデータ（ユーザデータ）を送信し、外部の物理ストレージからリードデータ（ユーザデータ）を受信することができる。イニシエータポート２６０００は、ホスト‐ストレージ間のネットワーク４００００及びデータセンタ間のネットワーク４１０００に接続する。
　イニシエータポート２６０００は、外部の物理ストレージシステムとの通信に用いられるＦｉｂｒｅ　Ｃｈａｎｎｅｌ（ＦＣ）、Ｆｉｂｒｅ　Ｃｈａｎｎｅｌ　Ｏｖｅｒ　Ｅｔｈｅｒｎｅｔ（登録商標）（ＦＣｏＥ）、ｉＳＣＳＩ等のプロトコルを、ストレージコントローラ内部で用いられるプロトコル、例えば、ＰＣＩｅに変換する機能を有する。
　ストレージ２００００は、ターゲットポート２７０００において、ホスト１００００又は外部のストレージに接続する。ストレージ２００００は、ターゲットポート２７０００を介して、ホスト１００００又は外部の物理ストレージからＩ／Ｏ要求及びライトデータを受信し、また、ホスト１００００又は外部の物理ストレージにリードデータを送信する。ターゲットポート２７０００は、ホスト－ストレージ間のネットワーク４００００及びデータセンタ間のネットワーク４１０００に接続する。
　ターゲットポート２７０００は、ホスト１００００又は外部のストレージとの通信に用いられるＦＣ、ＦＣｏＥ、ｉＳＣＳＩ等のプロトコルを、ストレージコントローラ内部で用いられるプロトコル、例えば、ＰＣＩｅに変換する機能を有する。
　管理インタフェース２８０００は、管理サーバ３００００に接続するためのデバイスである。管理インタフェース２８０００は、ＬＡＮで使用されるプロトコルを、ストレージコントローラ内部で用いられるプロトコル、例えば、ＰＣＩｅに変換する機能を有する。
　ＣＰＵ２１０００は、ストレージ制御のためのプログラムを実行することで、ホスト１００００からのＩ／Ｏの制御、ストレージ２００００のボリュームの管理および制御を含む所定の機能を実現する。本実施例で説明するＣＰＵ２１０００により実現される機能の少なくとも一部は、ＣＰＵ２１０００と異なるロジック回路によって実現されてもよい。
　メモリ２３０００は、ＣＰＵ２１０００が扱うデータやプログラムを格納する。メモリ２３０００のデータは、例えば、ストレージ２００００内のいずれかの記憶デバイス２２０００又はフラッシュメモリ（不図示）、又はネットワークを介して接続された他の装置からメモリ２３０００にロードされる。
　図４は、管理サーバ３００００の構成例を示す図である。管理サーバ３００００は、プロセッサであるＣＰＵ３１０００、主記憶デバイスであるメモリ３３０００、二次記憶デバイス３２０００、入出力デバイス３４０００、管理インタフェース（Ｉ／Ｆ）３６０００を含む。管理サーバ３００００のそれら各デバイスは、バス３５０００により通信可能に相互接続されている。
　管理サーバ３００００は、管理プログラムを実行し、それに従って動作する。管理Ｉ／Ｆ３６０００はデータセンタ内のネットワークまたはデータセンタ間のネットワークに接続し、管理サーバ３００００内のプロトコルと外部のネットワークのプロトコルとの間の変換を行う。管理サーバ３００００は、管理Ｉ／Ｆ３６０００を介して、ストレージ２００００及びホスト１００００と通信することができる。
　入出力デバイス３４０００は、ディスプレイ、ポインタ又はキーボード等のデバイスの一つ又は複数のデバイスを含む。ユーザは、入出力デバイス３４０００により、管理サーバ３０００を操作することができるほか、ネットワークを介して接続するクライアント計算機から管理サーバ３００００にアクセスしてもよい。クライアント計算機は、管理サーバ３００００と共に管理システムに含まれる。ユーザは、入力デバイス（例えばマウス及びキーボード）により必要な情報を入力し、出力デバイスにより必要な情報を視認することができる。
　ＣＰＵ３１０００は、メモリ３３０００に記憶されているプログラムを実行することによって管理サーバ３００００の所定の機能を実現する。メモリ３３０００は、ＣＰＵ３１０００よって実行されるプログラム及びプログラムの実行に必要なデータを記憶する。管理サーバ３００００で動作するプログラムについては後述する。本実施例で説明するＣＰＵ３１０００により実現される機能の少なくとも一部は、ＣＰＵ３１０００と異なるロジック回路によって実現されてもよい。
　例えば、プログラムは、二次記憶デバイス３２０００からメモリ３３０００にロードされる。二次記憶デバイス３２０００は、管理サーバ３００００の所定の機能を実現するために必要なプログラム及びデータを格納する、不揮発性の非一時的記憶媒体を備える記憶装置である。二次記憶デバイス３２０００は、ネットワークを介して接続された外部の記憶装置でもよい。
　本構成例の管理システムは、管理サーバで構成されているが、管理システムは複数の計算機で構成してもよい。複数の計算機の一つは表示用計算機であってもよく、管理処理の高速化や高信頼化のために、複数の計算機が管理サーバと同等の処理を実現してもよい。
　例えば、管理者は、管理システムの管理コンソールから、同管理システムの管理サーバにアクセスし、管理サーバに処理を指示するとともに、管理コンソールに管理サーバの処理結果を取得、表示させてもよい。管理システムは、物理ストレージ内に構成されていてもよい。管理システムの一部の機能が、物理ストレージ内に実装されていてもよい。
　管理サーバ３００００のメモリ３３０００は、ＣＰＵ３１０００が扱うデータやプログラムを格納する。メモリ３３０００のデータは、例えば、ストレージ２００００内のいずれかの記憶デバイス２２０００又はフラッシュメモリ（不図示）、又はネットワークを介して接続された他の装置からメモリ３３０００にロードされる。
　メモリ３３０００は、ＯＳ、及び仮想マシン管理ユーザＩ／Ｆプログラム３３５１０、全体管理プログラム３３５２０、ホスト管理プログラム３３５３０、ストレージ管理プログラム３３５４０を保持する。さらに、メモリ３３０００は、構成情報管理テーブル３３４００を保持する。
　仮想マシン管理ユーザＩ／Ｆプログラム３３５１０は、ユーザに仮想マシンを管理するためのＣｏｍｍａｎｄ　Ｌｉｎｅ　Ｉｎｔｅｒｆａｃｅ（ＣＬＩ）やＧｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ（ＧＵＩ）等のインタフェースを提供する。
　ホスト管理プログラム３３５３０は、データセンタ内のホストのリソースを管理する。
　ストレージ管理プログラム３３５４０は、データセンタ内のストレージのリソースを管理する。
　全体管理プログラム３３５２０は、全データセンタのホスト及びストレージのリソースを管理する。全体管理プログラム３３５２０は、管理サーバのホスト管理プログラムとストレージ管理プログラムと通信可能である。
　構成情報管理テーブル３３４００は、図５～図２６に示すホストとストレージのリソースを管理するためのテーブルである。ストレージ管理プログラム３３５４０は、図５～図９に示すテーブルの参照と更新を行う。ホスト管理プログラム３３５３０は、図１０～図１５に示すテーブルの参照と更新を行う。全体管理プログラム３３５２０は、図１６～図２６のテーブルの参照と更新を行う。以降にて、図５～図２６のテーブルについて説明する。
　図５は、ストレージ管理テーブル３３０１０の構成例を示す。ストレージ管理テーブル３３０１０は、データセンタ内にある各ストレージのＩＤを格納するストレージＩＤ欄３３０１１と、前記ストレージのハードウェアのベンダ名を格納するベンダ名３３０１２とを有する。
　図６は、プール管理テーブル３３０２０の構成例を示す。プール管理テーブル３３０２０は、データセンタ内の各ストレージが持つプールのプールＩＤを格納するプールＩＤ欄３３０２１と、前記プールを持つストレージのストレージＩＤを格納するストレージＩＤ欄３３０２２と、前記プールの使用量や空容量等含めた全体容量の値を格納する全体容量欄３３０２３と、前記プールの空容量の値を格納する空容量欄３３０２４と、を有する。
　図７は、ボリューム管理テーブル３３０３０の構成例を示す。ボリューム管理テーブル３３０３０は、データセンタ内の各ストレージが持つプールから作成したボリュームのボリュームＩＤを格納するＶＯＬＩＤ欄３３０３１と、前記プールのプールＩＤを格納するプールＩＤ欄３３０３２と、前記ボリュームの容量の値を格納する容量欄３３０３３と、を有する。
　図８は、ボリュームペア作成可能構成管理テーブル３３０４０の構成例を示す。ボリュームペア作成可能構成管理テーブル３３０４０は、データセンタ内の各ストレージが持つプールＩＤを格納するプールＩＤ欄３３０４１と、ボリュームペア構成を構築可能な別データセンタ内のストレージが持つプールＩＤを格納する相手プールＩＤ欄３３０４３と、前記ペア種別の情報を格納するペア種別欄３３０４２と、を有する。
　ペア種別欄３３０４２には、例えばＨＡペアであれば“ＨＡ”、ＤＲペアであれば“ＤＲ”という文字列が格納される。ＤＲ（Ｄｉｓａｓｔｅｒ　Ｒｅｃｏｖｅｒｙ）は、自然災害などの被害を受けたシステムの復旧あるいは修復である。ＤＲでもサーバおよびストレージに冗長構成を構築してよい。なお、ボリュームペア構成可能なストレージの組合せは、当該ストレージハードウェアやソフトウェアの仕様等に従い自由に選択可能であってよい。
　図９は、ボリュームペア管理テーブル３３０５０の構成例を示す。ボリュームペア管理テーブル３３０５０は、ボリュームペアのペアＩＤを格納するＶＯＬペアＩＤ欄３３０５１と、データセンタ内にある当該ペアの片側ボリュームまたはＱｕｏｒｕｍボリュームのボリュームＩＤを格納するＶＯＬＩＤ３３０５２と、当該ペアのペア種別の情報を格納するペア種別欄３３０５３と、当該ペアに関連するボリュームのボリューム種別の情報を格納するＶＯＬ種別欄３３０５４と、当該ペアのペア状態の情報を格納するペア状態欄３３０５５と、別のデータセンタ内にある当該ペアの片側ボリュームのボリュームＩＤを格納する相手ＶＯＬＩＤ欄３３０５６と、当該ペアのＱｕｏｒｕｍボリュームのボリュームＩＤを格納するＱｕｏｒｕｍＩＤ欄３３０５７と、当該ペアが属するコンシステンシーグループ等のグループＩＤを格納するＧｒｐＩＤ欄３３０５８と、を有する。
　コンシステンシーグループは、少なくとも一つのボリュームペアで構成され、各ボリュームペアは、正ボリュームと副ボリュームとを備える。正ボリュームは、上位装置に提供されライトアクセスの発生する論理ボリュームである。副ボリュームは、正ボリュームの複製となる論理ボリュームである。コンシステンシーグループとは、一以上の正ボリュームと一以上の副ボリュームとの間で整合性をとる必要のあるボリューム群である。コンシステンシーグループは、ディスク装置上に用意される。
　ＶＯＬ種別欄には、例えばＰｒｉｍａｒｙ　Ｖｏｌｕｍｅ（ＰＶＯＬ）であれば“ＰＶＯＬ”、Ｓｅｃｏｎｄａｒｙ　Ｖｏｌｕｍｅ（ＳＶＯＬ）であれば“ＳＶＯＬ”、Ｑｕｏｒｕｍボリュームであれば“Ｑｕｏｒｕｍ”という文字列が格納される。ペア状態欄３３０５５には、例えばペアボリューム間でデータコピー中であれば”ＣＯＰＹ”、データコピーが完了しデータ同期中であれば”ＰＡＩＲ”、データコピー中断中であれば”ＰＳＵＳ”（ＰＡＩＲ　ＳＵＳＰＥＮＤ）等の文字列が格納される。
　図１０は、ホスト管理テーブル３３１１０の構成例を示す。ホスト管理テーブル３３１１０は、データセンタ内にある各ホストのホストＩＤを格納するホストＩＤ欄３３１１１と、を有する。
　図１１は、ハイパバイザ管理テーブル３３１２０の構成例を示す。ハイパバイザ管理テーブル３３１２０は、データセンタ内の各ホスト上にあるハイパバイザのハイパバイザＩＤを格納するハイパバイザＩＤ欄３３１２１と、ハイパバイザの種類を示す文字列を格納するハイパバイザ名欄３３１２２と、当該ハイパバイザを持つホストのホストＩＤ３３１２３と、を有する。
　図１２は、仮想マシン管理テーブル３３１３０の構成例を示す。仮想マシン管理テーブル３３１３０は、データセンタ内のハイパバイザ上にデプロイされた仮想マシンのＩＤを格納するＶＭＩＤ欄３３１３１と、当該仮想マシンがデプロイされたハイパバイザのハイパバイザＩＤを格納するハイパバイザＩＤ欄３３１３２と、当該ＶＭがアクセス可能なボリュームのＩＤを格納する接続ＶＯＬＩＤ３３１３３と、を有する。
　図１３は、仮想マシンペア作成可能構成管理テーブル３３１４０の構成例を示す。仮想マシンペア作成可能構成管理テーブル３３１４０は、データセンタ内のハイパバイザのＩＤを格納するハイパバイザＩＤ欄３３１４１と、別のデータセンタにあるＨＡまたはＤＲ等のペアとなり得るハイパバイザのＩＤを格納する相手ハイパバイザＩＤ欄３３１４１と、当該ペアのペア種別欄３３１４２欄と、を有する。
　図１４は、仮想マシンペア管理テーブル３３１５０の構成例を示す。仮想マシンペア管理テーブル３３１５０は、データセンタ内の仮想マシンが構成要素となっているペアのＩＤを格納するＶＭペアＩＤ欄３３１５１と、当該ペアのデータセンタ内の仮想マシンのＩＤを格納するＶＭＩＤ欄３３１５２と、当該ペア種別の情報を示す文字列を格納するペア種別欄３３１５３と、当該ＶＭＩＤ欄３３１５２のＩＤを持つ仮想マシンの状態の情報を示す文字列を格納するＶＭ状態欄３３１５５と、別データセンタの片側ペアとなるハイパバイザのＩＤを格納する相手ハイパバイザＩＤ欄３３１５６と、当該ペアのＱｕｏｒｕｍボリュームのＩＤを格納するＱｕｏｒｕｍＩＤ欄３３１５７と、を有する。
　ＶＭ状態欄には、例えば当該仮想マシンが稼動状態（Ａｃｔｉｖｅ）であれば“Ａｃｔｉｖｅ”、待機状態（Ｓｔａｎｄｂｙ）であれば“Ｓｔａｎｄｂｙ”等の文字列が格納される。
　図１５は、ストレージ－ホスト接続可能構成管理テーブル３３１６０の構成例を示す。ストレージ－ホスト接続可能構成管理テーブル３３１６０は、データセンタ内のストレージのＩＤを格納するストレージＩＤ欄３３１６１と、当該ストレージと任意のネットワークで接続されており、当該ストレージと通信可能なホストのＩＤを格納するホストＩＤ３３１６２と、を有する。
　図１６は、全ストレージ管理テーブル３３２１０の構成例を示す。全ストレージ管理テーブル３３２１０は、全データセンタにあるストレージのＩＤを格納するストレージＩＤ欄３３２１１と、当該ストレージの前記ストレージハードウェアベンダ名を格納するベンダ名欄３３２１２と、当該ストレージがあるデータセンタのＩＤを格納するデータセンタＩＤ欄３３２１３と、を有する。
　図１７は、全プール管理テーブル３３２２０の構成例を示す。全プール管理テーブル３３２２０は、全データセンタにあるプールのＩＤを格納するプールＩＤ３３２２１と、当該プールを持つストレージのＩＤを示すストレージＩＤ欄３３２２２と、当該プールの使用量や空容量等含めた全体容量の値を格納する全体容量欄３３２２３と、前記プールの空容量の値を格納する空容量欄３３２２４と、を有する。
　図１８は、全ボリューム管理テーブル３３２３０の構成例を示す。全ボリューム管理テーブル３３２３０は、全データセンタにあるボリュームのＩＤを格納するＶＯＬＩＤ欄３３２１と、当該ボリュームへ容量を割り当てるプールのＩＤを格納するプールＩＤ３３２３２と、当該プールを持つストレージのＩＤを格納するストレージＩＤ欄３３２３３と、当該ボリュームの容量の値を格納する容量欄３３２３４と、を有する。
　図１９は、全ボリュームペア作成可能構成管理テーブル３３２４０の構成例を示す。全ボリュームペア作成可能構成管理テーブル３３２４０は、全データセンタにおいて、ペアを構成可能なボリュームを提供する第一のプールのＩＤを格納する第一プールＩＤ欄３３２４１と、第二のプールのＩＤを格納する第二プールＩＤ３３２４２と、ペア種別の情報を示す文字列を格納する３３２４３と、を有する。
　図２０は、全ボリュームペア管理テーブル３３２５０の構成例を示す。全ボリュームペア管理テーブル３３２５０は、全データセンタ内にあるボリュームのペアのＩＤを格納するＶＯＬペアＩＤ欄３３２５１と、当該ペアのペア種別の情報を示す文字列を格納するペア種別欄３３２５２と、当該ペアのペア状態の情報を示す文字列を格納するペア状態欄３３２５３と、当該ペアのＰＶＯＬのＩＤを格納するＰＶＯＬＩＤ欄３３２５４と、当該ペアのＳＶＯＬのＩＤを格納するＳＶＯＬＩＤ欄３３２５５と、当該ペアのＱｕｏｒｕｍボリュームのＩＤを格納するＱｕｏｒｕｍＩＤ欄３３２５６と、当該ペアのコンシステンシーグループ等のグループのＩＤを示すＧｒｐＩＤ欄２２３５７と、を有する。
　図２１は、全ホスト管理テーブル３３２６０の構成例を示す。全ホスト管理テーブル３３２６０は、全データセンタにあるホストのＩＤを格納するホストＩＤ３２６１と、当該ホストがあるデータセンタのＩＤを格納するデータセンタＩＤ欄３３２６２と、を有する。
　図２２は、全ハイパバイザ管理テーブル３３２７０の構成例を示す。全ハイパバイザ管理テーブル３３２７０は、全データセンタにあるハイパバイザのＩＤを格納するハイパバイザＩＤ欄３３２７１と、当該ハイパバイザの種類を示す文字列を格納するハイパバイザ名欄３３２７２と、当該ハイパバイザを持つホストのＩＤを格納するホストＩＤ欄３３２７３と、を有する。
　図２３は、全仮想マシン管理テーブル３３２８０の構成例を示す。全仮想マシン管理テーブル３３２８０は、全データセンタにある仮想マシンのＩＤを格納するＶＭＩＤ欄３３２８１と、当該仮想マシンがあるハイパバイザのＩＤを格納するハイパバイザＩＤ欄３３２８２と、当該仮想マシンがアクセス可能なボリュームのＩＤを示す接続ＶＯＬＩＤ欄３３２８３と、を有する。
　図２４は、全仮想マシンペア作成可能構成管理テーブル３３２９０の構成例を示す。全仮想マシンペア作成可能構成管理テーブル３３２９０は、全データセンタにおいて、ペアを構成可能な仮想マシンを提供する第一のハイパバイザのＩＤを格納する第一ハイパバイザＩＤ欄３３２９１と、第二のハイパバイザのＩＤを格納する第二ハイパバイザＩＤ欄３３２９２と、当該ペアのペア種別の情報を示す文字列を格納するペア種別欄３３２９３と、を有する。
　図２５は、全仮想マシンペア管理テーブル３３３００の構成例を示す。全仮想マシンペア管理テーブル３３３００は、全データセンタにある仮想マシンのペアのＩＤを格納するＶＭペアＩＤ欄３３３０１と、当該ペアのペア種別を示す文字列を格納するペア種別欄３３３０２と、当該ペアのペア状態を示す文字列を格納するペア状態欄３３３０３と、当該ペアの第一の仮想マシンのＩＤを格納する第一ＶＭＩＤ３３３０４と、当該第一の仮想マシンの状態を示す文字列を格納する第一ＶＭ状態欄３３３０５と、第二の仮想マシンのＩＤを格納する第二ＶＭＩＤ３３３０６と、当該第二の仮想マシンの状態を示す文字列を格納する第二ＶＭ状態欄３３３０７と、当該ペアのＱｕｏｒｕｍボリュームのＩＤを格納するＱｕｏｒｕｍＩＤ欄３３３０８と、を有する。
　図２６は、全ストレージ－ホスト接続可能構成管理テーブル３３３１０の構成例を示す。全ストレージ－ホスト接続可能構成管理テーブル３３３１０は、全データセンタのストレージのＩＤを格納するストレージＩＤ欄３３３１１と、当該ストレージにネットワークで接続されており、当該ストレージと通信可能なホストのＩＤを格納する接続ホストＩＤ欄３３３１２と、を有する。
　実施例１の仮想マシン作成処理のシーケンスを図２７、図２８、図２９に示す。このシーケンスは、ユーザ６００００、仮想マシン管理ユーザＩ／Ｆプログラム３３５１０、全体管理プログラム３３５２０、ホスト管理プログラム３３５３０、ストレージ管理プログラム３３５４０を含む。本実施例では、１ユーザ６００００が、１管理サーバの１仮想マシン管理ユーザＩ／Ｆプログラム３３５１０を介して仮想マシン作成操作を行う。さらに、同一管理サーバ３００００の１全体管理プログラム３３５２０が、同一管理サーバ３００００のホスト管理プログラム３３５３０及びストレージ管理プログラム３３５４０、別のデータセンタ５００００内にある管理サーバ３００００のホスト管理プログラム３３５３０及びストレージ管理プログラム３３５４０に対し、各ホスト及びストレージの構成情報取得、ボリュームのＨＡペア作成、仮想マシンのＨＡペア設定、等の命令を発行する。
　図２７は、全体管理プログラム３３５２０が、全てのホスト管理プログラム３３５３０及びストレージ管理プログラム３３５４０から図５～図１５の構成情報を取得し、図１６～図２６の構成情報テーブルの内容を更新する処理を示すシーケンス図である。
　ステップＳ１０１において、全体管理プログラム３３５２０は、全てのホスト管理プログラム３３５３０に対し、図１０～図１５に示すテーブルにあるホスト構成情報を取得する命令を送信する。ホスト管理プログラム３３５３０は、全体管理プログラム３３５２０から構成情報取得命令を受信したら、図１０～図１５に示すテーブルにあるホスト構成情報の内容を全体管理プログラム３３５２０に送信する。
　次に、ステップＳ１０２において、全体管理プログラム３３５２０は、ホスト管理プログラム３３５３０より受信した構成情報を図１６～図２６のテーブルに反映する。
　ステップＳ１０３において、全体管理プログラム３３５２０は、全てのストレージ管理プログラム３３５４０に対し、図１０～図１５に示すテーブルにあるストレージ構成情報を取得する命令を送信する。ストレージ管理プログラム３３５４０は、全体管理プログラム３３５２０から構成情報取得命令を受信したら、図５～図９に示すテーブルにあるストレージ構成情報の内容を全体管理プログラムに送信する。
　次に、ステップＳ１０４において、全体管理プログラム３３５２０は、ストレージ管理プログラム３３５４０より受信した構成情報を図１６～図２６のテーブルに反映する。
　ここでは図２７にて破線で囲われたステップＳ１０１～Ｓ１０４の一連の処理をステップＳ１００とすることにする。ステップＳ１１１、Ｓ１１２のように、ユーザ６００００の指示によりステップＳ１００の構成情報取得が実行されてもよい。
　図２８、図２９は、ホストおよびストレージのＨＡ機能を適用した仮想マシン作成処理のシーケンスである。
　図２８、図２９のユーザ６００００は、全体管理プログラム３３５２０に対し、仮想マシン作成・削除等の要求を出すＩａａＳ利用者である。図２８、図２９のＩ／Ｆ３３５１０は、仮想マシン管理ユーザＩ／Ｆプログラム３３５１０を示す。ユーザ６００００は、Ｉ／Ｆ３３５１０を経由し全体管理プログラム３３５２０に命令を発行する。図２８、図２９の全体管理３３５２０は、Ｉ／Ｆ３３５１０と同一管理サーバにある全体管理プログラム３３５２０を示す。図２８、図２９のホスト管理３３５３０は、各データセンタの管理サーバにあるホスト管理プログラム３３５３０を示す。図２８、図２９のストレージ管理３３５４０は、各データセンタの管理サーバにあるストレージ管理プログラム３３５４０を示す。
　図２８のステップＳ２０１において、ユーザ６００００は、仮想マシン管理ユーザＩ／Ｆプログラム３３５１０に対し、ＨＡ機能を適用した仮想マシン作成を命令する。
　次に、ステップＳ２０２において、仮想マシン管理ユーザＩ／Ｆプログラム３３５１０は、全体管理プログラム３３５２０に対し、ＨＡ機能を適用した仮想マシン作成の命令を送信する。
　次に、ステップＳ２０３において、全体管理プログラム３３５２０は、ストレージＨＡ構成及びホストＨＡ構成を決定する。当該ステップの詳細な説明は後述する。
　次に、ステップＳ２０５～Ｓ２１５において、全体管理プログラム３３５２０は、ステップＳ２０３で決定した、ストレージＨＡ構成およびホストＨＡ構成を元に、複数のストレージ管理プログラム３３５４０に対し、ＨＡボリュームペア作成を指示する。
　まず、ステップＳ２０５において、全体管理プログラム３３５２０は、ストレージ管理プログラム３３５４０に対し、ＨＡのプライマリボリューム（Ｐｒｉｍａｒｙ　Ｖｏｌｕｍｅ、ＰＶＯＬ）作成の命令を送信する。
　次に、ステップＳ２０６において、ストレージ管理プログラム３３５４０は、ストレージ管理プログラムからの命令に従い、当該ボリュームを作成し、当該命令完了をストレージ全体管理プログラムに返す。
　次に、ステップＳ２０７において、全体管理プログラムは、ストレージ管理プログラム３３５４０に対し、ＨＡのセカンダリボリューム（Ｓｅｃｏｎｄａｒｙ　Ｖｏｌｕｍｅ、ＳＶＯＬ）作成の命令を送信する。
　次に、ステップＳ２０８において、ストレージ管理プログラム３３５４０は、全体管理プログラム３３５２０からの命令に従い、当該ボリュームを作成し、当該命令完了をストレージ管理プログラム３３５４０に返す。
　次に、ステップＳ２０９において、全体管理プログラム３３５２０は、ストレージ管理プログラム３３５４０に対し、ＨＡのＱｕｏｒｕｍ用ボリューム作成の命令を送信する。
　次に、ステップＳ２１０において、ストレージ管理プログラム３３５４０は、ストレージ管理プログラム３３５４０からの命令に従い、当該ボリュームを作成し、当該命令の完了を全体管理プログラム３３５２０に返す。
　次に、ステップＳ２１１において、全体管理プログラム３３５２０は、ＰＶＯＬ側のストレージ管理プログラム３３５４０に対し、ＰＶＯＬ‐Ｑｕｏｒｕｍ接続の命令を送信する。
　次に、ステップＳ２１２において、ＰＶＯＬ側のストレージ管理プログラム３３５４０は、Ｑｕｏｒｕｍ側のストレージ管理プログラム３３５４０に対し、ＰＶＯＬ‐Ｑｕｏｒｕｍ接続設定を実行し、当該設定の完了を全体管理プログラム３３５２０に返す。
　次に、ステップＳ２１３において、全体管理プログラム３３５２０は、ＳＶＯＬ側のストレージ管理プログラム３３５４０に対し、ＳＶＯＬ‐Ｑｕｏｒｕｍ接続の命令を送信する。
　次に、ステップＳ２１４において、ＳＶＯＬ側のストレージ管理プログラム３３５４０は、Ｑｕｏｒｕｍ側のストレージ管理プログラム３３５４０に対し、ＳＶＯＬ‐Ｑｕｏｒｕｍ接続設定を実行し、当該設定の完了を全体管理プログラム３３５２０に返す。
　次に、ステップＳ２１５において、全体管理プログラム３３５２０は、ＰＶＯＬ側のストレージ管理プログラム３３５４０に対し、ＰＶＯＬ‐ＳＶＯＬ間ＨＡペア作成の命令を送信する。
　次に、ステップＳ２１６において、ＰＶＯＬ側のストレージ管理プログラム３３５４０は、ＳＶＯＬ側のストレージ管理プログラム３３５４０に対し、ＰＶＯＬ‐ＳＶＯＬ間ＨＡペア作成を実行し、当該ペア作成の完了を全体管理プログラム３３５２０に返す。
　次に、ステップＳ２１７において、全体管理プログラム３３５２０は、前述のＨＡボリュームペア作成後の構成の情報を構成管理テーブルに反映する。このとき、全体管理プログラム３３５２０が再度ステップＳ１００の構成情報ＴＢ更新処理を実施してもよい。
　次に、図２９のステップＳ２１８において、全体管理プログラム３３５２０は、ホスト管理プログラム３３５３０に対し、ＰＶＯＬへのＶＭイメージ格納の命令を送信する。
　次に、ステップＳ２１９において、ホスト管理プログラム３３５３０は、ＰＶＯＬ側のストレージ管理プログラム３３５４０に対し、全体管理プログラム３３５２０からの命令に従い、ＶＭイメージデータのＰＶＯＬへのＷｒｉｔｅ命令を送信する。
　次に、ステップＳ２２０において、ストレージ管理プログラム３３５４０は、ＰＶＯＬに書き込まれたデータをＳＶＯＬ側へコピーする。
　次に、ステップＳ２２１において、全体管理プログラム３３５２０は、ホストＨＡのＱｕｏｒｕｍ作成元となるストレージのストレージ管理プログラム３３５４０に対し、Ｑｕｏｒｕｍ用ボリュームの作成の命令を送信する。
　次に、ステップＳ２２２において、ストレージ管理プログラム３３５４０は、ボリュームを作成し、当該命令の完了を全体管理プログラム３３５２０に返す。
　次に、ステップＳ２２３において、ステップＳ２０４で決定したホストＨＡ構成の各ハイパバイザに対し、ストレージＨＡペアボリュームからのパス定義、ホストＨＡのＱｕｏｒｕｍ設定を実施する。
　まず、ステップＳ２２４において、ホスト管理プログラム３３５３０は、ＰＶＯＬ側のストレージ管理プログラム３３５４０に対し、ＰＶＯＬからホストへのパス定義を指示する。
　次に、ステップＳ２２５において、ホスト管理プログラム３３５３０は、ホストＨＡのＱｕｏｒｕｍ側のストレージ管理プログラム３３５４０に対し、Ｑｕｏｒｕｍ設定を実施する。
　次に、ステップＳ２２６において、ホスト管理プログラム３３５３０は、ホストＨＡペアの別ホストのホスト管理プログラム３３５３０に対し、ストレージＨＡペアボリュームからのパス定義（ステップＳ２２６）、ホストＨＡのＱｕｏｒｕｍ設定（ステップＳ２２７）を指示する。
　次に、ステップＳ２２８において、全体管理プログラム３３５２０は、前述のＨＡボリュームペア作成後の構成の情報を構成管理テーブルに反映する。このとき、全体管理プログラム３３５２０が再度ステップＳ１００の構成情報ＴＢ更新処理を実施してもよい。
　次に、ステップＳ２２９において、全体管理プログラム３３５２０は、ホスト管理プログラム３３５３０に対し、仮想マシン起動を指示する。
　次に、ステップＳ２３０において、ホスト管理プログラム３３５３０は、ボリュームにアクセスし（ステップＳ２３０）、仮想マシンを起動する。
　次に、ステップＳ２３１において、ホスト管理プログラム３３５３０は、全体管理プログラム３３５２０に対し、仮想マシン起動の完了を返す。
　次に、ステップＳ２３１において、全体管理プログラム３３５２０は、仮想マシン管理ユーザＩ／Ｆプログラム３３５１０に仮想マシン作成の完了を返す。
　次に、仮想マシン管理ユーザＩ／Ｆプログラム３３５１０は、ユーザ６００００に対し、仮想マシン作成の完了を通知する。
　図３０は、ストレージＨＡ構成及びホストＨＡ構成を決定する処理のフローチャートである。
　まず、ステップＳ２０３－０１において、全体管理プログラム３３５２０は、全ボリュームペア作成可能構成管理テーブル３３２４０を参照し、ＨＡのボリュームペア作成可能となるストレージのプール組合せを１つ選択し、ステップＳ２０３－０２に進む。もし未選択のプール組合せがなければ処理を終了する。ストレージＨＡ構成またはホストＨＡ構成のいずれかが未決定の場合は異常終了する。
　次に、ステップＳ２０３－０２において、全体管理プログラム３３５２０は、全プール管理テーブル３３２２０を参照し、直前のステップＳ２０３－０１で選択したプール組合せの両プールの空容量合計値を計算する。
　次に、ステップＳ２０３－０３において、全体管理プログラム３３５２０は、直前のステップＳ２０３－０１で選択したプール組合せの両プールの空容量合計値が、既に決定済みのストレージＨＡのプール組合せのそれよりも多い場合、ステップＳ２０３－０４に進み、そうでなければステップＳ２０３－０１に戻る。
　なお、当該プール組合せの選択方法は、本実施例の方法に限られず他の方法を用いてもよい。
　次に、ステップＳ２０３－０４において、全体管理プログラム３３５２０は、全ストレージ‐ホスト接続可能構成管理テーブルを参照し、直前のステップＳ２０３－０１で選択したプール組合せの１ストレージと接続可能な未選択の１ホストがあればそれを選択しステップＳ２０３－０５へ進み、そうでなければステップＳ２０３－０１に戻る。
　次に、ステップＳ２０３－０５において、全体管理プログラム３３５２０は、全仮想マシンペア作成可能構成管理テーブル３３２９０を参照し、直前のステップＳ２０３－０４で選択したホストのハイパバイザ（第一）とＨＡ構成可能なハイパバイザ（第二）の組合せのうち、未選択のものがあればそれを選択しステップＳ２０３－０６に進み、そうでなければステップＳ２０３－０４へ戻る。
　次に、ステップＳ２０３－０６において、全体管理プログラム３３５２０は、選択したホストのＣＰＵ利用率やメモリ利用率などの計算処理負荷情報を取得する。
　次に、ステップＳ２０３－０７において、全体管理プログラム３３５２０は、直前のステップＳ２０３－０６で取得した負荷情報を参照し、直前のステップＳ２０３－０４で選択したホストの負荷が、既に決定済みのホストＨＡの第一ホストのそれよりも低いならステップＳ２０３－０８に進み、そうでなければステップＳ２０３－０４に戻る。なお、当該ホストの選択方法は、本実施例の方法に限られず他の方法を用いてもよい。
　次に、ステップＳ２０３－０８において、全体管理プログラム３３５２０は、全プール管理テーブル３３２２０を参照し、ストレージＨＡのＱｕｏｒｕｍ用ボリュームを作成するストレージのプール、及びホストＨＡのＱｕｏｒｕｍ用ボリュームを作成するストレージのプールを選択する。当該ボリュームを作成するプールは、可用性維持のため、ＨＡボリュームペアを作成する２プール以外のものやＨＡホストペアを配置するホストがあるデータセンタとは別のところにあるもの、かつ当該プールの空容量が最大となるものを選択する。なお、当該プールの選択方法は、本実施例の方法に限られず他の方法を用いてもよい。
　次に、ステップＳ２０３－０９において、全体管理プログラム３３５２０は、直前のステップＳ２０３－０１からステップＳ２０３－０９で決定したストレージＨＡ構成とホストＨＡ構成の組合せ情報を更新し、ステップＳ２０３－０１に戻る。
　本実施例では、管理計算機（管理サーバ３００００）は、サーバリソースとストレージリソースを組み合わせて仮想化マシンに割り当てるコンピュータシステムのリソースを管理する計算機である。コンピュータシステムは、複数のサーバリソースと複数のストレージリソースとを有し、管理計算機は、その中からサーバリソースとストレージリソースを組み合わせて仮想化マシンに割り当てる。
　管理サーバ３００００のメモリ３３０００には構成情報管理テーブル３３４００が格納されている。構成情報管理テーブル３３４００には、複数のストレージリソースについて冗長構成のペアにできるか否かを判断可能なストレージ管理情報（ストレージ管理テーブル３３０１０）と、複数のストレージリソースと複数のサーバリソースについて相互に接続できるか否かを判断可能な接続可能構成管理情報（ストレージ－ホスト接続可能構成管理テーブル３３１６１）と、を含んでいる。
　ストレージ管理テーブル３３０１０には、各ストレージのストレージＩＤ３３０１１と、そのストレージのベンダのベンダ名３３０１２とが対応づけて記録されている。ここでは同じベンダのストレージ同士が接続可能である。ストレージ－ホスト接続可能構成管理テーブル３３１６０には、各ストレージのストレージＩＤと、そのストレージに接続可能なホストのホストＩＤ３３１６２とが対応づけて記録されている。
　ＣＰＵ３１０００は、仮想化マシンをデプロイするとき、まず、ストレージ管理情報を参照して、冗長構成のペアにするストレージリソースを決定し、次に、接続可能構成管理情報を参照して、冗長構成のペアにするストレージリソースのそれぞれと接続できるサーバリソースを選択して冗長構成のペアにする。
　これにより、一般にサーバよりもストレージの方が冗長構成のペアを作るのに制約が多いので、冗長構成に制約が課される場合が多いストレージの冗長構成を先に決めて次にサーバの冗長構成を決めることで、サーバとストレージを連携させた冗長構成を効率よく構築することができる。
　また、ＣＰＵ３１０００は、冗長構成のペアにするストレージリソースを冗長構成のプライマリストレージおよびセカンダリストレージにそれぞれ割り当て、プライマリストレージおよびセカンダリストレージ以外の装置に、プライマリストレージとセカンダリストレージが相互に生存確認するためのストレージクオーラム情報を格納させる。また、ＣＰＵ３１０００は、冗長構成のペアにするサーバリソースを冗長構成のプライマリサーバおよびセカンダリサーバにそれぞれ割り当て、プライマリサーバおよびセカンダリサーバ以外の装置に、プライマリサーバとセカンダリサーバが相互に生存確認するためのサーバクオーラム情報を格納させる。これによれば、クオーラムの情報をプライマリおよびセカンダリ以外の第三のサイトに配置することができる。
　また、ＣＰＵ３１０００は、サーバクオーラム情報とストレージクオーラム情報を同一装置に格納させることができてもよい。これによれば、サーバとストレージのクオーラム情報を同一装置に格納できるので、クオーラム情報を効率よく配置することができる。
　また、複数のサーバ装置および複数のストレージ装置は同一の災害で同時に障害とならない複数のサイトに分散配置されてもよい。その場合、ＣＰＵ３１０００は、冗長構成のペアにするサーバリソースおよびサーバクオーラム情報を格納する装置を互いに異なるサイトとなるように設定するとよい。また、ＣＰＵ３１０００は、冗長構成のペアにするストレージリソースおよびストレージクオーラム情報を格納する装置を互いに異なるサイトとなるように設定する。これによれば、冗長構成のペアおよびクオーラム情報を格納する装置を災害で同時に障害とならないサイトに配置し、システムの高い信頼性を確保することができる。
　また、ＣＰＵ３１０００は、冗長構成のストレージリソースのペアが複数となる場合に、その複数のストレージリソースのペアを含み全ペアの整合性をとるコンシステンシーグループを設定するとよい。これによれば、ストレージリソースのペアをコンシステンシーグループにして管理することができ、整合性の確保や仮想化マシンのデプロイを効率よく行うことが可能である。
　なお、本実施例では、ストレージの冗長構成のペア先にサーバの冗長構成のペアを後に定める例を示したが、他の構成も可能である。２つのリソースがあったとき、冗長構成のペアを決定するときにその組み合わせに課される制約が大きい方のペアを先に決定すればよい。
　例えば、コンピュータシステムは、サーバとストレージが例示される複数の第１リソースと複数の第２リソースとを有し、第１リソースと第２リソースを組み合わせて仮想化マシンに割り当てる場合、管理装置は、第１リソースおよび第２リソースについて冗長構成のペアを選択するとき、複数の中から選択可能なペアの組合せの割合が低い方のリソースについて先にペアを選択する。これによれば、冗長構成のペアに課される制約が大きいリソースを先に決めて次に他方のリソースの冗長構成のペアを決めるので、第１リソースと第２リソースを連携させた冗長構成を効率よく構築することができる。ここでは選択可能なペアの組合せの割合が低い方がペアの決定に課される制約が大きいとしている。
　第二の実施例は、ＩａａＳにおける仮想サーバ作成において、ストレージＤＲを構成した後、ストレージＤＲ（Ｄｉｓａｓｔｅｒ　Ｒｅｃｏｖｅｒｙ）の構成に合わせてホストＤＲ構成を構築する例である。第一の実施例のＨＡではプライマリとセカンリダリの他にＱｕｏｒｕｍを設定したが、第二の実施例のＤＲでは、設定するのはプラオマリとセカンダリだけでＱｕｏｒｕｍは設定しない。
　図３１、図３２は、ホストおよびストレージのＤＲ機能を適用した仮想マシン作成処理のシーケンスである。図３１は第一の実施例における図２８に対応し、図３２は第一の実施例における図２９に対応する。図３１、図３２のシーケンスはＱｕｏｒｕｍ設定が無いという点が図２８、図２９のシーケンスと異なる。
　図３３は、ストレージＤＲ構成及びホストＤＲ構成を決定する処理を示すフローチャートである。図３３は第一の実施例における図３０に対応する。図３３のフローチャートは、Ｑｕｏｒｕｍ設定が無いという点だけが図３０と異なる。
　本実施例によれば、第一の実施例におけるＨＡ機能と同様にＤＲ機能においてもサーバとストレージを連携させた冗長構成を効率よく構築することが可能である。
　第三の実施例は、ＩａａＳにおける仮想サーバの作成において、既に作成済みのＨＡに適用された仮想マシンに対し、別のボリュームを接続する例である。
　図３４、図３５は、ホスト‐ストレージにＨＡ構成を適用した仮想マシンにボリュームを接続する処理を示すシーケンスである。
　まず、図３４のステップＳ４０１において、ユーザ６００００は、仮想マシン管理Ｉ／Ｆプログラム３３５１０に対し、特定の仮想マシンへの特定のボリューム接続を指示する。
　次に、ステップＳ４０２において、仮想マシン管理Ｉ／Ｆプログラム３３５１０は、全体管理プログラム３３５２０に対し、仮想マシンへのボリューム接続を指示する。
　次に、ステップＳ４０３において、全体管理プログラム３３５２０は、全仮想マシンペア管理テーブル３３３００を参照し、特定のＶＭペアＩＤ３３３０１のペア種別３３３０２を確認する。ここでは、当該ペア種別３３３０２が“ＨＡ”とする。
　次に、ステップＳ４０４において、全体管理プログラム３３５２０は、全ボリューム管理テーブル３３２３０と、全ボリュームペア作成可能構成管理テーブル３３２４０を参照し、接続指示のあった特定のボリュームとＨＡペアを作成可能となるＳＶＯＬ側のプール選択と、Ｑｕｏｒｕｍ用ボリューム作成先プール選択を実施する。各プールの選択方法は、実施例１のステップＳ２０３と同様である。
　次に、ステップＳ４０５～Ｓ４１３において、全体管理プログラム３３５２０は、ストレージ管理プログラム３３５４０に対し、ＰＶＯＬ作成、ＳＶＯＬ作成、Ｑｕｏｒｕｍ接続、ＨＡペア作成を実施する。ステップＳ４１１のＨＡペア作成の際、全体管理プログラム３３５２０は、全ボリュームペア管理テーブル３３２５０、全仮想マシン管理テーブル３３２８０を参照し、特定のＶＭに既に接続されたＨＡペアボリュームと同一のコンシステンシーグループＩＤを特定し、ＨＡペア作成を実施する。
　次に、ステップＳ４１５～Ｓ４１７において、全体管理プログラム３３５２０は、作成したＨＡペアボリュームに監視を実施し、特定のホストＨＡペアの各ＶＭに対するパス定義を実施する。
　次に、ステップＳ４１８において、全体管理プログラム３３５２０は、前述の構成変更内容を構成管理テーブルに反映する。このとき、全体管理プログラム３３５２０が再度ステップＳ１００の構成情報ＴＢ更新処理を実施してもよい。
　次に、ステップＳ４１９において、全体管理プログラム３３５２０は、仮想マシン管理ユーザＩ／Ｆプログラムに、仮想マシンへのボリューム接続完了を返す。
　次に、ステップＳ４２０において、仮想マシン管理ユーザＩ／Ｆプログラム３３５１０は、ユーザ６００００に対し、仮想マシンへのボリューム接続完了を通知する。
　上述した本発明の実施例は、本発明の説明のための例示であり、本発明の範囲をそれらの実施例にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
１００００…ホスト、１１０００…ＣＰＵ、１２０００…二次記憶デバイス、１３０００…メモリ、１３０２０…ハイパバイザ、１３０３０…仮想マシンプログラム、１４０００…入出力デバイス、１５０００…バス、１６０００…イニシエータポート、１７０００…管理インタフェース、２００００…ストレージ、２１０００…ＣＰＵ、２２０００…記憶デバイス、２３０００…メモリ、２４０００…キャッシュメモリ、２５０００…バス、２６０００…イニシエータポート、２７０００…ターゲットポート、２８０００…管理インタフェース、３００００…管理サーバ、３１０００…ＣＰＵ、３２０００…二次記憶デバイス、３３０００…メモリ、３４０００…入出力デバイス、３５０００…バス、３６０００…管理インタフェース、４００００…ネットワーク、４１０００…ネットワーク、５００００…データセンタ
 
 

Claims (10)

  1. 　複数のサーバリソースと複数のストレージリソースとを有し、サーバリソースとストレージリソースを組み合わせて仮想化マシンに割り当てるコンピュータシステムのリソースを管理する管理計算機であって、
    　管理情報と管理プログラムを格納するメモリと、
    　前記管理情報を参照し、前記管理プログラムを実行するＣＰＵと、を有し、
    　前記管理情報は、前記複数のストレージリソースについて冗長構成のペアにできるか否かを判断可能にするストレージ管理情報と、前記複数のストレージリソースと前記複数のサーバリソースについて相互に接続できるか否かを判断可能にする接続可能構成管理情報と、を含み、
    　前記ＣＰＵは、仮想化マシンをデプロイするとき、まず、前記ストレージ管理情報を参照して、冗長構成のペアにするストレージリソースを決定し、次に、前記接続可能構成管理情報を参照して、前記冗長構成のペアにする前記ストレージリソースのそれぞれと接続できるサーバリソースを選択して冗長構成のペアにする、
    管理計算機。
  2. 　前記ＣＰＵは、
    　前記冗長構成のペアにするストレージリソースを前記冗長構成のプライマリストレージおよびセカンダリストレージにそれぞれ割り当て、前記プライマリストレージおよび前記セカンダリストレージ以外の装置に、前記プライマリストレージと前記セカンダリストレージが相互に生存確認するためのストレージクオーラム情報を格納させ、
    　前記冗長構成のペアにするサーバリソースを前記冗長構成のプライマリサーバおよびセカンダリサーバにそれぞれ割り当て、前記プライマリサーバおよび前記セカンダリサーバ以外の装置に、前記プライマリサーバと前記セカンダリサーバが相互に生存確認するためのサーバクオーラム情報を格納させる、請求項１に記載の管理計算機。
  3. 　前記ＣＰＵは、
    　前記サーバクオーラム情報と前記ストレージクオーラム情報を同一装置に格納させる、請求項２に記載の管理計算機。
  4. 　前記複数のサーバ装置および前記複数のストレージ装置は同一の災害で同時に障害とならない複数のサイトに分散配置されており、
    　前記ＣＰＵは、
    　前記冗長構成のペアにするサーバリソースおよびサーバクオーラム情報を格納する装置を互いに異なるサイトになるように設定し、
    　前記冗長構成のペアにするストレージリソースおよびストレージクオーラム情報を格納する装置を互いに異なるサイトになるように設定する、
    請求項１に記載の管理計算機。
  5. 　前記ＣＰＵは、
    　前記冗長構成のストレージリソースのペアが複数となる場合に前記複数のストレージリソースのペアを含み前記全ペアの整合性をとるコンシステンシーグループを設定する、
    請求項１に記載の管理計算機。
  6. 　複数のサーバリソースと複数のストレージリソースとを有し、サーバリソースとストレージリソースを組み合わせて仮想化マシンに割り当てるコンピュータシステムのリソースを管理するためのリソース管理方法であって、
    　管理計算機が、
    　前記複数のストレージリソースについて冗長構成のペアにできるか否かを判断可能にするストレージ管理情報、および前記複数のストレージリソースと前記複数のサーバリソースについて相互に接続できるか否かを判断可能にする接続可能構成管理情報を含む管理情報を格納し、
    　仮想化マシンをデプロイするとき、
    　前記ストレージ管理情報を参照して、冗長構成のペアにするストレージリソースを決定し、
    　前記接続可能構成管理情報を参照して、前記冗長構成のペアにする前記ストレージリソースのそれぞれと接続できるサーバリソースを選択して冗長構成のペアにする、
    リソース管理方法。
  7. 　前記冗長構成のペアにするストレージリソースを前記冗長構成のプライマリストレージおよびセカンダリストレージにそれぞれ割り当て、前記プライマリストレージおよび前記セカンダリストレージ以外の装置に、前記プライマリストレージと前記セカンダリストレージが相互に生存確認するためのストレージクオーラム情報を格納し、
    　前記冗長構成のペアにするサーバリソースを前記冗長構成のプライマリサーバおよびセカンダリサーバにそれぞれ割り当て、前記プライマリサーバおよび前記セカンダリサーバ以外の装置に、前記プライマリサーバと前記セカンダリサーバが相互に生存確認するためのサーバクオーラム情報を格納する、請求項６に記載のリソース管理方法。
  8. 　前記サーバクオーラム情報と前記ストレージクオーラム情報を同一装置に格納させる、請求項７に記載のリソース管理方法。
  9. 　前記複数のサーバ装置および前記複数のストレージ装置は同一の災害で同時に障害とならない複数のサイトに分散配置されており、
    　前記冗長構成のペアにするサーバリソースおよびサーバクオーラム情報を格納する装置を互いに異なるサイトになるように設定し、
    　前記冗長構成のペアにするストレージリソースおよびストレージクオーラム情報を格納する装置を互いに異なるサイトになるように設定する、
    請求項６に記載のリソース管理方法。
  10. 　前記管理計算機が、
    　前記冗長構成のストレージリソースのペアが複数となる場合に前記複数のストレージリソースのペアを含み前記全ペアの整合性をとるコンシステンシーグループを設定する、
    請求項６に記載のリソース管理方法。
     
     
PCT/JP2015/060722 2015-04-06 2015-04-06 管理計算機およびリソース管理方法 WO2016162916A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/544,528 US10592268B2 (en) 2015-04-06 2015-04-06 Management computer and resource management method configured to combine server resources and storage resources and allocate the combined resources to virtual machines
PCT/JP2015/060722 WO2016162916A1 (ja) 2015-04-06 2015-04-06 管理計算機およびリソース管理方法
JP2017510805A JP6472508B2 (ja) 2015-04-06 2015-04-06 管理計算機およびリソース管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/060722 WO2016162916A1 (ja) 2015-04-06 2015-04-06 管理計算機およびリソース管理方法

Publications (1)

Publication Number Publication Date
WO2016162916A1 true WO2016162916A1 (ja) 2016-10-13

Family

ID=57071876

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060722 WO2016162916A1 (ja) 2015-04-06 2015-04-06 管理計算機およびリソース管理方法

Country Status (3)

Country Link
US (1) US10592268B2 (ja)
JP (1) JP6472508B2 (ja)
WO (1) WO2016162916A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071840A (ja) * 2018-11-02 2020-05-07 日本電信電話株式会社 負荷平準化装置、負荷平準化方法および負荷平準化プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016162916A1 (ja) * 2015-04-06 2016-10-13 株式会社日立製作所 管理計算機およびリソース管理方法
JP6878369B2 (ja) * 2018-09-03 2021-05-26 株式会社日立製作所 ボリューム配置管理装置、ボリューム配置管理方法、及びボリューム配置管理プログラム
JP7150551B2 (ja) * 2018-10-02 2022-10-11 エヌ・ティ・ティ・コミュニケーションズ株式会社 制御装置、ネットワーク構築システム、ネットワーク構築方法、及びプログラム
US10705759B2 (en) * 2018-10-25 2020-07-07 Dell Products L.P. Managing disk drives of a data storage environment
US11379246B2 (en) * 2019-07-24 2022-07-05 EMC IP Holding Company LLC Automatic configuration of multiple virtual storage processors
US11620069B2 (en) 2021-01-27 2023-04-04 Hitachi, Ltd. Dynamic volume provisioning for remote replication
US11579780B1 (en) 2021-08-27 2023-02-14 Hitachi, Ltd. Volume remote copy based on application priority
US11977433B2 (en) 2022-09-27 2024-05-07 Hitachi, Ltd. Failure area identification system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130290541A1 (en) * 2012-04-25 2013-10-31 Hitachi ,Ltd. Resource management system and resource managing method
WO2014068764A1 (ja) * 2012-11-02 2014-05-08 株式会社日立製作所 システム冗長化確認方法及び計算機システム
WO2014199506A1 (ja) * 2013-06-14 2014-12-18 株式会社日立製作所 ストレージ管理計算機及びストレージ管理方法
JP2015504224A (ja) * 2012-01-17 2015-02-05 アルカテル−ルーセント ネットワークおよびストレージアウェア仮想マシン配置のための方法および装置
JP2015508213A (ja) * 2012-02-28 2015-03-16 マイクロソフト コーポレーション ストレージプール内のディスク所有権の調停

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785678B2 (en) * 2000-12-21 2004-08-31 Emc Corporation Method of improving the availability of a computer clustering system through the use of a network medium link state function
US7263593B2 (en) * 2002-11-25 2007-08-28 Hitachi, Ltd. Virtualization controller and data transfer control method
US7334064B2 (en) * 2003-04-23 2008-02-19 Dot Hill Systems Corporation Application server blade for embedded storage appliance
US8006056B2 (en) * 2004-01-30 2011-08-23 Hewlett-Packard Development Company, L.P. Storage system including capability to move a virtual storage device group without moving data
US7584226B2 (en) * 2005-05-24 2009-09-01 International Business Machines Corporation System and method for peer-to-peer grid based autonomic and probabilistic on-demand backup and restore
US7783833B2 (en) * 2006-09-28 2010-08-24 Hitachi, Ltd. Storage system, method for managing the same, and storage controller
US7590672B2 (en) * 2006-12-11 2009-09-15 Bycast Inc. Identification of fixed content objects in a distributed fixed content storage system
US7930529B2 (en) * 2006-12-27 2011-04-19 International Business Machines Corporation Failover of computing devices assigned to storage-area network (SAN) storage volumes
JP5184552B2 (ja) * 2007-01-03 2013-04-17 レイセオン カンパニー コンピュータストレージシステム
US20080189700A1 (en) 2007-02-02 2008-08-07 Vmware, Inc. Admission Control for Virtual Machine Cluster
US10108460B2 (en) * 2008-02-28 2018-10-23 International Business Machines Corporation Method and system for integrated deployment planning for virtual appliances
JP4792490B2 (ja) * 2008-09-08 2011-10-12 株式会社日立製作所 記憶制御装置及びｒａｉｄグループの拡張方法
WO2010127365A1 (en) * 2009-05-01 2010-11-04 Citrix Systems, Inc. Systems and methods for establishing a cloud bridge between virtual storage resources
US8352482B2 (en) * 2009-07-21 2013-01-08 Vmware, Inc. System and method for replicating disk images in a cloud computing based virtual machine file system
TWI408688B (zh) * 2009-10-12 2013-09-11 Phison Electronics Corp 用於快閃記憶體的資料寫入方法及其控制器與儲存系統
US8417899B2 (en) * 2010-01-21 2013-04-09 Oracle America, Inc. System and method for controlling access to shared storage device
US8443231B2 (en) * 2010-04-12 2013-05-14 Symantec Corporation Updating a list of quorum disks
JP5424992B2 (ja) * 2010-06-17 2014-02-26 株式会社日立製作所 計算機システム、及びシステム制御方法
US8554917B2 (en) * 2010-08-20 2013-10-08 International Business Machines Corporation Performance isolation for storage clouds
US9203900B2 (en) * 2011-09-23 2015-12-01 Netapp, Inc. Storage area network attached clustered storage system
US9019123B2 (en) * 2011-12-22 2015-04-28 Box, Inc. Health check services for web-based collaboration environments
US20140244573A1 (en) * 2013-02-27 2014-08-28 Allan Michael Gonsalves Data warehouse with cloud fact table
US9378145B2 (en) * 2013-03-05 2016-06-28 Dot Hill Systems Corporation Storage controller cache synchronization method and apparatus
US9886451B2 (en) * 2013-04-30 2018-02-06 Hitachi, Ltd. Computer system and method to assist analysis of asynchronous remote replication
JP6212934B2 (ja) * 2013-05-07 2017-10-18 富士通株式会社 ストレージシステム、情報処理装置の制御プログラム、およびストレージシステムの制御方法
US9106537B1 (en) * 2013-06-05 2015-08-11 Parallels IP Holdings GmbH Method for high availability of services in cloud computing systems
JP6191346B2 (ja) * 2013-09-09 2017-09-06 富士通株式会社 ストレージ制御装置、ディスクアレイ装置の制御方法及びディスクアレイ装置の制御プログラム
IN2014DE00404A (ja) * 2014-02-13 2015-08-14 Netapp Inc
TWI548991B (zh) * 2014-02-14 2016-09-11 群聯電子股份有限公司 記憶體管理方法、記憶體控制電路單元與記憶體儲存裝置
JP5620614B1 (ja) 2014-04-21 2014-11-05 株式会社日立製作所 ストレージシステム
WO2016162916A1 (ja) * 2015-04-06 2016-10-13 株式会社日立製作所 管理計算機およびリソース管理方法
US10178168B2 (en) * 2015-08-19 2019-01-08 Facebook, Inc. Read-after-write consistency in data replication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015504224A (ja) * 2012-01-17 2015-02-05 アルカテル−ルーセント ネットワークおよびストレージアウェア仮想マシン配置のための方法および装置
JP2015508213A (ja) * 2012-02-28 2015-03-16 マイクロソフト コーポレーション ストレージプール内のディスク所有権の調停
US20130290541A1 (en) * 2012-04-25 2013-10-31 Hitachi ,Ltd. Resource management system and resource managing method
WO2014068764A1 (ja) * 2012-11-02 2014-05-08 株式会社日立製作所 システム冗長化確認方法及び計算機システム
WO2014199506A1 (ja) * 2013-06-14 2014-12-18 株式会社日立製作所 ストレージ管理計算機及びストレージ管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HIROKAZU SETO: "Cluster to Fuka Bunsan de Kayosei to Shori Seino no Kojo o Ryoritsu", NIKKEI WINDOWS FOR IT PROFESSIONALS, 1 January 2005 (2005-01-01), pages 42 - 49 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071840A (ja) * 2018-11-02 2020-05-07 日本電信電話株式会社 負荷平準化装置、負荷平準化方法および負荷平準化プログラム
WO2020090777A1 (ja) * 2018-11-02 2020-05-07 日本電信電話株式会社 負荷平準化装置、負荷平準化方法および負荷平準化プログラム
JP7014130B2 (ja) 2018-11-02 2022-02-01 日本電信電話株式会社 負荷平準化装置、負荷平準化方法および負荷平準化プログラム

Also Published As

Publication number Publication date
US10592268B2 (en) 2020-03-17
US20180011728A1 (en) 2018-01-11
JPWO2016162916A1 (ja) 2017-12-07
JP6472508B2 (ja) 2019-02-20

Similar Documents

Publication Publication Date Title
JP6472508B2 (ja) 管理計算機およびリソース管理方法
US8086808B2 (en) Method and system for migration between physical and virtual systems
US10614096B2 (en) Disaster recovery of mobile data center via location-aware cloud caching
US9098466B2 (en) Switching between mirrored volumes
US8959323B2 (en) Remote restarting client logical partition on a target virtual input/output server using hibernation data in a cluster aware data processing system
US8458413B2 (en) Supporting virtual input/output (I/O) server (VIOS) active memory sharing in a cluster environment
US8122212B2 (en) Method and apparatus for logical volume management for virtual machine environment
US20140115579A1 (en) Datacenter storage system
US10241712B1 (en) Method and apparatus for automated orchestration of long distance protection of virtualized storage
US20120151265A1 (en) Supporting cluster level system dumps in a cluster environment
US9262087B2 (en) Non-disruptive configuration of a virtualization controller in a data storage system
US9069640B2 (en) Patch applying method for virtual machine, storage system adopting patch applying method, and computer system
US8954706B2 (en) Storage apparatus, computer system, and control method for storage apparatus
US9513823B2 (en) Data migration
US9875059B2 (en) Storage system
JP7012010B2 (ja) 情報処理システム、及び、情報処理システムの制御方法
US11023134B1 (en) Addition of data services to an operating system running a native multi-path input-output architecture
US11392329B1 (en) Uniform host attachment
US11853557B2 (en) Shared drive storage stack distributed QoS method and system
US9052839B2 (en) Virtual storage apparatus providing a plurality of real storage apparatuses
US11755438B2 (en) Automatic failover of a software-defined storage controller to handle input-output operations to and from an assigned namespace on a non-volatile memory device
US11461029B1 (en) Techniques for storage management
US20240069778A1 (en) Integrating mirrored storage to remote replication site

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15888411

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15544528

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017510805

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15888411

Country of ref document: EP

Kind code of ref document: A1