WO2015193947A1 - 物理計算機及び仮想計算機移行方法 - Google Patents

物理計算機及び仮想計算機移行方法 Download PDF

Info

Publication number
WO2015193947A1
WO2015193947A1 PCT/JP2014/065907 JP2014065907W WO2015193947A1 WO 2015193947 A1 WO2015193947 A1 WO 2015193947A1 JP 2014065907 W JP2014065907 W JP 2014065907W WO 2015193947 A1 WO2015193947 A1 WO 2015193947A1
Authority
WO
WIPO (PCT)
Prior art keywords
node
numa
physical
access
cpu
Prior art date
Application number
PCT/JP2014/065907
Other languages
English (en)
French (fr)
Inventor
真木子 篠原
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2014/065907 priority Critical patent/WO2015193947A1/ja
Publication of WO2015193947A1 publication Critical patent/WO2015193947A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]

Definitions

  • the present invention generally relates to migration of virtual machines from a first physical computer to a second physical computer.
  • a physical mechanism (multiple types of physical resource elements) of a physical computer is logically divided into a plurality of physical resource portions by a virtualization mechanism such as a hypervisor, and the plurality of physical resource portions are divided into a plurality of virtual computers (hereinafter, “ A technique of assigning to each LPAR (referred to as Logical Partition) and operating an OS (Operating System) on each LPAR is known.
  • Examples of the plurality of types of physical resource elements include one or more physical CPUs (Central Processing Units), one or more physical memories, and one or more IO (input / output) devices.
  • the physical resource part may include at least one of a physical CPU and a physical memory, for example.
  • a physical computer with a NUMA (Non-Uniform Memory Access) configuration is known.
  • the NUMA configuration means that the access cost to the memory in the same node (the node having the target CPU) when viewed from a certain CPU (“target CPU” in this paragraph) is a different node (a node different from the node having the target CPU).
  • a “node” refers to a set of one or more CPUs and one or more memories. Memory in the same node is called “local memory”, and memory in another node is called “remote memory”. Access to local memory is faster than access to remote memory.
  • Patent Document 1 JP 2012-521611 A discloses that in a computer system in which a physical resource portion is dynamically allocated to an LPAR, a physical resource portion is considered in consideration of a NUMA node (a node in a physical computer having a NUMA configuration). Dynamically assigned to LPAR.
  • the NUMA configuration differs between the active physical computer and the standby physical computer even if the physical resource configuration (for example, the number of CPUs and the memory capacity) is the same.
  • the physical resource configuration for example, the number of CPUs and the memory capacity
  • the NUMA configuration of the server blade is different from the NUMA configuration of the standby server blade. For this reason, there is a risk of LPAR migration failure or unexpected performance degradation after LPAR migration.
  • the first physical computer includes a plurality of first CPUs associated with a plurality of NUMA nodes, a plurality of first memories associated with a plurality of NUMA nodes, a plurality of first CPUs, and a plurality of first memories. And a first virtualization mechanism to be assigned.
  • the second physical computer manages a plurality of second CPUs associated with a plurality of NUMA nodes, a plurality of second memories associated with a plurality of NUMA nodes, a plurality of second CPUs, and a plurality of second memories. And a virtualization mechanism.
  • the NUMA configuration information (the first virtual machine, the first CPU, and the first virtual machine) is information about the first virtual machine that is the migration target of the plurality of virtual machines and is migrated from the first physical machine to the second physical machine.
  • Node access value which is a value related to access from the first CPU assigned to the first virtual machine to the physical memory assigned to the first virtual machine, based on the information representing the correspondence between one memory and the NUMA node) Is identified.
  • the second virtualization mechanism allocates the second CPU and the second memory to the first virtual machine based on the identified node access value.
  • FIG. 1 shows a configuration of a computer system according to an embodiment.
  • the logical configuration of the active server blade and the configuration of the first management data are shown.
  • An example of the flow of LPAR migration processing is shown.
  • An example of the LPAR configuration table of the active server blade is shown.
  • An example of the NUMA configuration table of the active server blade is shown.
  • An example (before LPAR migration) of a NUMA configuration table of a standby server blade is shown.
  • An example (after LPAR migration) of a NUMA configuration table of a standby server blade is shown. Details of step 345 of FIG. 3 are shown.
  • FIG. 9 shows part of the details of step 803 in FIG. The remaining details of step 803 of FIG. 8 are shown.
  • An example of an R nm table is shown.
  • the physical configuration of the server blade is shown.
  • FIG. 1 shows a configuration of a computer system according to the embodiment.
  • the computer system includes an active server chassis 110, a standby server chassis 120, a PC 102, a management server 100, and a plurality (for example, three) IO (input / output) devices 116 to 118. There may be one IO device.
  • An active server chassis 110, a standby server chassis 120, a PC 102 and a management server 100 are connected to the communication network 101.
  • the active server chassis 110 may be an example of a first computer subsystem, and has a plurality of (for example, three) active server blades 113, 114, and 115. There may be one active server blade.
  • One active server blade is an example of a first physical computer.
  • the active server chassis 110 includes an SVP (Service Processor) 111 that holds first management data referred to by a plurality of active server blades 113, 114, and 115.
  • the SVP 111 may be a computer having a storage device (for example, a nonvolatile storage device) 112 that stores the first management data.
  • the SVP 111 manages the active server blades 113, 114 and 115.
  • the spare server chassis 120 may be an example of a second computer subsystem, and its configuration is substantially the same as that of the chassis 110.
  • the standby server chassis 120 includes a plurality of (for example, two) standby server blades 124 and 125. There may be one spare server blade.
  • One spare server blade is an example of a second physical computer.
  • the two standby server blades 124 and 125 are shared by the three active server blades 113, 114, and 115. Although it is desirable that the number of spare server blades is smaller than the number of active server blades, the number of spare server blades may be the same as or more than the number of active server blades.
  • the standby server blade becomes the LPAR migration destination of the active server blade.
  • the standby server chassis 120 includes an SVP 121 that holds second management data referred to by the plurality of standby server blades 124 and 125.
  • the SVP 121 may be a computer having a storage device (for example, a nonvolatile storage device) 122 that stores the second management data.
  • the SVP 121 manages the standby server blades 124 and 125.
  • PC102 is an abbreviation for personal computer and is an example of an input / output console.
  • the PC 102 may be a client machine of the management server 100, for example. Instead of the PC 102, other types of computers may be employed.
  • the PC 102 is used by a user to confirm the state of the server blade and to give an instruction to the server blade.
  • the management server 100 is an example of a management computer, and manages the server blades 113 to 115, 124, and 125 in the plurality of server chassis 110 and 120.
  • Each of the IO devices 116 to 118 is a storage apparatus having one or more nonvolatile storage devices, for example.
  • Each of the IO devices 116 to 118 stores a plurality of OSs (guest OSs) respectively executed by a plurality of LPARs executed by the server blade. There may be one LPAR, and therefore one guest OS.
  • Each of the IO devices 116 to 118 is, for example, communicably connected to at least one of the active server blades 113 to 115 and at least one of the standby server blades 124 and 125.
  • FIG. 12 shows the physical configuration of the server blade 114.
  • the server blade 114 has physical resources.
  • the physical resources include one or more I / Fs (communication interface devices) 1202, one or more physical memories 1203, and one or more physical CPUs 1201 connected thereto. including.
  • I / F 1202, the physical memory 1203, and the physical CPU 1201 is an example of a physical resource element.
  • Each physical resource of the other server blade also includes one or more I / Fs, one or more physical memories, and one or more physical CPUs connected thereto.
  • the configuration of physical resources may be different.
  • the same physical CPU (the same product) is mounted on the plurality of server blades 113 to 115, 124, and 125, and the same physical memory (the same product) is mounted in order to make the explanation easy to understand. It is assumed that That is, at least for the physical CPU and the physical memory, the difference in number corresponds to the difference in configuration.
  • the one or more I / Fs 1202 may include an I / F that communicates with the SVP 111, an I / F that communicates with the management server 100, and an I / F that communicates with at least one of the IO devices 116 to 118.
  • the hypervisor 204 is an example of a virtualization mechanism.
  • the hypervisor 204 is executed by at least one of the one or more physical CPUs 1201 to logically divide the physical resource into a plurality of physical resource portions, and each of the plurality of physical resource portions (for example, three). LPARs 211 to 213 can be assigned.
  • the physical resource portion includes, for example, at least one physical CPU and at least one physical memory.
  • FIG. 2 shows the logical configuration of the active server blade 114 and the configuration of the first management data.
  • the first management data includes a plurality of server data respectively corresponding to the plurality of active server blades 113 to 115.
  • Each server data includes LPAR configuration data representing the LPAR configuration of the server blade corresponding to the server data, and NUMA configuration data representing the NUMA configuration of the server blade corresponding to the server data.
  • the server data 201 corresponds to the active server blade 114. Therefore, the LPAR configuration data 202 and the NUMA configuration data 203 in the server data 201 correspond to the active server blade 114.
  • the hypervisor 204 has an SVP-I / F unit 208, an LPAR configuration table 205, a NUMA configuration table 206, and a configuration management unit 207.
  • the SVP-I / F unit 208 controls an interface with the SVP 111.
  • the configuration management unit 207 manages the configurations of the LPARs 211 to 213 and physical resources, logically divides the physical resources into a plurality of physical resource parts, and assigns the plurality of physical resource parts to the plurality of LPARs 211 to 213, respectively,
  • the LPAR configuration table 205 and the NUMA configuration table 206 are stored on the memory.
  • These tables 205 and 206 are output to the storage device 112 of the SVP 111 via the SVP-IF unit 208.
  • LPAR configuration data 202 and NUMA configuration data 203 in the server data 201 are output results of the LPAR configuration table 205 and the NUMA configuration table 206, respectively.
  • Each output of the LPAR configuration table 205 and the NUMA configuration table 206 may be performed each time the tables are updated, or may be performed periodically.
  • the LPARs 211 to 213 have logical NUMA configurations 214 to 216, respectively. This is because the physical resource portion allocated to each of the LPARs 211 to 213 is a portion divided from the physical resource for which the NUMA configuration is defined.
  • the LPAR has logical resources (logical CPU, logical memory, etc.) based on the physical resource portion.
  • the LPAR 211 executes an OS corresponding to the LPAR 211 among a plurality of OSs stored in the IO device 116 corresponding to the active server blade 114.
  • FIG. 3 shows an example of the flow of LPAR migration processing. Assume that both the standby server blades 124 and 125 are powered off.
  • the SVP 111 detects a failure in the active server blade 114 (step 310) and notifies the management server 100 of the failure in the active server blade 114 (step 310). Step 311).
  • LPAR migration is performed due to a failure of the active server blade 114, all the LPARs 211 to 213 executed on the active server blade 114 are migration targets.
  • the management server 100 When the management server 100 is notified of the failure of the active server blade 114, the management server 100 transmits a switching request (LPAR migration request) to the SVP 111 (step 320).
  • a switching request LPAR migration request
  • the SVP 111 Upon receiving the switch request, the SVP 111 acquires server data 201 corresponding to the active server blade 114 (failed server), and transmits the server data 201 to the SVP 121 in the standby server chassis 120 (step 312). The SVP 111 shuts off the power source of the active server blade 114 (step 313).
  • the SVP 121 receives the server data 201 (step 330), and stores the server data 201 in the storage device 122 (step 331).
  • the SVP 121 powers on one of the spare server blades 124 and 125 (step 332).
  • Step 341 When the standby server blade 124 is powered on, the hypervisor is loaded in the standby server blade 124 (step 341), and the hypervisor is activated (step 342).
  • the hypervisor specifies the physical configuration of the standby server blade 124 (step 343).
  • Step 343 may refer to a table shown in FIG.
  • the hypervisor (for example, the configuration management unit) acquires server data 201 corresponding to the active server blade 114 (failed server) from the SVP 121 (step 344).
  • the hypervisor (for example, the configuration management unit) performs resource allocation control based on the physical configuration specified in step 343 and the server data 201 acquired in step 344 (step 345). Details of the resource allocation control are shown in FIGS.
  • the hypervisor (for example, the configuration management unit) activates the LPAR to which the physical resource portion is allocated in Step 345 (Step 346).
  • FIG. 4 shows an example of the LPAR configuration table 205 of the active server blade 114.
  • the LPAR configuration tables of other server blades both active and standby have the same configuration.
  • Each LPAR in the active server blade 114 has a record, and the record has an LPAR number 400, a CPU configuration 410, a node coefficient 413, a memory configuration 420, and a processing type 430.
  • the LPAR number 400 represents the number of the target LPAR.
  • the node coefficient 413 is an example of a node access value, and is a numerical value related to memory access (for example, access performance) of a physical CPU belonging to a target node among physical CPUs assigned to the target LPAR. In the description of the present embodiment, the numerical value is referred to as “node coefficient” for convenience. The smaller the node coefficient 413, the higher the memory access performance.
  • the “node” is an object defined by the server blade (in this case, the active server blade 114), and is a set of a physical CPU and a physical memory.
  • the CPU configuration 410 includes a node number 411 and a number 412.
  • the node number 411 represents the number of the node to which the physical CPU assigned to the target LPAR belongs
  • the number 412 represents the number of physical CPUs belonging to the node. That is, the CPU configuration 410 represents how many physical CPUs belonging to which node are allocated to the target LPAR.
  • the memory configuration 420 includes a node number 421 and a number 422.
  • the node number 421 represents the number of the node to which the physical memory allocated to the target LPAR belongs, and the number 422 represents the number of physical memory belonging to the node. In other words, the memory configuration 420 represents how many physical memories belonging to which node are allocated to the target LPAR.
  • the logical NUMA configuration of the target LPAR is a configuration according to the combination of the CPU configuration 410 and the memory configuration 420 of the target LPAR, that is, how many physical CPUs belonging to which node are assigned to the target LPAR, and how many belong to which node. Of physical memory may be allocated.
  • the processing type 430 is an example of a migration policy, and represents the type of processing of the target LPAR at the standby server blade that is the migration destination.
  • “Strict” is a type in which the migration of the target LPAR is stopped if the same logical NUMA configuration as that in the active server blade cannot be realized in the standby server blade.
  • “Mid” is a type for constructing a logical NUMA configuration in which the node coefficient for each node of the target LPAR is equal to or less than the node coefficient in the active server blade in the standby server blade. In other words, “mid” does not need to realize the same logical NUMA configuration as that of the active server blade in the standby server blade, but it has the same performance as that of the active server blade.
  • “Loose” is a type that can migrate the target LPAR without depending on the logical NUMA configuration in the active server blade. Therefore, the logical NUMA configuration of the target LPAR in the standby server blade may be the same as or different from the logical NUMA configuration in the active server blade. May be less than or equal to the node coefficient in the active server blade.
  • the node coefficient 413 for each node is as follows if one node is taken as an example (hereinafter referred to as “target node” in this paragraph). That is, the node coefficient of the target node for the target LPAR is a numerical value related to the access from the physical CPU belonging to the target node to the physical memory belonging to the access destination node (target node or another node), and all physical CPUs belonging to the target node. It is calculated by the hypervisor based on the number of combinations (number of access patterns) with all the physical memories belonging to the destination node (may be calculated by another module such as a management server or SVP).
  • the “numerical value related to access to physical memory” may be a numerical value based on at least one of the performance and occurrence rate of access to physical memory.
  • Node coefficient K n for physical CPU node of interest can be calculated for example by the "number 1" below.
  • n is a CPU node number (node number to which a physical CPU belongs).
  • m is the memory node number (the number of the node to which the physical memory belongs).
  • R nm is a numerical value related to the performance of access from the physical CPU in the target node to the physical memory in the access destination node, specifically, a numerical value specified from the R nm table 1100 illustrated in FIG.
  • the R nm table 1100 is held in the hypervisor 204, for example.
  • the R nm table 1100 if the target node and the access destination node are the same node, the access performance is high, and if the target node and the access destination node are different, the access performance is low (access speed is slow). Even if the target node and the access destination node are different, the access performance is higher as the target node is closer to the access destination node.
  • the nodes # 0 and # 3 are farthest apart, and the nodes # 0 to # 3 are arranged in series like the node # 0-node # 1-node # 2-node # 3 And Note that the distance and arrangement between nodes may be logical.
  • C nm is the number of combinations of the physical CPU in the target node and the physical memory in the access destination node for the target LPAR, specifically, the number of physical CPUs in the target node for the target LPAR and the access destination for the target LPAR It is the product of the number of physical memories in the node.
  • the node coefficient K 0 is as follows.
  • one physical CPU and one physical memory of the node # 0 are allocated to the LPAR # 1, and one physical CPU of the node # 1 and one physical CPU are allocated.
  • a physical memory is allocated, and neither a physical CPU nor a physical memory is allocated to any of the nodes # 2 and # 3.
  • the LPAR configuration table 205 in the active server blade 114 may be defined in advance by a user (for example, an administrator).
  • the LPAR configuration table corresponding to the spare server blade is generated by the hypervisor in the spare server blade by step 345 in FIG. 3 (the processing of FIGS. 8 to 10).
  • FIG. 5 shows an example of the NUMA configuration table 206 of the active server blade 114.
  • the NUMA configuration tables of other server blades (both active and standby) have the same configuration.
  • the number of records (the number of nodes (NUMA nodes) defined in the server blade) and the number of sub-records in one record (the number of physical CPUs belonging to one node and one node)
  • the number of physical memories to which they belong may vary depending on the server blade.
  • Each node in the active server blade 114 has a record, and the record has a node number 500, a CPU configuration 510, and a memory configuration 520.
  • the record has a node number 500, a CPU configuration 510, and a memory configuration 520.
  • target node taking one node as an example (referred to as “target node” in the description of FIG. 5), these items will be described.
  • Node number 500 represents the number of the target node.
  • the CPU configuration 510 includes a CPU number 511 and an LPAR number 512.
  • the CPU number 511 represents the number of the physical CPU belonging to the target node
  • the LPAR number 512 represents the number of the LPAR to which the physical CPU is assigned.
  • the memory configuration 520 includes a memory number 521 and an LPAR number 522.
  • the memory number 521 represents the number of the physical memory belonging to the target node
  • the LPAR number 522 represents the number of the LPAR to which the physical memory is allocated.
  • the access from the physical CPU in the target node to the physical memory in the access destination node is faster if the target node and the access destination node are the same node, and if the target node and the access destination node are different from each other. slow.
  • step 345 in FIG. 3 will be described in detail with reference to FIGS.
  • the server data 201 of the active server blade 114 is transmitted from the SVP 111 to the SVP 121.
  • the server data 201 is received by the SVP 121.
  • the server data 201 is converted into the SVP 121.
  • the LPAR configuration data 202 and the NUMA configuration data 203 in the server data 201 are transferred to the migration destination standby server as the migration source LPAR configuration table and the migration source NUMA configuration table.
  • the hypervisor of the blade 124 hereinafter referred to as a migration destination hypervisor
  • the NUMA configuration of the active server blade (migration source server blade) 114 may be taken over to the migration destination hypervisor by a method other than the method described above.
  • the NUMA configuration table of the migration destination standby server blade 124 is, for example, the NUMA configuration table 606 shown in FIG.
  • the configuration of the NUMA configuration table 606 is the same as the NUMA configuration table 206 of FIG. That is, the items 600, 610, 620, 611, 612, 621, and 622 are the same as the items 500, 510, 520, 511, 512, 521, and 522, respectively.
  • the NUMA configuration of the standby server blade 124 and the NUMA configuration of the migration source active server blade 114 may be the same, but differ according to the examples of FIGS.
  • the NUMA configuration table 606 in FIG. 6 is a table before the start of step 345. Therefore, although the NUMA configuration (corresponding relationship between the node, the physical CPU, and the physical memory) is expressed, the physical resource element (physical CPU) And the number of the LPAR to which the physical memory is allocated is not registered.
  • the migration destination hypervisor identifies the migration target LPARs # 1 to # 3 based on the migration source LPAR configuration table, and performs allocation control (preliminary) for each of the identified LPARs # 1 to # 3.
  • the process of assigning the physical resource portion of the system server blade 124 to the LPAR) is performed (step 803). Step 803 is performed first for the LPAR of the processing type “strict”, then for the LPAR of the processing type “mid”, and finally for the LPAR of the processing type “loose”.
  • Step 803 is performed for the “strict” LPAR first is that, if Step 803 is performed for the LPAR of another processing type first, the same logical NUMA configuration as that of the migration source server blade is set. This is because the possibility of realization becomes low.
  • step 803 is finally performed for the “loose” LPAR is that the conditions for the logical NUMA configuration of the LPAR are the loosest among all the processing types. Therefore, according to the example of FIG. 4, step 803 is performed in the order of LPAR # 1 ⁇ LPAR # 2 ⁇ LPAR # 3.
  • Step 803 is performed by the migration destination hypervisor (in particular, the configuration management unit, for example).
  • the migration destination hypervisor specifies the logical NUMA configuration of LPAR # 1 from the migration source LPAR configuration table, and assigns the same logical NUMA configuration as that logical NUMA configuration to LPAR # 1 in the standby server blade 124. Whether or not it is possible is determined based on the NUMA configuration table 606 (step 900). If this determination result is affirmative, the same logical NUMA configuration is assigned to LPAR # 1 (step 911), but according to the example of FIGS. 4 and 6, the determination result of step 900 is negative. . This is because the physical memory of node # 0 is allocated to LPAR # 1 at the migration source, but according to the NUMA configuration table 606, there is no physical memory belonging to node # 0.
  • step 900: No If the determination result in step 900 is negative (step 900: No), the migration destination hypervisor stops the migration for LPAR # 1 because the processing type of LPAR # 1 is “strict” (step 902: Yes) The failure is reported to the management server 100 (step 903). The report may be sent to the SVP 121 and sent from the SVP 121 to the management server 100. Also, since the allocation has failed, the NUMA configuration table 606 is not updated.
  • the migration destination hypervisor specifies the logical NUMA configuration of LPAR # 2 from the migration source LPAR configuration table, and assigns the same logical NUMA configuration as that logical NUMA configuration to LPAR # 1 in the standby server blade 124 Whether or not it is possible is determined based on the NUMA configuration table 606 (step 900). According to the example of FIGS. 4 and 6, this determination result is also negative for the same reason as LPAR # 1.
  • step 900 If the determination result in step 900 is negative (step 900: No), the migration destination hypervisor is “mid” as the processing type of LPAR # 2 (step 902: No and step 904: Yes), FIG. Step 910 and subsequent steps are performed.
  • the migration destination hypervisor sets n (CPU node number) “0” (step 910), and identifies the node coefficient “9.2” corresponding to the node # 0 of LPAR # 2 from the migration source LPAR configuration table. (Step 911).
  • the node coefficient specified in step 911 is a threshold node coefficient.
  • the migration destination hypervisor determines whether or not an allocation that gives a node coefficient equal to or less than the threshold node coefficient “9.2” is possible for the node # 0 of LPAR # 2 in the standby server blade 124 (step 912). .
  • the migration destination hypervisor performs the following processing: (A) The same number “2” physical CPUs as the migration source from the same node number “0” as the migration source are assigned candidates. (B) A node closest to the node having the node number of (A) and having a physical memory and all physical memories of the node that have not yet been assigned to LPAR are assigned candidates. (C) Based on the number of physical CPUs and CPU node numbers in (A), the number of physical memories and memory node numbers in (B), and the R nm table in FIG. Calculating the node coefficients in (A) and (B); (D) It is determined whether or not the node coefficient calculated in (C) is equal to or less than a threshold node coefficient.
  • the migration destination hypervisor makes the two physical CPUs of the node # 1 and the four physical memories of the node # 2 as allocation candidates, thereby the node coefficient “8.8”. Is calculated. Since the calculated node coefficient “8.8” is equal to or less than the threshold node coefficient “9.2”, the two physical CPUs of the node # 1 and the four physical memories of the node # 2 are determined as allocation targets. . In this way, the configuration of the migration destination is achieved by a simple processing step of sequentially selecting the physical CPU and physical memory from the node closest to the target node (the node having the node number closest to the node number of the target node). It can be expected to reduce the processing time required for the determination.
  • the migration destination hypervisor allocates the determined allocation target to LPAR # 2, and sets LPAR number “2” as the allocation destination of the two physical CPUs of node # 1 and the four physical memories of node # 2. Registration is made in the NUMA configuration table 606 (registration of numerical values represented by reference numerals 730 and 740 in FIG. 7) (step 913).
  • Step n 911 is performed for n (node # 1) after the update.
  • the allocation candidate (the remaining two physical CPUs of node # 1 and node # 2 so that the calculated node coefficient is equal to or less than the threshold node coefficient “8.8”) And the calculated node coefficient is “8.8”), and the candidate is assigned to LPAR # 2 as an assignment target (the registration of the numerical value represented by reference numeral 731 in FIG. 7).
  • step 912 determines that this is the case for LPAR # 2. 9 is canceled (the numerical values (registered numerical values) represented by reference numerals 730 and 740 in FIG. 7 are deleted), and step 905 in FIG. 9 is executed. In step 905, the migration destination hypervisor allocates at least one physical CPU and at least one physical memory to LPAR # 2.
  • the migration of the LPAR of the processing type “mid” even if the logical NUMA configuration same as the logical NUMA configuration at the migration source cannot be adopted at the migration destination, the access performance equivalent to the access performance at the migration source is obtained.
  • a logical NUMA configuration that can be realized at the migration destination is specified and assigned to the migration target LPAR at the migration destination. As a result, it is possible to operate the LPAR with the same performance as that before the transition, and it can be expected to prevent an unexpected performance degradation.
  • the migration destination hypervisor specifies the logical NUMA configuration of LPAR # 3 from the migration source LPAR configuration table, and assigns the same logical NUMA configuration as that logical NUMA configuration to LPAR # 3 in the standby server blade 124. Whether or not it is possible is determined based on the NUMA configuration table 606 (step 900). According to the examples of FIGS. 4, 6, and 7, this determination result is negative. This is because the physical memory of node # 2 is allocated to LPAR # 3 at the migration source, but according to the NUMA configuration table 606 of FIG. 7, all the physical memories belonging to node # 2 have already been allocated to LPAR # 2. This is because node # 2 has no physical memory that can be allocated.
  • step 900 If the determination result in step 900 is negative (step 900: No), the migration destination hypervisor is “loose” as the processing type of LPAR # 3 (step 902: No and step 904: No). Execute. In step 905, the migration destination hypervisor allocates at least one physical CPU and at least one physical memory to LPAR # 3. As a result, for example, as shown in FIG. 7, two physical CPUs of node # 0 and two physical memories of node # 3 are allocated to LPAR # 3 (see reference numerals 742 and 741 in FIG. 7).
  • the migration destination hypervisor generates and holds the LPAR configuration table in the standby server blade 124 based on the migration source LPAR configuration table and the NUMA configuration table 606 after performing step 803 for all LPARs.
  • the migration destination hypervisor can activate the LPAR to which the logical NUMA configuration is assigned.
  • the processing types may be more or less than the three types of strict, mid, and loose.
  • the number of nodes is the same (all four nodes) in the migration source server blade and the migration destination server blade, but the number of nodes may be different.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Hardware Redundancy (AREA)

Abstract

　第１物理計算機は、複数の第１ＣＰＵと、複数の第１メモリと、それらを複数の仮想計算機へ割り当てる第１仮想化機構とを有する。第２物理計算機は、複数の第２ＣＰＵと、複数の第２メモリと、それらを管理する第２仮想化機構とを有する。第２仮想化機構が、第１物理計算機から第２物理計算機に移行される第１仮想計算機について、ＮＵＭＡ構成情報（第１仮想計算機と第１ＣＰＵと第１メモリとＮＵＭＡノードとの対応関係を表す情報）を基に、第１仮想計算機に割り当てられている第１ＣＰＵから前記第１仮想計算機に割り当てられている物理メモリへのアクセスに関する値であるノードアクセス値を、第１仮想計算機に割り当てられている物理ＣＰＵが属する各ＮＵＭＡノードについて特定し、特定したノードアクセス値を基に、第１仮想計算機に第２ＣＰＵ及び第２メモリを割り当てる。

Description

物理計算機及び仮想計算機移行方法
　本発明は、概して、第１物理計算機から第２物理計算機への仮想計算機の移行に関する。
　ハイパバイザのような仮想化機構により物理計算機の物理リソース（複数タイプの複数の物理リソースエレメント）を論理的に複数の物理リソース部分に分割し、複数の物理リソース部分を複数の仮想計算機（以下、「ＬＰＡＲ」（Logical　Partition）と言う）にそれぞれ割り当て、各ＬＰＡＲ上でＯＳ（Operating　System）を動作させる技術が知られている。複数タイプの複数の物理リソースエレメントとしては、例えば、１以上の物理ＣＰＵ（Central　Processing　Unit）、１以上の物理メモリ、及び、１以上のＩＯ（入出力）デバイスなどがある。物理リソース部分は、例えば、物理ＣＰＵ及び物理メモリのうちの少なくとも一方を含んでよい。
　ＮＵＭＡ（Non-Uniform　Memory　Access）構成の物理計算機が知られている。ＮＵＭＡ構成とは、あるＣＰＵ（この段落において「対象ＣＰＵ」）から見て同じノード（対象ＣＰＵを有するノード）内のメモリへのアクセスコストが、別ノード（対象ＣＰＵを有するノードと別のノード）内のメモリへのアクセスコストと比べて小さくなるような計算機構成を言う。「ノード」とは、１以上のＣＰＵと１以上のメモリとの１つの組を言う。同じノード内のメモリを「ローカルメモリ」と呼び、別ノード内のメモリを「リモートメモリ」と呼ぶ。ローカルメモリへのアクセスはリモートメモリへのアクセスに比べて高速である。
　したがって、物理計算機の物理リソース部分（例えばＣＰＵ及びメモリ）をＬＰＡＲに割り当てる場合には、各ＬＰＡＲに対して、同じノードに属する物理リソース部分を割り当てることが望ましい。しかしながら、物理計算機の物理リソースには制限があるため、そのような割り当てが可能とは限らない。特表２０１２－５２１６１１号公報（特許文献１）には、物理リソース部分がＬＰＡＲに動的に割り当てられる計算機システムにおいて、ＮＵＭＡノード（ＮＵＭＡ構成の物理計算機内のノード）を考慮して物理リソース部分がＬＰＡＲに動的に割り当てられる。
　一方、ＬＰＡＲに物理リソース部分を固定的に割り当てる計算機システムがある。このような計算機システムでは、複数のＮＵＭＡノードに跨る物理リソース部分を１つのＬＰＡＲにやむを得ず割り当てることがあり得る。
　また、現用系の物理計算機で障害が起きた等の原因により、ＬＰＡＲを現用系の物理計算機から予備系の物理計算機に移行して計算機システムを稼働させる技術がある。
特表２０１２－５２１６１１号公報
　物理リソース部分をＬＰＡＲに固定的に割り当てる計算機システムにおいて、現用系の物理計算機と予備系の物理計算機において、物理リソース構成（例えばＣＰＵの数及びメモリの容量）が同じであってもＮＵＭＡ構成が異なる場合がある。例えば、ＮＵＭＡ構成の異なる複数の現用系サーバブレード（サーバブレードは物理計算機の一例）で１つの予備系サーバブレードを共有する場合、現用系サーバブレードと予備系サーバブレードとで、少なくとも１つの現用系サーバブレードのＮＵＭＡ構成と予備系サーバブレードのＮＵＭＡ構成が異なる。このため、ＬＰＡＲの移行の失敗、或いは、ＬＰＡＲ移行後に予期せぬ性能低下が生じるおそれがある。
　第１物理計算機と第２物理計算機がある。第１物理計算機は、複数のＮＵＭＡノードに対応付けられる複数の第１ＣＰＵと、複数のＮＵＭＡノードに対応付けられる複数の第１メモリと、複数の第１ＣＰＵ及び複数の第１メモリを複数の仮想計算機へ割り当てる第１仮想化機構とを有する。第２物理計算機は、複数のＮＵＭＡノードに対応付けられる複数の第２ＣＰＵと、複数のＮＵＭＡノードに対応付けられる複数の第２メモリと、複数の第２ＣＰＵ及び複数の第２メモリを管理する第２仮想化機構とを有する。第２仮想化機構が、複数の仮想計算機のうちの移行対象であり第１物理計算機から第２物理計算機に移行される第１仮想計算機について、ＮＵＭＡ構成情報（第１仮想計算機と第１ＣＰＵと第１メモリとＮＵＭＡノードとの対応関係を表す情報）を基に、第１仮想計算機に割り当てられている第１ＣＰＵから第１仮想計算機に割り当てられている物理メモリへのアクセスに関する値であるノードアクセス値を特定する。第２仮想化機構は、特定したノードアクセス値を基に、第１仮想計算機に第２ＣＰＵ及び第２メモリを割り当てる。
　物理計算機間で第１仮想計算機を移行した後に、予期しない性能低下の発生を防ぐことが期待できる。
実施形態に係る計算機システムの構成を示す。 現用系サーバブレードの論理構成と第１管理データの構成とを示す。 ＬＰＡＲ移行処理の流れの一例を示す。 現用系サーバブレードのＬＰＡＲ構成テーブルの一例を示す。 現用系サーバブレードのＮＵＭＡ構成テーブルの一例を示す。 予備系サーバブレードのＮＵＭＡ構成テーブルの一例（ＬＰＡＲ移行前）を示す。 予備系サーバブレードのＮＵＭＡ構成テーブルの一例（ＬＰＡＲ移行後）を示す。 図３のステップ３４５の詳細を示す 図８のステップ８０３の詳細の一部を示す。 図８のステップ８０３の詳細の残りを示す。 Ｒｎｍテーブルの一例を示す。 サーバブレードの物理構成を示す。
　以下、図面を参照して、一実施形態を説明する。
　図１は、実施形態に係る計算機システムの構成を示す。
　計算機システムが、現用系サーバシャーシ１１０と、予備系サーバシャーシ１２０と、ＰＣ１０２と、管理サーバ１００と、複数（例えば３台）のＩＯ（入出力）デバイス１１６～１１８とを有する。ＩＯデバイスは１つでもよい。通信ネットワーク１０１に、現用系サーバシャーシ１１０、予備系サーバシャーシ１２０、ＰＣ１０２及び管理サーバ１００が接続されている。
　現用系サーバシャーシ１１０は、第１計算機サブシステムの一例でよく、複数（例えば３台）の現用系サーバブレード１１３、１１４及び１１５を有する。現用系サーバブレードは１つでもよい。１つの現用系サーバブレードは、第１物理計算機の一例である。また、現用系サーバシャーシ１１０は、複数の現用系サーバブレード１１３、１１４及び１１５により参照される第１管理データを保持するＳＶＰ（Service　Processor）１１１を有する。ＳＶＰ１１１は、第１管理データを記憶する記憶デバイス（例えば不揮発記憶デバイス）１１２を有した計算機でよい。ＳＶＰ１１１は、現用系サーバブレード１１３、１１４及び１１５を管理する。
　予備系サーバシャーシ１２０は、第２計算機サブシステムの一例でよく、その構成はシャーシ１１０と実質的に同様である。すなわち、予備系サーバシャーシ１２０は、複数（例えば２台）の予備系サーバブレード１２４及び１２５を有する。予備系サーバブレードは１つでもよい。１つの予備系サーバブレードは、第２物理計算機の一例である。本実施形態によれば、２台の予備系サーバブレード１２４及び１２５が３台の現用系サーバブレード１１３、１１４及び１１５に共有されている。予備系サーバブレードは、現用系サーバブレードより少ないことが望ましいが、現用系サーバブレードと同数でも現用系サーバブレードより多くてもよい。予備系サーバブレードは、現用系サーバブレードのＬＰＡＲの移行先となる。予備系サーバシャーシ１２０は、複数の予備系サーバブレード１２４及び１２５により参照される第２管理データを保持するＳＶＰ１２１を有する。ＳＶＰ１２１は、第２管理データを記憶する記憶デバイス（例えば不揮発記憶デバイス）１２２を有した計算機でよい。ＳＶＰ１２１は、予備系サーバブレード１２４及び１２５を管理する。
　ＰＣ１０２は、パーソナルコンピュータの略であり、入出力コンソールの一例である。ＰＣ１０２は、例えば管理サーバ１００のクライアントマシンでよい。ＰＣ１０２に代えて他種の計算機が採用されてもよい。ＰＣ１０２は、サーバブレードの状態を確認したりサーバブレードに対して指示を行ったりするためにユーザにより使用される。
　管理サーバ１００は、管理計算機の一例であり、複数のサーバシャーシ１１０及び１２０内のサーバブレード１１３～１１５、１２４及び１２５を管理する。
　ＩＯデバイス１１６～１１８の各々は、例えば、１以上の不揮発記憶デバイスを有するストレージ装置である。ＩＯデバイス１１６～１１８の各々は、サーバブレードで実行される複数のＬＰＡＲがそれぞれ実行する複数のＯＳ（ゲストＯＳ）を記憶する。ＬＰＡＲは１つでもよく、故にゲストＯＳも１つでもよい。ＩＯデバイス１１６～１１８の各々は、例えば、現用系サーバブレード１１３～１１５のうちの少なくとも１つと、予備系サーバブレード１２４及び１２５のうちの少なくとも１つとに通信可能に接続されている。
　図１２は、サーバブレード１１４の物理構成を示す。
　サーバブレード１１４は、物理リソースを有し、物理リソースは、例えば、１以上のＩ／Ｆ（通信インターフェイスデバイス）１２０２と、１以上の物理メモリ１２０３と、それらに接続された１以上の物理ＣＰＵ１２０１とを含む。Ｉ／Ｆ１２０２、物理メモリ１２０３及び物理ＣＰＵ１２０１の各々は、物理リソースエレメントの一例である。他のサーバブレードの各々の物理リソースも、１以上のＩ／Ｆと、１以上の物理メモリと、それらに接続された１以上の物理ＣＰＵとを含む。しかし、物理リソースの構成（例えば、物理リソースエレメントの数、物理リソースエレメントの仕様等）は、違っていてもよい。本実施形態では、説明を分かり易くするために、複数のサーバブレード１１３～１１５、１２４及び１２５において、同じ物理ＣＰＵ（同じ製品）が搭載されており、また、同じ物理メモリ（同じ製品）が搭載されているものとする。つまり、少なくとも物理ＣＰＵ及び物理メモリについては、それぞれ、数の違いが構成の違いに相当する。
　１以上のＩ／Ｆ１２０２は、ＳＶＰ１１１と通信するＩ／Ｆと、管理サーバ１００と通信するＩ／Ｆと、ＩＯデバイス１１６～１１８の少なくとも１つと通信するＩ／Ｆとを含んでよい。
　１以上の物理メモリ１２０３が、ハイパバイザ２０４を記憶する。ハイパバイザ２０４は、仮想化機構の一例である。ハイパバイザ２０４は、１以上の物理ＣＰＵ１２０１のうちの少なくとも１つに実行されることにより、物理リソースを複数の物理リソース部分に論理的に分割し、複数の物理リソース部分をそれぞれ複数（例えば３つ）のＬＰＡＲ２１１～２１３に割り当てることができる。物理リソース部分は、例えば少なくとも１つの物理ＣＰＵと少なくとも１つの物理メモリとを含む。
　図２は、現用系サーバブレード１１４の論理構成と第１管理データの構成とを示す。
　第１管理データは、複数の現用系サーバブレード１１３～１１５にそれぞれ対応した複数のサーバデータを含む。各サーバデータは、そのサーバデータに対応したサーバブレードのＬＰＡＲ構成を表すＬＰＡＲ構成データと、そのサーバデータに対応したサーバブレードのＮＵＭＡ構成を表すＮＵＭＡ構成データとを有する。サーバデータ２０１は、現用系サーバブレード１１４に対応し、故に、サーバデータ２０１内のＬＰＡＲ構成データ２０２及びＮＵＭＡ構成データ２０３は、現用系サーバブレード１１４に対応する。
　現用系サーバブレード１１４において、ハイパバイザ２０４は、ＳＶＰ－Ｉ／Ｆ部２０８と、ＬＰＡＲ構成テーブル２０５と、ＮＵＭＡ構成テーブル２０６と、構成管理部２０７とを有する。ＳＶＰ－Ｉ／Ｆ部２０８は、ＳＶＰ１１１とのインタフェースを制御する。構成管理部２０７は、ＬＰＡＲ２１１～２１３及び物理リソースの構成を管理したり、物理リソースを複数の物理リソース部分に論理的に分割し複数の物理リソース部分をそれぞれ複数のＬＰＡＲ２１１～２１３に割り当てたり、物理メモリ上にＬＰＡＲ構成テーブル２０５及びＮＵＭＡ構成テーブル２０６を格納したりする。これらのテーブル２０５及び２０６は、ＳＶＰ―ＩＦ部２０８を介して、ＳＶＰ１１１の記憶デバイス１１２に出力する。サーバデータ２０１内のＬＰＡＲ構成データ２０２及びＮＵＭＡ構成データ２０３は、それぞれ、ＬＰＡＲ構成テーブル２０５及びＮＵＭＡ構成テーブル２０６の出力結果である。ＬＰＡＲ構成テーブル２０５及びＮＵＭＡ構成テーブル２０６の各々の出力は、そのテーブルが更新される都度に行われてもよいし定期的に行われてもよい。
　ＬＰＡＲ２１１～２１３は、それぞれ、論理ＮＵＭＡ構成２１４～２１６を有する。なぜなら、ＬＰＡＲ２１１～２１３の各々に割り当てられた物理リソース部分は、ＮＵＭＡ構成が定義された物理リソースから分割された部分だからである。物理リソース部分に基づく論理リソース（論理ＣＰＵ及び論理メモリ等）をＬＰＡＲが有する。ＬＰＡＲ２１１は、現用系サーバブレード１１４に対応したＩＯデバイス１１６が記憶する複数のＯＳのうち、ＬＰＡＲ２１１に対応するＯＳを実行する。
　図３は、ＬＰＡＲ移行処理の流れの一例を示す。予備系サーバブレード１２４及び１２５のいずれの電源もオフ状態であるとする。
　例えば現用系サーバブレード１１４で障害が発生した場合（ステップ３００）、ＳＶＰ１１１が、現用系サーバブレード１１４の障害を検出し（ステップ３１０）、現用系サーバブレード１１４の障害を管理サーバ１００に通知する（ステップ３１１）。現用系サーバブレード１１４の障害が原因でＬＰＡＲ移行が行われる場合、現用系サーバブレード１１４で実行される全てのＬＰＡＲ２１１～２１３が移行対象である。
　管理サーバ１００は、現用系サーバブレード１１４の障害の通知を受けた場合、ＳＶＰ１１１に切替え要求（ＬＰＡＲ移行要求）を送信する（ステップ３２０）。
　切替え要求を受けたＳＶＰ１１１は、現用系サーバブレード１１４（障害サーバ）に対応したサーバデータ２０１を取得し、サーバデータ２０１を、予備系サーバシャーシ１２０内のＳＶＰ１２１に送信する（ステップ３１２）。ＳＶＰ１１１は、現用系サーバブレード１１４の電源を遮断する（ステップ３１３）。
　ＳＶＰ１２１は、サーバデータ２０１を受信し（ステップ３３０）、サーバデータ２０１を記憶デバイス１２２に格納する（ステップ３３１）。ＳＶＰ１２１は、予備系サーバブレード１２４及び１２５のうちの１つの予備系サーバブレード１２４の電源を投入する（ステップ３３２）。
　予備系サーバブレード１２４の電源が投入されると、予備系サーバブレード１２４において、ハイパバイザがロードされ（ステップ３４１）、ハイパバイザが起動する（ステップ３４２）。ハイパバイザは、予備系サーバブレード１２４の物理構成を特定する（ステップ３４３）。ステップ３４３は、例えば後述の図６のテーブルの参照でよい。ハイパバイザ（例えば構成管理部）は、現用系サーバブレード１１４（障害サーバ）に対応したサーバデータ２０１をＳＶＰ１２１から取得する（ステップ３４４）。ハイパバイザ（例えば構成管理部）は、ステップ３４３で特定した物理構成と、ステップ３４４で取得したサーバデータ２０１とを基に、リソース割当て制御を行う（ステップ３４５）。リソース割当て制御の詳細は、図８～図１０が示す。ハイパバイザ（例えば構成管理部）は、ステップ３４５において物理リソース部分が割り当てられたＬＰＡＲを起動する（ステップ３４６）。
　図４は、現用系サーバブレード１１４のＬＰＡＲ構成テーブル２０５の一例を示す。他のサーバブレード（現用系及び予備系の両方）のＬＰＡＲ構成テーブルも同様の構成である。
　現用系サーバブレード１１４内のＬＰＡＲ毎にレコードを有し、レコードは、ＬＰＡＲ番号４００、ＣＰＵ構成４１０、ノード係数４１３、メモリ構成４２０及び処理タイプ４３０を有する。以下、１つのＬＰＡＲを例に取り（図４の説明において「対象ＬＰＡＲ」と言う）、これらの項目を説明する。
　ＬＰＡＲ番号４００は、対象ＬＰＡＲの番号を表す。ノード係数４１３は、ノードアクセス値の一例であり、対象ＬＰＡＲに割り当てられた物理ＣＰＵのうち対象となるノードに属する物理ＣＰＵのメモリアクセス（例えばアクセス性能）に関する数値である。本実施形態の説明では、その数値を便宜上「ノード係数」と呼ぶ。ノード係数４１３が小さいほど、メモリアクセス性能が高い。なお、「ノード」とは、サーバブレード（ここでは現用系サーバブレード１１４）で定義されたオブジェクトであり、物理ＣＰＵと物理メモリの組である。
　ＣＰＵ構成４１０は、ノード番号４１１及び個数４１２で構成されている。ノード番号４１１は、対象ＬＰＡＲに割り当てられている物理ＣＰＵが属するノードの番号を表し、個数４１２は、そのノードに属する物理ＣＰＵの数を表す。すなわち、ＣＰＵ構成４１０は、対象ＬＰＡＲにどのノードに属する幾つの物理ＣＰＵが割り当てられているかを表す。
　メモリ構成４２０は、ノード番号４２１及び個数４２２で構成されている。ノード番号４２１は、対象ＬＰＡＲに割り当てられている物理メモリが属するノードの番号を表し、個数４２２は、そのノードに属する物理メモリの数を表す。すなわち、メモリ構成４２０は、対象ＬＰＡＲにどのノードに属する幾つの物理メモリが割り当てられているかを表す。
　対象ＬＰＡＲの論理ＮＵＭＡ構成は、対象ＬＰＡＲのＣＰＵ構成４１０及びメモリ構成４２０の組合せに従う構成、すなわち、対象ＬＰＡＲに、どのノードに属する幾つの物理ＣＰＵが割り当てられており、且つ、どのノードに属する幾つの物理メモリが割り当てられているかでよい。
　処理タイプ４３０は、移行ポリシーの一例であり、移行先である予備系サーバブレードでの対象ＬＰＡＲの処理のタイプを表す。「ｓｔｒｉｃｔ」は、現用系サーバブレードでの論理ＮＵＭＡ構成と同じ論理ＮＵＭＡ構成を予備系サーバブレードにおいて実現できなければ対象ＬＰＡＲの移行を中止するタイプである。「ｍｉｄ」は、予備系サーバブレードにおいて、対象ＬＰＡＲのノード毎のノード係数が現用系サーバブレードでのノード係数以下となるような論理ＮＵＭＡ構成を構築するタイプである。すなわち、「ｍｉｄ」は、現用系サーバブレードでの論理ＮＵＭＡ構成と同じ論理ＮＵＭＡ構成を予備系サーバブレードにおいて実現する必要は無いが、現用系サーバブレードでの性能と同等の性能を予備系サーバブレードにおいて実現することが望まれるタイプである。「loose」は、現用系サーバブレードでの論理ＮＵＭＡ構成に依存せず対象ＬＰＡＲを移行できればよいタイプである。従って、予備系サーバブレードでの対象ＬＰＡＲの論理ＮＵＭＡ構成は、現用系サーバブレードでの論理ＮＵＭＡ構成と同じであることもあれば違うこともあり、また、予備系サーバブレードでの対象ＬＰＡＲについて、ノード毎のノード係数が、現用系サーバブレードでのノード係数以下であることもあれば当該ノード係数を超えていることもある。
　対象ＬＰＡＲについて、ノード毎のノード係数４１３は、１つのノードを例に取れば（以下、この段落において「対象ノード」と言う）、以下の通りである。すなわち、対象ＬＰＡＲについて対象ノードのノード係数は、対象ノードに属する物理ＣＰＵからアクセス先ノード（対象ノード又は別ノード）に属する物理メモリへのアクセスに関する数値と、対象ノードに属する全ての物理ＣＰＵとアクセス先ノードに属する全ての物理メモリとの組合せ数（アクセスパターン数）とに基づいてハイパバイザにより算出される（管理サーバ又はＳＶＰ等、他のモジュールにより算出されてもよい）。「物理メモリへのアクセスに関する数値」は、物理メモリへのアクセスの性能及び発生率のうちの少なくとも１つに基づく数値でよい。対象ノードの物理ＣＰＵについてのノード係数Ｋｎは、例えば下記の「数１」により算出することができる。ここで、ｎは、ＣＰＵノード番号（物理ＣＰＵが属するノードの番号）である。ｍは、メモリノード番号（物理メモリが属するノードの番号）である。Ｒｎｍは、対象ノード内の物理ＣＰＵからアクセス先ノード内の物理メモリへのアクセスの性能に関する数値、具体的には図１１に例示するＲｎｍテーブル１１００から特定された数値である。Ｒｎｍテーブル１１００は、例えばハイパバイザ２０４に保持される。Ｒｎｍが低いほどアクセス性能が高い（アクセス速度が速い）。Ｒｎｍテーブル１１００によれば、対象ノードとアクセス先ノードが同一ノードであればアクセス性能が高く、対象ノードとアクセス先ノードが異なるノードであればアクセス性能が低い（アクセス速度が遅い）。また、対象ノードとアクセス先ノードが異なるノードであっても、対象ノードとアクセス先ノード間が近い程アクセス性能が高い。本実施形態では、ノード＃０とノード＃３が最も離れており、ノード＃０～＃３は、ノード＃０－ノード＃１－ノード＃２－ノード＃３のように直列に並んでいるものとする。なお、ノード間の距離や並びは論理的なものでよい。Ｃｎｍは、対象ＬＰＡＲについて対象ノード内の物理ＣＰＵとアクセス先ノード内の物理メモリとの組合せ数、具体的には、対象ＬＰＡＲについての対象ノード内の物理ＣＰＵの数と対象ＬＰＡＲについてのアクセス先ノード内の物理メモリの数との積である。
Figure JPOXMLDOC01-appb-M000001
　「数１」によれば、例えば、ＬＰＡＲ＃１（ＬＰＡＲ番号「１」のＬＰＡＲ）のノード＃０（ノード番号「０」のノード）について、ノード係数Ｋ０が下記の通りとなる。図４のＬＰＡＲ構成テーブル２０５によれば、ＬＰＡＲ＃１に、ノード＃０の１個の物理ＣＰＵ及び１個の物理メモリが割り当てられており、ノード＃１の１個の物理ＣＰＵと１個の物理メモリが割り当てられており、ノード＃２及び＃３のいずれについても物理ＣＰＵ及び物理メモリのいずれも割り当てられていない。
ＬＰＡＲ＃１のＫ０
＝１（＝Ｒ００）×１（＝Ｃ００）＋１．１（＝Ｒ０１）×１（＝Ｃ０１）
＝２．１
　また、「数１」によれば、例えば、ＬＰＡＲ＃２のノード＃０について、ノード係数Ｋ０が下記の通りとなる。図４のＬＰＡＲ構成テーブル２０５によれば、ＬＰＡＲ＃２に、ノード＃０～＃３の各々について、２個の物理ＣＰＵ及び１個の物理メモリが割り当てられている。
ＬＰＡＲ＃２のＫ０
＝１（＝Ｒ００）×２（＝Ｃ００）＋１．１（＝Ｒ０１）×２（＝Ｃ０１）＋１．２（＝Ｒ０２）×２（＝Ｃ０２）＋１．３（＝Ｒ０１）×２（＝Ｃ０３）
＝９．２
　現用系サーバブレード１１４におけるＬＰＡＲ構成テーブル２０５は、ユーザ（例えば管理者）により予め定義されていてよい。一方、予備系サーバブレードでは、図３ステップ３４５（図８～図１０の処理）により、その予備系サーバブレードに対応したＬＰＡＲ構成テーブルが、その予備系サーバブレード内のハイパバイザにより生成される。
　図５は、現用系サーバブレード１１４のＮＵＭＡ構成テーブル２０６の一例を示す。他のサーバブレード（現用系及び予備系の両方）のＮＵＭＡ構成テーブルも同様の構成である。但し、レコードの数（サーブレードに定義されているノード（ＮＵＭＡノード）の数）、及び、１つのレコード内のサブレコードの数（１つのノードに属する物理ＣＰＵの数、及び、１つのノードに属する物理メモリの数）は、サーバブレードによって異なることがある。
　現用系サーバブレード１１４内のノード毎にレコードを有し、レコードは、ノード番号５００、ＣＰＵ構成５１０及びメモリ構成５２０を有する。以下、１つのノードを例に取り（図５の説明において「対象ノード」と言う）、これらの項目を説明する。
　ノード番号５００は、対象ノードの番号を表す。
　ＣＰＵ構成５１０は、ＣＰＵ番号５１１及びＬＰＡＲ番号５１２で構成されている。ＣＰＵ番号５１１は、対象ノードに属する物理ＣＰＵの番号を表し、ＬＰＡＲ番号５１２は、その物理ＣＰＵが割り当てられているＬＰＡＲの番号を表す。
　メモリ構成５２０は、メモリ番号５２１及びＬＰＡＲ番号５２２で構成されている。メモリ番号５２１は、対象ノードに属する物理メモリの番号を表し、ＬＰＡＲ番号５２２は、その物理メモリが割り当てられているＬＰＡＲの番号を表す。
　上述したように、対象ノード内の物理ＣＰＵからアクセス先ノード内の物理メモリへのアクセスは、対象ノードとアクセス先ノードが同一ノードであれば早く、対象ノードとアクセス先ノードが異なるノードであれば遅い。
　以下、図８～図１０を参照して、図３のステップ３４５を詳細に説明する。
　なお、図３のステップ３１２で、現用系サーバブレード１１４のサーバデータ２０１がＳＶＰ１１１からＳＶＰ１２１に送信され、ステップ３３０で、ＳＶＰ１２１によりそのサーバデータ２０１が受信され、ステップ３３１で、そのサーバデータ２０１がＳＶＰ１２１の記憶デバイス１２２に格納され、ステップ３４４で、そのサーバデータ２０１内のＬＰＡＲ構成データ２０２及びＮＵＭＡ構成データ２０３が、移行元のＬＰＡＲ構成テーブル及び移行元のＮＵＭＡ構成テーブルとして、移行先の予備系サーバブレード１２４のハイパバイザ（以下、移行先ハイパバイザ）に設定されたとする。なお、現用系サーバブレード（移行元サーバブレード）１１４のＮＵＭＡ構成等は、上述した方法以外の方法で移行先ハイパバイザへと引き継がれてもよい。
　また、移行先の予備系サーバブレード１２４のＮＵＭＡ構成テーブルは、例えば図６に示すＮＵＭＡ構成テーブル６０６であるとする。ＮＵＭＡ構成テーブル６０６の構成は、図５のＮＵＭＡ構成テーブル２０６と同じである。つまり、項目６００、６１０、６２０、６１１、６１２、６２１及び６２２は、それぞれ、項目５００、５１０、５２０、５１１、５１２、５２１及び５２２と同じである。予備系サーバブレード１２４のＮＵＭＡ構成と移行元の現用系サーバブレード１１４のＮＵＭＡ構成は、同じであることもあるが、図５及び図６の例によれば異なっている。具体的には、例えば、予備系サーバブレード１２４と現用系サーバブレード１１４において、物理ＣＰＵの数と、物理ＣＰＵとノードとの対応関係と、物理メモリの数は、同じであるが、物理メモリとノードとの対応関係が異なっている。また、図６のＮＵＭＡ構成テーブル６０６は、ステップ３４５の開始前のテーブルであり、故に、ＮＵＭＡ構成（ノード、物理ＣＰＵ及び物理メモリの対応関係）が表されているものの、物理リソースエレメント（物理ＣＰＵ及び物理メモリ）の割当て先のＬＰＡＲの番号は登録されていない。
　図８に示すように、移行先ハイパバイザは、移行元ＬＰＡＲ構成テーブルを基に、移行対象のＬＰＡＲ＃１～＃３を特定し、特定したＬＰＡＲ＃１～＃３の各々について、割当て制御（予備系サーバブレード１２４の物理リソース部分をＬＰＡＲに割り当てる処理）を行う（ステップ８０３）。ステップ８０３は、処理タイプ「strict」のＬＰＡＲについてまず行われ、次に、処理タイプ「mid」のＬＰＡＲについて行われ、最後に、処理タイプ「loose」のＬＰＡＲについて行われる。最初に「strict」のＬＰＡＲについてステップ８０３が行われる理由は、先に他の処理タイプのＬＰＡＲについてステップ８０３が行われてしまうと、移行元のサーバブレードでの論理ＮＵＭＡ構成と同じ論理ＮＵＭＡ構成を実現できる可能性が低くなるからである。また、最後に「loose」のＬＰＡＲについてステップ８０３が行われる理由は当該ＬＰＡＲの論理ＮＵＭＡ構成についての条件が全ての処理タイプのうち最も緩いからである。従って、図４の例によれば、ＬＰＡＲ＃１→ＬＰＡＲ＃２→ＬＰＡＲ＃３の順でステップ８０３が行われる。
　図９及び図１０は、ステップ８０３の詳細を示す。以下、ＬＰＡＲ＃１～＃３の各々について、ステップ８０３の詳細を説明する。ステップ８０３は、移行先ハイパバイザ（特に例えば構成管理部）により行われる。
　＜ＬＰＡＲ＃１についてのステップ８０３＞
　図９に示すように、移行先ハイパバイザは、移行元ＬＰＡＲ構成テーブルからＬＰＡＲ＃１の論理ＮＵＭＡ構成を特定し、その論理ＮＵＭＡ構成と同じ論理ＮＵＭＡ構成を予備系サーバブレード１２４においてＬＰＡＲ＃１に割り当てることが可能か否かを、ＮＵＭＡ構成テーブル６０６を基に判断する（ステップ９００）。この判断結果が肯定であれば、その同じ論理ＮＵＭＡ構成がＬＰＡＲ＃１に割り当てられることになるが（ステップ９１１）、図４及び図６の例によれば、ステップ９００の判断結果は否定となる。なぜなら、移行元ではノード＃０の物理メモリがＬＰＡＲ＃１に割り当てられていたが、ＮＵＭＡ構成テーブル６０６によれば、ノード＃０に属する物理メモリが無いからである。
　ステップ９００の判断結果が否定の場合（ステップ９００：Ｎｏ）、移行先ハイパバイザは、ＬＰＡＲ＃１の処理タイプが「strict」であるので（ステップ９０２：Ｙｅｓ）、ＬＰＡＲ＃１について移行を中止し、失敗を管理サーバ１００に報告する（ステップ９０３）。その報告は、ＳＶＰ１２１に送られ、ＳＶＰ１２１から管理サーバ１００に送られてもよい。また、割当ての失敗なので、ＮＵＭＡ構成テーブル６０６は更新されない。
　＜ＬＰＡＲ＃２についてのステップ８０３＞
　図９に示すように、移行先ハイパバイザは、移行元ＬＰＡＲ構成テーブルからＬＰＡＲ＃２の論理ＮＵＭＡ構成を特定し、その論理ＮＵＭＡ構成と同じ論理ＮＵＭＡ構成を予備系サーバブレード１２４においてＬＰＡＲ＃１に割り当てることが可能か否かを、ＮＵＭＡ構成テーブル６０６を基に判断する（ステップ９００）。図４及び図６の例によれば、ＬＰＡＲ＃１と同じ理由で、この判断結果も否定となる。
　ステップ９００の判断結果が否定の場合（ステップ９００：Ｎｏ）、移行先ハイパバイザは、ＬＰＡＲ＃２の処理タイプが「mid」であるので（ステップ９０２：Ｎｏ、且つ、ステップ９０４：Ｙｅｓ）、図１０のステップ９１０以降を行う。
　すなわち、移行先ハイパバイザは、ｎ（ＣＰＵノード番号）「０」を設定し（ステップ９１０）、ＬＰＡＲ＃２のノード＃０に対応したノード係数「９．２」を移行元ＬＰＡＲ構成テーブルから特定する（ステップ９１１）。ステップ９１１で特定されたノード係数が、閾値ノード係数である。そして、移行先ハイパバイザは、閾値ノード係数「９．２」以下のノード係数となるような割当てが予備系サーバブレード１２４においてＬＰＡＲ＃２のノード＃０について可能か否かを判断する（ステップ９１２）。この判断では、例えば、移行先ハイパバイザは、以下の処理、
（Ａ）移行元と同じノード番号「０」から移行元と同じ数「２」の物理ＣＰＵを割り当て候補とする、
（Ｂ）（Ａ）のノード番号のノードから最も近いノードであり物理メモリを有するノードからそのノードが有する全ての物理メモリのうち未だＬＰＡＲに割り当てていないものを割り当て候補とする、
（Ｃ）（Ａ）での物理ＣＰＵ数及びＣＰＵノード番号と、（Ｂ）での物理メモリ数及びメモリノード番号と、図１１のＲｎｍテーブルとを基に、「数１」を用いて、（Ａ）及び（Ｂ）でのノード係数を算出する、
（Ｄ）（Ｃ）で算出したノード係数が閾値ノード係数以下か否かを判断する、
（Ｅ）（Ｄ）の判断結果が肯定であれば、（Ａ）及び（Ｂ）に従う論理ＮＵＭＡ構成を割り当て対象と決定する、
（Ｆ）（Ｄ）の判断結果が否定であれば、ノード番号を、（Ａ）で決定したノード番号の次のノード番号に変更し、（Ａ）を再度行う、
を行う。これにより、例えば、予備系サーバブレード１２４において、ノード＃０の２個の物理ＣＰＵを割当て候補とし、物理メモリを有するノードのうちノード＃０から一番近いノード＃２の全て（４個）の物理メモリを割当て候補とすると、算出されるノード係数は「９.６」になり、閾値ノード係数「９.２」より大きい。そのため、その割当ては不採用とし、次に、移行先ハイパバイザは、ノード＃１の２個の物理ＣＰＵとノード＃２の４個の物理メモリを割り当て候補とし、それによりノード係数「８.８」を算出する。その算出ノード係数「８.８」は、閾値ノード係数「９.２」以下であるので、ノード＃１の２個の物理ＣＰＵとノード＃２の４個の物理メモリが割り当て対象に決定される。このように、対象とされたノードから最も近いノード（対象とされたノードのノード番号に最も近いノード番号のノード）から順次物理ＣＰＵ及び物理メモリを選択するシンプルな処理ステップにより、移行先の構成決定にかかる処理時間を短く抑えることが期待できる。
　移行先ハイパバイザは、決定した割当て対象を、ＬＰＡＲ＃２に割り当て、且つ、ノード＃１の２個の物理ＣＰＵとノード＃２の４個の物理メモリのそれぞれの割当て先としてＬＰＡＲ番号「２」をＮＵＭＡ構成テーブル６０６に登録する（図７の参照符号７３０及び７４０が表す数値の登録）（ステップ９１３）。
　次に、移行先ハイパバイザは、ｎ＝ｎ＋１（＝１）とし（ステップ９１４）、更新後のｎ＝１は最大ノード番号（ノード数－１）（＝３）以下なので（ステップ９１５：Ｙｅｓ）、更新後のｎ（ノード＃１）について、ステップ９１１を行う。
　ステップ９１１～９１５によれば、例えば、ノード＃１について、算出ノード係数が閾値ノード係数「８．８」以下となるような割り当て候補（ノード＃１の残りの２個の物理ＣＰＵとノード＃２の４個の物理メモリ、算出ノード係数は「８．８」）が決定され、その候補が割り当て対象としてＬＰＡＲ＃２に割り当てられる（図７の参照符号７３１が表す数値の登録）。ノード＃２について、算出ノード係数が閾値ノード係数「８．８」以下となるような割り当て候補（ノード＃２の２個の物理ＣＰＵとノード＃２の４個の物理メモリ、算出ノード係数は「８．０」）が決定され、その候補が割り当て対象としてＬＰＡＲ＃２に割り当てられる（図７の参照符号７３２が表す数値の登録）。ノード＃３について、算出ノード係数が閾値ノード係数「９．２」以下となるような割り当て候補（ノード＃２の残りの２個の物理ＣＰＵとノード＃２の４個の物理メモリ、算出ノード係数は「８．０」）が決定され、その候補が割り当て対象としてＬＰＡＲ＃２に割り当てられる（図７の参照符号７３３が表す数値の登録）。ｎ＝３のときにステップ９１４が行われると、ステップ９１５の判断結果が否定となり、ＬＰＡＲ＃２についてのステップ８０３が終了する。
　なお、ステップ９１２の判断結果が否定の場合（ステップ９１２：Ｎｏ）、すなわち、ステップ９１２の条件を満たすような論理ＮＵＭＡ構成の確保が不可能な場合、移行先ハイパバイザは、ＬＰＡＲ＃２についてのこれまでの割当てをキャンセルし（図７の参照符号７３０、７４０等が表す数値（登録された数値）を削除し）、図９のステップ９０５を実行する。ステップ９０５では、移行先ハイパバイザは、ＬＰＡＲ＃２に少なくとも１つの物理ＣＰＵと少なくとも１つの物理メモリを割り当てる。
　処理タイプ「mid」のＬＰＡＲの移行によれば、移行元での論理ＮＵＭＡ構成と同じ論理ＮＵＭＡ構成を移行先で採用することができなくても、移行元でのアクセス性能と同等のアクセス性能を移行先でも実現できるような論理ＮＵＭＡ構成が特定され移行対象のＬＰＡＲに移行先において割り当てられる。これにより、移行前と同等の性能でＬＰＡＲが稼働することを可能にし、予期しない性能低下の発生を防ぐことが期待できる。
　＜ＬＰＡＲ＃３についてのステップ８０３＞
　図９に示すように、移行先ハイパバイザは、移行元ＬＰＡＲ構成テーブルからＬＰＡＲ＃３の論理ＮＵＭＡ構成を特定し、その論理ＮＵＭＡ構成と同じ論理ＮＵＭＡ構成を予備系サーバブレード１２４においてＬＰＡＲ＃３に割り当てることが可能か否かを、ＮＵＭＡ構成テーブル６０６を基に判断する（ステップ９００）。図４、図６及び図７の例によれば、この判断結果は否定となる。なぜなら、移行元ではノード＃２の物理メモリがＬＰＡＲ＃３に割り当てられていたが、図７のＮＵＭＡ構成テーブル６０６によれば、ノード＃２に属する物理メモリは全て既にＬＰＡＲ＃２に割り当て済であり、ノード＃２には割当て可能な物理メモリが無いからである。
　ステップ９００の判断結果が否定の場合（ステップ９００：Ｎｏ）、移行先ハイパバイザは、ＬＰＡＲ＃３の処理タイプが「loose」であるので（ステップ９０２：Ｎｏ、且つ、ステップ９０４：Ｎｏ）、ステップ９０５を実行する。ステップ９０５では、移行先ハイパバイザは、ＬＰＡＲ＃３に少なくとも１つの物理ＣＰＵと少なくとも１つの物理メモリを割り当てる。その結果、例えば図７に示すように、ノード＃０の２個の物理ＣＰＵとノード＃３の２個の物理メモリがＬＰＡＲ＃３に割り当てられる（図７の参照符号７４２及び７４１参照）。
　移行先ハイパバイザは、移行元ＬＰＡＲ構成テーブルと、全てのＬＰＡＲについてステップ８０３を行なった後のＮＵＭＡ構成テーブル６０６とを基に、予備系サーバブレード１２４でのＬＰＡＲ構成テーブルを生成し保持する。移行先ハイパバイザは、論理ＮＵＭＡ構成が割り当てられたＬＰＡＲを起動することができる。
　以上、一実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。例えば、処理タイプは、strict、mid、looseの３タイプより多くても少なくてもよい。また、例えば、上記実施形態では、移行元サーバブレードと移行先サーバブレードにおいて、ノード数（ＮＵＭＡノード数）が同じ（いずれも４つのノード）であるが、ノード数は異なっていてもよい。
１１３、１１４、１１５：現用系サーバブレード
１２４、１２５：予備系サーバブレード

 

Claims (7)

  1. 　複数のＮＵＭＡ（Non-Uniform　Memory　Access）ノードに対応付けられる複数の第１ＣＰＵと、前記複数のＮＵＭＡノードに対応付けられる複数の第１メモリと、前記複数の第１ＣＰＵ及び前記複数の第１メモリを複数の仮想計算機へ割り当てる第１仮想化機構とを有する第１物理計算機から、前記複数の仮想計算機のうちの移行対象である第１仮想計算機が移行される第２物理計算機であって、
    　複数のＮＵＭＡノードに対応付けられる複数の第２ＣＰＵと、
    　前記複数のＮＵＭＡノードに対応付けられる複数の第２メモリと、
    　前記複数の第２ＣＰＵ及び前記複数の第２メモリを管理する第２仮想化機構と
    を有し、
    　前記第２仮想化機構は、前記第１仮想計算機について、
    　　前記第１仮想計算機と第１ＣＰＵと第１メモリとＮＵＭＡノードとの対応関係を表す情報であるＮＵＭＡ構成情報を基に、前記第１仮想計算機に割り当てられている第１ＣＰＵから前記第１仮想計算機に割り当てられている物理メモリへのアクセスに関する値であるノードアクセス値を、前記第１仮想計算機に割り当てられている物理ＣＰＵが属する各ＮＵＭＡノードについて特定し、
    　　特定したノードアクセス値を基に、前記第１仮想計算機に第２ＣＰＵ及び第２メモリを割り当てる、
    物理計算機。
  2. 　前記第２仮想化機構は、前記第１仮想計算機についてノードアクセス値が特定されたＮＵＭＡノード毎に、特定されたノードアクセス値に基づく条件を満たすようなノードアクセス値となる第２ＣＰＵ及び第２メモリを特定し、特定した第２ＣＰＵ及び第２メモリを前記第１仮想計算機に割り当てる、
    請求項１記載の物理計算機。
  3. 　前記第１物理計算機について、ＮＵＭＡノードのノードアクセス値は、そのＮＵＭＡノードに属する第１ＣＰＵからアクセス先ノード内の第１メモリへのアクセスに関する値であるアクセス値と、そのＮＵＭＡノードに属する全ての第１ＣＰＵとアクセス先ノードに属する全ての第１メモリとの組合せ数とに基づく値であり、
    　前記第２物理計算機について、ＮＵＭＡノードのノードアクセス値は、そのＮＵＭＡノードに属する第２ＣＰＵからアクセス先ノード内の第２メモリへのアクセスに関する値であるアクセス値と、そのＮＵＭＡノードに属する全ての第２ＣＰＵとアクセス先ノードに属する全ての第２メモリとの組合せ数とに基づく値である、
    請求項２記載の物理計算機。
  4. 　前記アクセス値及び前記組合せ数は、ＮＵＭＡノードの複数のアクセス先ノードの各々について存在し、前記複数のアクセス先ノードは、ＮＵＭＡノード及びそのＮＵＭＡノード以外のＮＵＭＡノードであり、
    　ＮＵＭＡノードであるアクセス先ノードに対応したアクセス値は、そのＮＵＭＡノード以外のいずれかのＮＵＭＡノードであるアクセス先ノードに対応したアクセス値が意味するアクセス性能よりも高いアクセス性能を意味する、
    請求項３記載の物理計算機。
  5. 　前記複数の仮想計算機は、前記第１仮想計算機を含む２以上の仮想計算機を移行対象の仮想計算機として含み、
    　前記第２仮想化機構は、前記２以上の仮想計算機のうち、割り当て対象とする第２ＣＰＵ及び第２メモリに関する条件が最も厳しい移行ポリシーの仮想計算機から、優先的に、割り当てる第２ＣＰＵ及び第２メモリを特定する、
    請求項１記載の物理計算機。
  6. 　複数のＮＵＭＡ（Non-Uniform　Memory　Access）ノードに対応付けられる複数の第１ＣＰＵと、前記複数のＮＵＭＡノードに対応付けられる複数の第１メモリと、前記複数の第１ＣＰＵ及び前記複数の第１メモリを複数の仮想計算機へ割り当てる第１仮想化機構とを有する第１物理計算機から、前記複数の仮想計算機のうちの移行対象である第１仮想計算機を、複数のＮＵＭＡノードに対応付けられる複数の第２ＣＰＵと、前記複数のＮＵＭＡノードに対応付けられる複数の第２メモリと、前記複数の第２ＣＰＵ及び前記複数の第２メモリを管理する第２仮想化機構とを有する第２物理計算機に移行する仮想計算機移行方法であって、
    　前記第１仮想計算機と第１ＣＰＵと第１メモリとＮＵＭＡノードとの対応関係を表す情報であるＮＵＭＡ構成情報を基に、前記第１仮想計算機に割り当てられている第１ＣＰＵから前記第１仮想計算機に割り当てられている物理メモリへのアクセスに関する値であるノードアクセス値を、前記第１仮想計算機に割り当てられている物理ＣＰＵが属する各ＮＵＭＡノードについて特定し、
    　特定したノードアクセス値を基に、前記第１仮想計算機に第２ＣＰＵ及び第２メモリを割り当てる、
    仮想計算機移行方法。
  7. 　第１物理計算機と、
    　第２物理計算機と
    を有し、
    　前記第１物理計算機は、複数のＮＵＭＡ（Non-Uniform　Memory　Access）ノードに対応付けられる複数の第１ＣＰＵと、前記複数のＮＵＭＡノードに対応付けられる複数の第１メモリと、前記複数の第１ＣＰＵ及び前記複数の第１メモリを複数の仮想計算機へ割り当てる第１仮想化機構とを有し、
    　前記第２物理計算機は、複数のＮＵＭＡノードに対応付けられる複数の第２ＣＰＵと、前記複数のＮＵＭＡノードに対応付けられる複数の第２メモリと、前記複数の第２ＣＰＵ及び前記複数の第２メモリを管理する第２仮想化機構とを有し、
    　前記第２仮想化機構が、前記複数の仮想計算機のうちの移行対象であり前記第１物理計算機から前記第２物理計算機に移行される第１仮想計算機について、
    　　前記第１仮想計算機と第１ＣＰＵと第１メモリとＮＵＭＡノードとの対応関係を表す情報であるＮＵＭＡ構成情報を基に、前記第１仮想計算機に割り当てられている第１ＣＰＵから前記第１仮想計算機に割り当てられている物理メモリへのアクセスに関する値であるノードアクセス値を、前記第１仮想計算機に割り当てられている物理ＣＰＵが属する各ＮＵＭＡノードについて特定し、
    　　特定したノードアクセス値を基に、前記第１仮想計算機に第２ＣＰＵ及び第２メモリを割り当てる、
    計算機システム。

     
PCT/JP2014/065907 2014-06-16 2014-06-16 物理計算機及び仮想計算機移行方法 WO2015193947A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/065907 WO2015193947A1 (ja) 2014-06-16 2014-06-16 物理計算機及び仮想計算機移行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/065907 WO2015193947A1 (ja) 2014-06-16 2014-06-16 物理計算機及び仮想計算機移行方法

Publications (1)

Publication Number Publication Date
WO2015193947A1 true WO2015193947A1 (ja) 2015-12-23

Family

ID=54934980

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/065907 WO2015193947A1 (ja) 2014-06-16 2014-06-16 物理計算機及び仮想計算機移行方法

Country Status (1)

Country Link
WO (1) WO2015193947A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090313445A1 (en) * 2008-06-11 2009-12-17 Vmware, Inc. System and Method for Improving Memory Locality of Virtual Machines
JP2012521611A (ja) * 2009-03-26 2012-09-13 マイクロソフト コーポレーション 仮想マシン用非一様仮想メモリーアーキテクチャー

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090313445A1 (en) * 2008-06-11 2009-12-17 Vmware, Inc. System and Method for Improving Memory Locality of Virtual Machines
JP2012521611A (ja) * 2009-03-26 2012-09-13 マイクロソフト コーポレーション 仮想マシン用非一様仮想メモリーアーキテクチャー

Similar Documents

Publication Publication Date Title
US10891162B2 (en) Methods and apparatus to improve external resource allocation for hyper-converged infrastructures based on costs analysis
EP3140734B1 (en) Mechanism for providing external access to a secured networked virtualization environment
JP5039947B2 (ja) 多数の論理パーティションにわたって仮想入力／出力操作を分散させるためのシステム及び方法
US9569245B2 (en) System and method for controlling virtual-machine migrations based on processor usage rates and traffic amounts
JP5689526B2 (ja) マルチキュー・ネットワーク・アダプタの動的再構成によるリソース・アフィニティ
US11375014B1 (en) Provisioning of clustered containerized applications
EP2867772B1 (en) Dynamic resource allocation for virtual machines
US11734137B2 (en) System, and control method and program for input/output requests for storage systems
US20160019078A1 (en) Implementing dynamic adjustment of i/o bandwidth for virtual machines using a single root i/o virtualization (sriov) adapter
JP6458146B2 (ja) 計算機及びメモリ領域管理方法
US9916215B2 (en) System and method for selectively utilizing memory available in a redundant host in a cluster for virtual machines
US10691481B2 (en) System and method for detection of underprovisioning of memory in virtual machines
WO2015118679A1 (ja) 計算機、ハイパーバイザ、物理コアの割り当て方法
US20130185531A1 (en) Method and apparatus to improve efficiency in the use of high performance storage resources in data center
KR20200080458A (ko) 클라우드 멀티-클러스터 장치
US20110167067A1 (en) Classification of application commands
US10969959B2 (en) Effective resynchronization in virtual storage area network using dynamic partitioning and data deduplication techniques
US10447800B2 (en) Network cache deduplication analytics based compute cluster load balancer
US9891954B2 (en) Cluster resource management in a virtualized computing environment
JP2010205208A (ja) ホストコンピュータ、マルチパスシステム、パス割当方法およびプログラム
WO2015193947A1 (ja) 物理計算機及び仮想計算機移行方法
JP7107981B2 (ja) 計算機システム
JP2018133005A (ja) 制御装置及び制御方法
JP5504651B2 (ja) 仮想マシンシステム、情報処理装置、リソース管理方法、プログラム及び記録媒体
WO2018173300A1 (ja) Ｉ／ｏ制御方法およびｉ／ｏ制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14894889

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14894889

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP