JPWO2019003286A1 - Virtual machine management apparatus and management method - Google Patents

Virtual machine management apparatus and management method Download PDF

Info

Publication number
JPWO2019003286A1
JPWO2019003286A1 JP2019526421A JP2019526421A JPWO2019003286A1 JP WO2019003286 A1 JPWO2019003286 A1 JP WO2019003286A1 JP 2019526421 A JP2019526421 A JP 2019526421A JP 2019526421 A JP2019526421 A JP 2019526421A JP WO2019003286 A1 JPWO2019003286 A1 JP WO2019003286A1
Authority
JP
Japan
Prior art keywords
virtual
physical
virtual machine
machine
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019526421A
Other languages
Japanese (ja)
Other versions
JP6692994B2 (en
Inventor
裕人 戸口
赳史 佐野
早紀 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2019003286A1 publication Critical patent/JPWO2019003286A1/en
Application granted granted Critical
Publication of JP6692994B2 publication Critical patent/JP6692994B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)
  • Computer And Data Communications (AREA)

Abstract

【課題】再配置対象の仮想マシンを再配置した後においても複数の仮想マシン間において想定通りの通信性能を確保すること。【解決手段】物理マシン上で稼働する複数の仮想マシンを管理する管理装置であって、複数の仮想マシン間における通信容量に加えて、さらに物理マシンの物理構成要素をも考慮して、再配置対象の仮想マシンの配置を決定して配置する。[PROBLEMS] To secure expected communication performance between a plurality of virtual machines even after rearranging virtual machines to be rearranged. A management apparatus for managing a plurality of virtual machines operating on a physical machine, and rearranging in consideration of a physical component of the physical machine in addition to a communication capacity between the plurality of virtual machines Determine the placement of the target virtual machine and place it.

Description

本発明は、仮想マシンの管理装置及び管理方法に関し、特に、物理マシン上で稼働する仮想マシンを管理する技術に関する管理装置に適用して好適なものである。   The present invention relates to a virtual machine management apparatus and management method, and is particularly suitable for application to a management apparatus related to a technique for managing a virtual machine operating on a physical machine.

従来、複数の仮想マシンを複数の物理マシンに配置する際には、これら複数の仮想マシン間の通信容量を考慮して可能な限り、同一の物理マシン上にこれら複数の仮想マシンを配置するようにしている(特許文献1参照)。   Conventionally, when a plurality of virtual machines are arranged on a plurality of physical machines, the plurality of virtual machines are arranged on the same physical machine as much as possible in consideration of the communication capacity between the plurality of virtual machines. (See Patent Document 1).

特開2010−140134号公報JP 2010-140134 A

しかしながら、これら複数の仮想マシンが利用する物理サーバの構成要素が考慮されていないため、一部の仮想マシンを再配置しようとした際には、当該一部の仮想マシンが再配置された後にこれら複数の仮想マシン間において想定通りの通信性能を確実に確保できる訳ではなかった。   However, the physical server components used by these multiple virtual machines are not taken into account, so when attempting to relocate some virtual machines, these virtual machines must be relocated before relocating. Communication performance as expected between multiple virtual machines could not be ensured reliably.

本発明は以上の点を考慮してなされたもので、再配置対象の仮想マシンを再配置後にも複数の仮想マシン間において想定通りの通信性能を確保可能な仮想マシンの管理装置及び管理方法を提案しようとするものである。   The present invention has been made in consideration of the above points, and provides a virtual machine management apparatus and management method capable of ensuring the expected communication performance between a plurality of virtual machines even after rearranging the virtual machines to be rearranged. It is what we are going to propose.

かかる課題を解決するため、本発明においては、物理マシン上で稼働されている複数の仮想マシンの配置を管理する仮想マシンの管理装置であって、前記複数の仮想マシン間における通信容量を管理する通信情報管理部と、前記複数の仮想マシン間における前記物理マシンの物理構成要素を管理する物理構成要素管理部と、前記通信容量及び前記物理構成要素に応じて、前記複数の仮想マシンのうち再配置対象の仮想マシンの配置先を決定する配置先決定部と、を備えることを特徴とする。   In order to solve such a problem, in the present invention, a virtual machine management apparatus that manages the arrangement of a plurality of virtual machines running on a physical machine, and manages the communication capacity between the plurality of virtual machines. A communication information management unit, a physical component management unit that manages physical components of the physical machine among the plurality of virtual machines, and a virtual machine among the plurality of virtual machines according to the communication capacity and the physical components. A placement destination determination unit that determines a placement destination of a placement target virtual machine.

また、本発明においては、物理マシン上で稼働されている複数の仮想マシンの配置を管理する管理装置によって実行される仮想マシンの管理方法であって、前記管理装置が、前記複数の仮想マシン間における通信容量を管理する通信情報管理ステップと、前記管理装置が、前記複数の仮想マシン間における前記物理マシンの物理構成要素を管理する物理構成要素管理ステップと、前記管理装置が、前記通信容量及び前記物理構成要素に応じて、前記複数の仮想マシンのうち再配置対象の仮想マシンの配置先を決定する配置先決定ステップと、を有することを特徴とする。   Further, according to the present invention, there is provided a virtual machine management method executed by a management apparatus that manages the arrangement of a plurality of virtual machines that are operating on a physical machine, wherein the management apparatus includes a plurality of virtual machines. A communication information management step for managing a communication capacity in the network, a physical component management step in which the management device manages a physical component of the physical machine between the plurality of virtual machines, and the management device includes the communication capacity and An arrangement destination determining step of determining an arrangement destination of a virtual machine to be rearranged among the plurality of virtual machines according to the physical component.

本発明によれば、再配置対象の仮想マシンを再配置した後にも複数の仮想マシン間において想定通りの通信性能を確保することができる。   According to the present invention, it is possible to ensure communication performance as expected between a plurality of virtual machines even after rearranging the virtual machines to be rearranged.

本実施の形態による仮想マシンの管理装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the management apparatus of the virtual machine by this Embodiment. 本実施の形態による仮想マシンの管理装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the management apparatus of the virtual machine by this Embodiment. 図2に示す物理マシンID管理テーブルの構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a physical machine ID management table illustrated in FIG. 2. 図2に示す物理CPU管理テーブルの構成例を示す図である。It is a figure which shows the structural example of the physical CPU management table shown in FIG. 図2に示す物理メモリ管理テーブルの構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a physical memory management table illustrated in FIG. 2. 図2に示す仮想スイッチ管理テーブルの構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a virtual switch management table illustrated in FIG. 2. 図2に示す物理IOインターフェイス管理テーブルの構成例を示す図である。It is a figure which shows the structural example of the physical IO interface management table shown in FIG. 図2に示す仮想マシンID管理テーブルの構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a virtual machine ID management table illustrated in FIG. 2. 図2に示す仮想CPU管理テーブルの構成例を示す図である。It is a figure which shows the structural example of the virtual CPU management table shown in FIG. 図2に示す仮想メモリ管理テーブルの構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a virtual memory management table illustrated in FIG. 2. 図2に示す仮想IOインターフェイス接続先仮想スイッチ管理テーブルの構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a virtual IO interface connection destination virtual switch management table illustrated in FIG. 2. 図2に示す仮想マシン配置優先度定義テーブルの構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a virtual machine arrangement priority definition table illustrated in FIG. 2. 図2に示す仮想マシン間通信情報管理テーブルの構成例を示す図である。It is a figure which shows the structural example of the communication information management table between virtual machines shown in FIG. 図2に示す再配置対象仮想マシンテーブルの構成例を示す図である。It is a figure which shows the structural example of the reallocation object virtual machine table shown in FIG. 図2に示す配置候補テーブルの一例を示す図である。It is a figure which shows an example of the arrangement | positioning candidate table shown in FIG. 図2に示す仮想マシン配置優先度定義テーブルの構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a virtual machine arrangement priority definition table illustrated in FIG. 2. 図2に示す仮想マシン間通信感覚定義テーブルの構成例を示す図である。It is a figure which shows the structural example of the communication feeling definition table between virtual machines shown in FIG. 計測処理の一例を示すフローチャートである。It is a flowchart which shows an example of a measurement process. 仮想マシン再配置処理の一例を示すフローチャートである。It is a flowchart which shows an example of a virtual machine rearrangement process. 図19に示す仮想マシン再配置処理の続きを示すフローチャートである。FIG. 20 is a flowchart showing a continuation of the virtual machine rearrangement process shown in FIG. 19. FIG.

以下、図面について、本発明の一実施の形態について詳述する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

(1)本実施の形態による仮想マシン管理システム
(1−1)システム構成
図1及び図2は、本実施の形態による計算機システム1の概略構成を示す。なお、図1と図2とは本来1つの図面として表されるべきであるが、説明の関係上分けて表されている。図1は、主として、第1の物理マシン121A〜第N(N:自然数)の物理マシン121Nの構成例を表しており、図2は、主として、記憶部111が接続された管理サーバ101の構成例を表している。
(1) Virtual Machine Management System According to this Embodiment (1-1) System Configuration FIGS. 1 and 2 show a schematic configuration of a computer system 1 according to this embodiment. Although FIG. 1 and FIG. 2 should originally be represented as one drawing, they are represented separately for the sake of explanation. 1 mainly illustrates a configuration example of the first physical machine 121A to the Nth (N: natural number) physical machine 121N, and FIG. 2 mainly illustrates the configuration of the management server 101 to which the storage unit 111 is connected. An example is shown.

計算機システム1は、ネットワーク131によって接続された、少なくとも1台の物理マシンとして図1に例示する複数の物理マシン121A〜121N、及び、図2に示す管理サーバ101を備えている。これら複数の物理マシン121A〜121Nは互いにほぼ同様な構成であるため、以下の構成説明においては、他の物理マシンに言及する必要がある場合を除き、主として第1の物理マシン121Aを例示する。   The computer system 1 includes a plurality of physical machines 121A to 121N illustrated in FIG. 1 as the at least one physical machine connected by the network 131, and the management server 101 illustrated in FIG. Since the plurality of physical machines 121A to 121N have substantially the same configuration, the following description of the configuration mainly exemplifies the first physical machine 121A unless it is necessary to refer to other physical machines.

第1の物理マシン121Aは、例えば、3つの仮想マシン122A1,122A2,122A3、仮想化機関部123A、NUMA0側の物理メモリ124A0、0側の物理CPUソケット125A0及びIOインターフェイス126A0、並びにNUMA1側の物理メモリ124A1、1側の物理CPUソケット125N1及びIOインターフェイス126N0を備えている。   The first physical machine 121A includes, for example, three virtual machines 122A1, 122A2, 122A3, a virtualization engine unit 123A, a NUMA0-side physical memory 124A0, a 0-side physical CPU socket 125A0 and an IO interface 126A0, and a NUMA1-side physical. A memory 124A1, a physical CPU socket 125N1 on one side, and an IO interface 126N0 are provided.

これらNUMA0側の物理メモリ124A0、0側の物理CPUソケット125A0及びIOインターフェイス126A0が1つのノードを構成している一方、それらNUMA1側の物理メモリ124A1、1側の物理CPUソケット125N1及びIOインターフェイス126N0が別の1つのノードを構成している。   The NUMA0 side physical memory 124A0, the 0 side physical CPU socket 125A0 and the IO interface 126A0 constitute one node, while the NUMA1 side physical memory 124A1 and the 1 side physical CPU socket 125N1 and the IO interface 126N0 Another node is configured.

NUMA0側の物理メモリ124A0は、0側の物理CPUソケット125A0に装着された中央演算装置である物理CPUの作業領域として使用される。IOインターフェイス126A0は、物理CPUと外部との間におけるインターフェイスであり、例えばいわゆるPCI(Peripheral Component InterConnect)バスである。一方、NUMA1側の物理メモリ124A1は、1側の物理CPUソケット125N1に装着された中央演算装置である物理CPUが作業領域として使用される。IOインターフェイス126N0は、物理CPUと外部との間におけるインターフェイスであり、例えばいわゆるPCIバスである。   The NUMA0-side physical memory 124A0 is used as a work area for a physical CPU that is a central processing unit mounted in the 0-side physical CPU socket 125A0. The IO interface 126A0 is an interface between a physical CPU and the outside, for example, a so-called PCI (Peripheral Component Interconnect) bus. On the other hand, in the physical memory 124A1 on the NUMA1 side, a physical CPU that is a central processing unit mounted on the physical CPU socket 125N1 on the one side is used as a work area. The IO interface 126N0 is an interface between the physical CPU and the outside, for example, a so-called PCI bus.

仮想化機関部123Aは、複数の仮想CPUコア131A、複数の仮想メモリ132A、複数の仮想スイッチ133A及び複数の仮想IOインターフェイス134Aを備えている。   The virtualization engine unit 123A includes a plurality of virtual CPU cores 131A, a plurality of virtual memories 132A, a plurality of virtual switches 133A, and a plurality of virtual IO interfaces 134A.

なお、以下においては、仮想マシン122A1などについて特に特定する必要がない場合、符号を省略して説明する場合がある。   In the following description, when there is no need to specify the virtual machine 122A1 or the like, the description may be omitted.

図2に示す管理サーバ101は、仮想マシン構成管理部102、物理マシン構成管理部103、仮想マシン間通信情報管理部104、仮想マシン配置優先度変更部105及び仮想マシン再配置実施部106を備えている。   The management server 101 shown in FIG. 2 includes a virtual machine configuration management unit 102, a physical machine configuration management unit 103, an inter-virtual machine communication information management unit 104, a virtual machine placement priority change unit 105, and a virtual machine relocation execution unit 106. ing.

仮想マシン構成管理部102は、複数の仮想マシンの構成を管理する機能を有する。   The virtual machine configuration management unit 102 has a function of managing the configurations of a plurality of virtual machines.

物理マシン構成管理部103は、複数の物理マシン121A〜121Nを管理する機能を有する。   The physical machine configuration management unit 103 has a function of managing a plurality of physical machines 121A to 121N.

仮想マシン間通信情報管理部104は、第1の仮想マシン122A1,122A2,122A3〜第Nの仮想マシン122N1,122N2,122N3の間における各通信情報を管理する機能を有する。   The inter-virtual machine communication information management unit 104 has a function of managing communication information between the first virtual machines 122A1, 122A2, and 122A3 to the Nth virtual machines 122N1, 122N2, and 122N3.

仮想マシン配置優先度変更部105は、第1の仮想マシン122A1,122A2,122A3〜第Nの仮想マシン122N1,122N2,122N3の間において配置に応じて見込みうる通信容量の程度を示す配置優先度を変更する機能を有する。   The virtual machine arrangement priority changing unit 105 sets an arrangement priority indicating the degree of communication capacity that can be expected according to the arrangement between the first virtual machines 122A1, 122A2, and 122A3 to the Nth virtual machines 122N1, 122N2, and 122N3. Has the function to change.

仮想マシン再配置実施部106は、第1の仮想マシン122A1,122A2,122A3〜第Nの仮想マシン122N1,122N2,122N3のいずれかを再度配置し直す機能を有する。仮想マシン再配置実施部106の詳細については後述する。   The virtual machine rearrangement execution unit 106 has a function of rearranging any one of the first virtual machines 122A1, 122A2, and 122A3 to the Nth virtual machines 122N1, 122N2, and 122N3. Details of the virtual machine rearrangement execution unit 106 will be described later.

一方、記憶部111は、例えばデータベース装置であり、次のようなテーブルを記憶している。つまり、記憶部111は、物理マシン関連テーブル群として、物理マシンID管理テーブル151、物理CPU管理テーブル152、物理メモリ管理テーブル153、仮想スイッチ管理テーブル154及び物理IOインターフェイス管理テーブル155を備えている。この記憶部111は、仮想マシン関連テーブル群として、仮想マシンID管理テーブル141、仮想CPU管理テーブル142、仮想メモリ管理テーブル143、仮想IOインターフェイス接続先仮想スイッチ管理テーブル144、仮想マシン配置先物理マシン管理テーブル145及び仮想マシン間通信情報管理テーブル146を備えている。さらに記憶部111は、再配置テーブル群として、再配置対象仮想マシンテーブル161及び配置候補テーブル162を備えている。この記憶部111は、定義テーブル群として、仮想マシン配置優先度定義テーブル171及び仮想マシン間通信間隔定義テーブル172を備えている。   On the other hand, the storage unit 111 is a database device, for example, and stores the following table. That is, the storage unit 111 includes a physical machine ID management table 151, a physical CPU management table 152, a physical memory management table 153, a virtual switch management table 154, and a physical IO interface management table 155 as a physical machine related table group. The storage unit 111 includes a virtual machine ID management table 141, a virtual CPU management table 142, a virtual memory management table 143, a virtual IO interface connection destination virtual switch management table 144, a virtual machine placement destination physical machine management as a virtual machine related table group. A table 145 and a virtual machine communication information management table 146 are provided. The storage unit 111 further includes a rearrangement target virtual machine table 161 and an arrangement candidate table 162 as a rearrangement table group. The storage unit 111 includes a virtual machine arrangement priority definition table 171 and a virtual machine communication interval definition table 172 as a definition table group.

(1−2)テーブル構成
図3は、物理マシンID管理テーブル151の構成例を示す。物理マシンID管理テーブル151は、そのカラムとして、物理マシンIDを有し、本システム内に存在している物理マシンの識別子を管理している。
(1-2) Table Configuration FIG. 3 shows a configuration example of the physical machine ID management table 151. The physical machine ID management table 151 has a physical machine ID as its column, and manages the identifiers of physical machines existing in the system.

図4は、物理CPU管理テーブル152の構成例を示す。物理CPU管理テーブル152は、そのカラムとして、物理マシンID、CPUソケット番号及ぶ1CPUソケット当りのコア数を有し、本システム内に存在している物理マシンごとに、CPUソケット番号及び1CPUソケット当りの(CPU)コア数を管理している。   FIG. 4 shows a configuration example of the physical CPU management table 152. The physical CPU management table 152 has, as its columns, the physical machine ID, the CPU socket number, and the number of cores per CPU socket. For each physical machine existing in this system, the CPU socket number and the CPU socket number. (CPU) Managing the number of cores.

図5は、物理メモリ管理テーブル153の構成例を示す。物理メモリ管理テーブル153は、そのカラムとして、物理マシンID、CPUソケット番号、NUMA番号及び1NUMA当りのメモリ容量(GB)を有し、物理マシンごとの物理構成を管理している。   FIG. 5 shows a configuration example of the physical memory management table 153. The physical memory management table 153 includes, as its columns, a physical machine ID, a CPU socket number, a NUMA number, and a memory capacity (GB) per 1 NUMA, and manages a physical configuration for each physical machine.

図6は、仮想スイッチ管理テーブル154の構成例を示す。仮想スイッチ管理テーブル154は、そのカラムとして、物理マシンID、仮想スイッチ、送信帯域[Gbps]及び受信帯域[Gbps]を有し、物理マシンの仮想スイッチごとの送信帯域及び受信帯域を管理している。   FIG. 6 shows a configuration example of the virtual switch management table 154. The virtual switch management table 154 has, as its columns, a physical machine ID, a virtual switch, a transmission band [Gbps] and a reception band [Gbps], and manages the transmission band and the reception band for each virtual switch of the physical machine. .

図7は、物理IOインターフェイス管理テーブル155の構成例を示す。物理IOインターフェイス管理テーブル155は、そのカラムとして、物理マシンID、IOインターフェイス番号、CPUソケット番号、NUMA番号、仮想スイッチ、送信帯域[Gbps]及び受信帯域[Gbps]を有し、IOインターフェイスに関する物理構成を管理している。   FIG. 7 shows a configuration example of the physical IO interface management table 155. The physical IO interface management table 155 includes, as its columns, a physical machine ID, an IO interface number, a CPU socket number, a NUMA number, a virtual switch, a transmission bandwidth [Gbps], and a reception bandwidth [Gbps]. Is managing.

図8は、仮想マシンID管理テーブル141の構成例を示す。仮想マシンID管理テーブル141は、そのカラムとして、仮想マシンIDを有し、本システム内に存在する各仮想マシンを管理する。   FIG. 8 shows a configuration example of the virtual machine ID management table 141. The virtual machine ID management table 141 has a virtual machine ID as its column, and manages each virtual machine existing in this system.

図9は、仮想CPU管理テーブル142の構成例を示す。仮想CPU管理テーブル142は、そのカラムとして、仮想マシンID、仮想CPU数及び仮想CPUアフィニティを有し、仮想メモリの構成を管理する。   FIG. 9 shows a configuration example of the virtual CPU management table 142. The virtual CPU management table 142 has, as its columns, a virtual machine ID, the number of virtual CPUs, and virtual CPU affinity, and manages the configuration of the virtual memory.

図10は、仮想メモリ管理テーブル143の構成例を示す。仮想メモリ管理テーブル143は、そのカラムとして、仮想マシンID、仮想メモリ容量[GB]及びNUMAアフィニティを有し、仮想マシンごとに、仮想メモリの構成を管理する。   FIG. 10 shows a configuration example of the virtual memory management table 143. The virtual memory management table 143 has virtual machine ID, virtual memory capacity [GB], and NUMA affinity as its columns, and manages the configuration of virtual memory for each virtual machine.

図11は、仮想IOインターフェイス接続先仮想スイッチ管理テーブル144の構成例を示す。仮想IOインターフェイス接続先仮想スイッチ管理テーブル144は、そのカラムとして、仮想マシンID、仮想IDインターフェイス番号及び接続先仮想スイッチを有し、仮想マシンごとに、インターフェイス関係の構成を管理する。   FIG. 11 shows a configuration example of the virtual IO interface connection destination virtual switch management table 144. The virtual IO interface connection destination virtual switch management table 144 has a virtual machine ID, a virtual ID interface number, and a connection destination virtual switch as its columns, and manages the interface-related configuration for each virtual machine.

図12は、仮想マシン配置先物理マシン管理テーブル145の構成例を示す。仮想マシン配置先物理マシン管理テーブル145は、そのカラムとして、仮想マシンID及び物理マシンIDを有し、各物理マシン上で稼働する各仮想マシンを管理する。   FIG. 12 shows a configuration example of the virtual machine placement destination physical machine management table 145. The virtual machine placement destination physical machine management table 145 has a virtual machine ID and a physical machine ID as its columns, and manages each virtual machine operating on each physical machine.

図13は、仮想マシン間通信情報管理テーブル146の構成例を示す。仮想マシン間通信情報管理テーブル146は、そのカラムとして、通信ID、送信元仮想マシンID、送信索仮想マシンID、通信容量[Gbps]、配置優先度、現在配置及び計測開始時刻を有する。   FIG. 13 shows a configuration example of the inter-virtual machine communication information management table 146. The inter-virtual machine communication information management table 146 includes, as columns, a communication ID, a transmission source virtual machine ID, a transmission source virtual machine ID, a communication capacity [Gbps], an arrangement priority, a current arrangement, and a measurement start time.

この仮想マシン間通信情報管理テーブル146は、複数の通信を互いに識別するための通信IDごとに、送信元仮想マシンIDが示す送信元仮想マシンと送信先仮想マシンIDが示す送信先仮想マシンとの間における、通信容量[Gbps]、配置優先度、現在の配置を表す値である現在配置、及び、計測開始時刻を管理する。   This inter-virtual machine communication information management table 146 includes, for each communication ID for identifying a plurality of communications, a transmission source virtual machine indicated by the transmission source virtual machine ID and a transmission destination virtual machine indicated by the transmission destination virtual machine ID. The communication capacity [Gbps], the arrangement priority, the current arrangement which is a value representing the current arrangement, and the measurement start time are managed.

図14は、再配置対象仮想マシンテーブル161の構成例を示す。再配置対象仮想マシンテーブル161は、そのカラムとして、通信ID、送信元仮想マシンID、送信索仮想マシンID、通信容量[Gbps]、配置優先度、現在配置及び計測開始時刻を有する。再配置対象仮想マシンテーブル161のカラムは、上記仮想マシン間通信情報管理テーブル146のカラムと同一となっている。   FIG. 14 shows a configuration example of the reallocation target virtual machine table 161. The reallocation target virtual machine table 161 includes, as its columns, a communication ID, a transmission source virtual machine ID, a transmission source virtual machine ID, a communication capacity [Gbps], an arrangement priority, a current arrangement, and a measurement start time. The columns of the reallocation target virtual machine table 161 are the same as the columns of the inter-virtual machine communication information management table 146.

再配置対象仮想マシンテーブル161は、再配置対象の仮想マシンのみに関する情報を管理する点が、仮想マシン間通信情報管理テーブル146とは異なっている。   The rearrangement target virtual machine table 161 is different from the inter-virtual machine communication information management table 146 in that the information about only the rearrangement target virtual machine is managed.

図15は、配置候補テーブル162の構成例を示す。配置候補テーブル162は、そのカラムとして、通信ID、送信元仮想マシンID、送信先仮想マシンID、物理マシンID、CPUソケット番号、NUMA番号及び仮想スイッチを有する。   FIG. 15 shows a configuration example of the arrangement candidate table 162. The placement candidate table 162 includes, as its columns, a communication ID, a transmission source virtual machine ID, a transmission destination virtual machine ID, a physical machine ID, a CPU socket number, a NUMA number, and a virtual switch.

この配置候補テーブル162は、通信IDごとに、ある物理マシン上への配置候補としての送信元仮想マシンと送信先仮想マシンとの組み合わせを管理する。   This arrangement candidate table 162 manages combinations of a transmission source virtual machine and a transmission destination virtual machine as arrangement candidates on a certain physical machine for each communication ID.

図16は、仮想マシン配置優先度定義テーブル171の構成例を示す。仮想マシン配置優先度定義テーブル171は、そのカラムとして、配置状態及び配置優先度を有し、物理マシン上への仮想マシンの配置状態の優先度(配置優先度)を管理している。   FIG. 16 shows a configuration example of the virtual machine arrangement priority definition table 171. The virtual machine placement priority definition table 171 has placement status and placement priority as its columns, and manages the priority (placement priority) of the placement status of the virtual machine on the physical machine.

図17は、仮想マシン間通信間隔定義テーブル172の構成例を示す。仮想マシン間通信間隔定義テーブル172は、そのカラムとして、通信ID及び取得間隔[分]を有し、通信IDが表す通信ごとの取得間隔を管理する。なお、この取得間隔は、後述する計測処理(図18参照)において用いられる時間間隔である。   FIG. 17 shows a configuration example of the inter-virtual machine communication interval definition table 172. The inter-virtual machine communication interval definition table 172 has a communication ID and an acquisition interval [minute] as its columns, and manages the acquisition interval for each communication represented by the communication ID. This acquisition interval is a time interval used in a measurement process (see FIG. 18) described later.

(2)仮想マシンの管理方法
本実施の形態による計算機システム1は以上のような構成であり、次に計算機システム1の動作例について説明する。本実施の形態では、計測処理が実行された後、仮想マシン再配置処理が実行される。
(2) Virtual Machine Management Method The computer system 1 according to this embodiment has the above-described configuration. Next, an operation example of the computer system 1 will be described. In the present embodiment, after the measurement process is executed, the virtual machine rearrangement process is executed.

(2−1)計測処理
図18は、計測処理の一例を示す。この計測処理では、時間の経過とともに、後述する配置優先度を引き上げるべきか維持するべきか引き下げるべきかを判定している。
(2-1) Measurement Process FIG. 18 shows an example of the measurement process. In this measurement process, with the passage of time, it is determined whether to increase or maintain the arrangement priority described later.

管理サーバ101では、仮想マシン間通信情報管理部104が、仮想マシン間通信間隔定義テーブル172(図17参照)に記録された通信IDに対応する取得間隔[分]を読み出し設定する(ステップS1)。管理サーバ101は、この取得間隔ごとに実際に通信容量(以下「実測通信容量」という)を計測する(ステップS2)。   In the management server 101, the inter-virtual machine communication information management unit 104 reads and sets the acquisition interval [minute] corresponding to the communication ID recorded in the inter-virtual machine communication interval definition table 172 (see FIG. 17) (step S1). . The management server 101 actually measures the communication capacity (hereinafter referred to as “measured communication capacity”) at each acquisition interval (step S2).

次に管理サーバ101では、仮想マシン間通信情報管理部104が、仮想マシン間通信情報管理テーブル146(図13参照)から通信IDごとに最新の通信容量[Gbps]及び現在配置を取得する(ステップS3)。   Next, in the management server 101, the inter-virtual machine communication information management unit 104 obtains the latest communication capacity [Gbps] and the current arrangement for each communication ID from the inter-virtual machine communication information management table 146 (see FIG. 13) (steps). S3).

次に管理サーバ101では、仮想マシン配置優先度変更部105が、ステップS2において取得した実測通信容量と、ステップS3において取得した最新の通信容量とを比較する(ステップS4)。   Next, in the management server 101, the virtual machine arrangement priority changing unit 105 compares the actually measured communication capacity acquired in step S2 with the latest communication capacity acquired in step S3 (step S4).

その比較の結果、|最新の通信容量−実測通信容量|>しきい値であり、かつ、最新の通信容量<実測通信容量である場合(通信容量が減った場合)、管理サーバ101では、仮想マシン配置優先度変更部105が、ステップS3において取得した現在配置を示す値から1段階下げた(1減算した)値を保持する(ステップS5)。   As a result of the comparison, if | the latest communication capacity−actual communication capacity |> threshold and the latest communication capacity <actual communication capacity (when the communication capacity decreases), the management server 101 uses the virtual The machine arrangement priority changing unit 105 holds a value that is lowered by one level (subtracted by one) from the value indicating the current arrangement acquired in step S3 (step S5).

その比較の結果、|最新の通信容量−実測通信容量|<=しきい値である場合(通信容量が同じ場合)、管理サーバ101では、仮想マシン配置優先度変更部105が、ステップS3において取得した現在配置を示す値をそのまま保持する(ステップS6)。   As a result of the comparison, when | the latest communication capacity−actually measured communication capacity | <= threshold (when the communication capacity is the same), in the management server 101, the virtual machine arrangement priority changing unit 105 acquires in step S3. The value indicating the current arrangement is retained as it is (step S6).

その比較の結果、|最新の通信容量−実測通信容量|>しきい値であり、かつ、最新の通信容量>実測通信容量である場合(通信容量が増えた場合)、管理サーバ101では、仮想マシン配置優先度変更部105が、ステップS3において取得した現在配置を表す値から1段階上げた値を保持する(ステップS7)。   As a result of the comparison, when | the latest communication capacity−the actual communication capacity |> threshold and the latest communication capacity> the actual measurement communication capacity (when the communication capacity increases), the management server 101 uses the virtual The machine arrangement priority changing unit 105 holds a value that is one step higher than the value representing the current arrangement acquired in step S3 (step S7).

次に管理サーバ101では、仮想マシン配置優先度変更部105が、仮想マシン間通信情報管理テーブル146(図13参照)に、ステップS5〜ステップS7において記録した配置優先度、ステップS2において取得した実測通信容量、及び、ステップS3において取得した現在配置を新規登録する(ステップS8)。   Next, in the management server 101, the virtual machine placement priority changing unit 105 places the placement priority recorded in step S5 to step S7 in the inter-virtual machine communication information management table 146 (see FIG. 13) and the actual measurement obtained in step S2. The communication capacity and the current arrangement acquired in step S3 are newly registered (step S8).

以上のように管理サーバ101では、仮想マシン配置優先度変更部105が、計測処理によって複数の仮想マシン間の通信容量の差である「最新の通信容量−実測通信容量」と、「しきい値」との大小関係に応じて、すなわち、異なる時間に計測された複数の仮想マシン間の通信容量の増減に応じて配置優先度を更新している。このようにすると、複数の仮想マシン間の通信容量が少なくとも維持されるように再配置対象の仮想マシンを物理マシンに配置させることができる。   As described above, in the management server 101, the virtual machine arrangement priority changing unit 105 performs the “latest communication capacity−measured communication capacity”, which is a difference in communication capacity between a plurality of virtual machines by the measurement process, and “threshold value”. ", The placement priority is updated according to the increase or decrease of the communication capacity between a plurality of virtual machines measured at different times. In this way, the virtual machine to be rearranged can be arranged in the physical machine so that the communication capacity between the plurality of virtual machines is maintained at least.

(2−2)仮想マシン再配置処理
図19は、仮想マシン再配置処理の一例を示す。管理サーバ101では、仮想マシン間通信情報管理部104が、仮想マシン間通信情報管理テーブル146(図13参照)から、通信IDごとに、送信元仮想マシンID、送信先仮想マシンID、通信容量、配置優先度、現在配置及び計測開始時刻を取得する(ステップS101)。
(2-2) Virtual Machine Relocation Processing FIG. 19 shows an example of virtual machine relocation processing. In the management server 101, the inter-virtual machine communication information management unit 104 determines, for each communication ID, from the inter-virtual machine communication information management table 146 (see FIG. 13), a transmission source virtual machine ID, a transmission destination virtual machine ID, a communication capacity, The placement priority, the current placement, and the measurement start time are acquired (step S101).

管理サーバ101は、ステップS112において取得した情報のうち、通信IDごとに計測開始時刻が最新である情報を対象に仮想マシンの再配置の実施を開始する(ステップS102)。本実施の形態では、管理サーバ101が、13:00を対象に仮想マシンの再配置を実施することを例示する。   The management server 101 starts relocation of the virtual machine for information with the latest measurement start time for each communication ID among the information acquired in step S112 (step S102). In the present embodiment, the management server 101 exemplifies relocation of virtual machines for 13:00.

管理サーバ101では、仮想マシン間通信情報管理部104が、仮想マシン間通信情報管理テーブル146(図13参照)において計測開始時刻が例えば2017年02月01日の13:00:00に該当する情報について配置優先度を基に降順にソートし(ステップS103)、ソート後の情報を再配置対象仮想マシンテーブル161(図14参照)に格納する。   In the management server 101, the inter-virtual machine communication information management unit 104 determines that the measurement start time corresponds to, for example, 13:00 on February 01, 2017 in the inter-virtual machine communication information management table 146 (see FIG. 13). Are sorted in descending order based on the placement priority (step S103), and the sorted information is stored in the relocation target virtual machine table 161 (see FIG. 14).

次に管理サーバ101では、仮想マシン再配置実施部106が、再配置対象仮想マシンテーブル161に格納された情報のうち、配置優先度が同一である仮想マシンの組み合わせを別の特定優先度(例えば上位で操作するアプリケーションの優先度)に従って再度ソートする(ステップS104)。   Next, in the management server 101, the virtual machine relocation execution unit 106 selects a combination of virtual machines having the same placement priority from the information stored in the relocation target virtual machine table 161 with another specific priority (for example, Sorting is performed again according to the priority of the application operated at the upper level (step S104).

次に管理サーバ101では、仮想マシン再配置実施部106が、上記特定優先度が同一か否か判定し(ステップS105)、上記特定優先度が同一である場合、ユニークなIDに従って再度昇順にソートする(ステップS106)。   Next, in the management server 101, the virtual machine rearrangement execution unit 106 determines whether or not the specific priority is the same (step S105), and when the specific priority is the same, sort again in ascending order according to the unique ID. (Step S106).

以下、まず、管理サーバ101では、仮想マシン再配置実施部106が、複数の仮想マシンのうち送信先仮想マシンの再配置を開始する(ステップS107)。なお、後述するステップS116以降は複数の仮想マシンのうち送信元仮想マシンに関する処理である。   Hereinafter, first, in the management server 101, the virtual machine rearrangement execution unit 106 starts rearrangement of a destination virtual machine among a plurality of virtual machines (step S107). Note that steps after step S116, which will be described later, are processes related to the transmission source virtual machine among the plurality of virtual machines.

まず、管理サーバ101では、仮想マシン再配置実施部106が、仮想CPUが物理CPUに収まるか否かについて確認する(ステップS108)。具体的には、管理サーバ101では、仮想マシン構成管理部102が、仮想CPU管理テーブル142(図9参照)を参照してこの仮想マシンの仮想マシンIDに対応する仮想CPU数を取得するとともに、物理CPU管理テーブル152(図4参照)を参照して上記仮想CPU数が収まるCPUソケット番号及び物理マシンIDを取得する。   First, in the management server 101, the virtual machine rearrangement execution unit 106 checks whether or not the virtual CPU can be accommodated in the physical CPU (step S108). Specifically, in the management server 101, the virtual machine configuration management unit 102 refers to the virtual CPU management table 142 (see FIG. 9) to acquire the number of virtual CPUs corresponding to the virtual machine ID of the virtual machine, With reference to the physical CPU management table 152 (see FIG. 4), a CPU socket number and a physical machine ID in which the number of virtual CPUs is contained are acquired.

管理サーバ101では、仮想マシン構成管理部102が、ステップS108において上記仮想CPUが収まるCPUソケットがないと判定された場合には、収納可能な物理CPUが最も多いCPUソケット番号及び物理マシンIDを取得する一方(ステップS109)、ステップS8において仮想CPUが収まるCPUソケットがあると判定された場合には、このようなステップS9を実行することなく、次のようなステップS110を実行する。   In the management server 101, if it is determined in step S108 that there is no CPU socket in which the virtual CPU can be accommodated, the virtual machine configuration management unit 102 acquires the CPU socket number and physical machine ID with the largest number of physical CPUs that can be stored. On the other hand (step S109), if it is determined in step S8 that there is a CPU socket in which the virtual CPU can be accommodated, the following step S110 is executed without executing step S9.

次に管理サーバ101では、仮想マシン構成管理部102が、仮想メモリ容量が物理メモリ容量に収まるか否かを確認する(ステップS110)。具体的には、仮想マシン構成管理部102が、仮想マシンの仮想メモリ容量を仮想メモリ管理テーブル143(図10参照)から確認する。さらに管理サーバ101では、物理マシン構成管理部103が、物理メモリ管理テーブル153(図5参照)を参照して、上記ステップS8またはステップS9において取得した、物理マシンIDとCPUソケット番号との組み合わせに一致する情報を取得する。さらに管理サーバ101では、物理マシン構成管理部103が、このように取得した情報のうちから仮想メモリ容量が収まるNUMA番号及び物理マシンIDを取得する。なお、このような処理を実行するのは、仮想メモリと仮想CPUとを極力同一ノードに配置させた方が送信元仮想マシンと送信先仮想マシンとの間における通信容量などの通信条件が良好なためである。   Next, in the management server 101, the virtual machine configuration management unit 102 checks whether or not the virtual memory capacity fits in the physical memory capacity (step S110). Specifically, the virtual machine configuration management unit 102 checks the virtual memory capacity of the virtual machine from the virtual memory management table 143 (see FIG. 10). Further, in the management server 101, the physical machine configuration management unit 103 refers to the physical memory management table 153 (see FIG. 5), and uses the combination of the physical machine ID and the CPU socket number acquired in step S8 or step S9. Get matching information. Further, in the management server 101, the physical machine configuration management unit 103 acquires a NUMA number and a physical machine ID in which the virtual memory capacity can be accommodated from the acquired information. Note that such processing is executed because the communication conditions such as the communication capacity between the transmission source virtual machine and the transmission destination virtual machine are better when the virtual memory and the virtual CPU are arranged in the same node as much as possible. Because.

管理サーバ101では、物理マシン構成管理部103が、このステップS110において仮想メモリ容量が収まる物理メモリ容量がない場合には、割り当てられている物理メモリ容量が最も多いNUMA番号及び物理マシンIDを取得する一方(ステップS111)、このステップS110において仮想メモリ容量が収まる物理メモリ容量がある場合には、ステップS112において取得した配置優先度別に処理を分けて実行する(ステップS112)。   In the management server 101, the physical machine configuration management unit 103 acquires the NUMA number and physical machine ID with the largest allocated physical memory capacity when there is no physical memory capacity that can accommodate the virtual memory capacity in step S110. On the other hand (step S111), if there is a physical memory capacity that can accommodate the virtual memory capacity in step S110, the process is executed separately for each placement priority acquired in step S112 (step S112).

管理サーバ101では、仮想マシン再配置実施部106が、上記取得した配置優先度が1または2である場合には次のようなステップS113を実行する一方、上記取得した配置優先度が3または4である場合には後述するステップS114を実行する(ステップS112)。   In the management server 101, the virtual machine rearrangement execution unit 106 executes the following step S113 when the obtained placement priority is 1 or 2, while the obtained placement priority is 3 or 4. If so, step S114 to be described later is executed (step S112).

ステップS113では、仮想マシン再配置実施部106が、仮想マシンの接続先スイッチ、すなわち、仮想マシンの通信帯域が収まる仮想スイッチが存在するか否かを確認する。具体的には、仮想マシン再配置実施部106は、物理IOインターフェイス管理テーブル155(図7参照)から、ステップS8またはステップS9において取得した物理マシンID及びCPUソケット番号と、ステップS110またはステップS111において取得した物理マシンID及びNUMA番号との組み合わせに一致する情報を確認する。さらに仮想マシン再配置実施部106は、このように取得した情報の中から、仮想マシンの通信帯域(送信帯域及び受信帯域)が収まる仮想スイッチの取得を試みる。   In step S113, the virtual machine rearrangement execution unit 106 checks whether or not there is a connection switch of the virtual machine, that is, a virtual switch that can accommodate the communication band of the virtual machine. Specifically, the virtual machine relocation execution unit 106 determines whether the physical machine ID and CPU socket number acquired in step S8 or step S9 from the physical IO interface management table 155 (see FIG. 7), and in step S110 or step S111. Information matching the combination of the acquired physical machine ID and NUMA number is confirmed. Further, the virtual machine rearrangement execution unit 106 tries to acquire a virtual switch in which the communication band (transmission band and reception band) of the virtual machine falls from the acquired information.

仮想マシンの通信帯域が収まる仮想スイッチが存在する場合、管理サーバ101では、仮想マシン再配置実施部106が、以上のような送信先仮想マシンについて処理を終了し、後述するステップS116以降のように送信元仮想マシンについての処理を開始する。   When there is a virtual switch that can accommodate the communication bandwidth of the virtual machine, in the management server 101, the virtual machine rearrangement execution unit 106 ends the processing for the transmission destination virtual machine as described above, as in step S116 and later described later. Start processing for the source virtual machine.

一方、仮想マシンの通信帯域が収まる仮想スイッチが存在しない場合、仮想マシン再配置実施部106が、仮想マシンの通信容量が最も大きくなる仮想スイッチを取得し(ステップS115)、後述するステップS116以降を実行する。   On the other hand, if there is no virtual switch that can accommodate the communication bandwidth of the virtual machine, the virtual machine rearrangement execution unit 106 acquires a virtual switch that maximizes the communication capacity of the virtual machine (step S115), and performs steps S116 and later described later. Execute.

一方、ステップS114では、仮想マシン再配置実施部106が、仮想マシンの接続先スイッチ、すなわち、仮想スイッチ管理テーブルからステップS111またはステップS112において取得した物理マシンIDに一致する情報を確認する。具体的には、仮想マシン再配置実施部106は、取得した情報の中から、仮想マシンの通信帯域(送信帯域及び受信帯域)が収まる仮想スイッチの取得を試みる。   On the other hand, in step S114, the virtual machine rearrangement execution unit 106 confirms information matching the physical machine ID acquired in step S111 or step S112 from the virtual machine connection destination switch, that is, the virtual switch management table. Specifically, the virtual machine rearrangement execution unit 106 tries to acquire a virtual switch in which the communication band (transmission band and reception band) of the virtual machine falls from the acquired information.

管理サーバ101では、仮想マシン再配置実施部106が、仮想マシンの通信帯域が収まる仮想スイッチが存在する場合にはステップS116以降を実行する一方、仮想マシンの通信帯域が収まる仮想スイッチが存在する場合には既述のステップS115を実行する。   In the management server 101, the virtual machine rearrangement execution unit 106 executes step S <b> 116 and subsequent steps when there is a virtual switch that can accommodate the virtual machine communication band, while there is a virtual switch that accommodates the virtual machine communication band. Step S115 described above is executed.

ステップS116では、仮想マシン再配置実施部106が、送信元の再配置候補が決まっているか否かを判定する。この仮想マシン再配置実施部106は、未決定の場合には送信元仮想マシンの再配置を開始して上記ステップS8から実施する一方(ステップS117)、決定済の場合にはステップS118を実行する。   In step S116, the virtual machine relocation execution unit 106 determines whether or not a transmission source relocation candidate has been determined. The virtual machine rearrangement execution unit 106 starts rearranging the transmission source virtual machine if it has not been determined and implements it from step S8 (step S117), and if it has already been determined, executes step S118. .

ステップS118では、仮想マシン再配置実施部106が、物理CPUソケット、NUMA番号及び仮想スイッチの組み合わせが配置候補テーブル162(図15参照)に存在するか否かを確認する。なお、この配置候補テーブル162には初回のループでは配置候補が存在しないが、後述するステップS121を経ることで、配置候補が蓄積されていく。管理サーバ101では、仮想マシン再配置実施部106が、これらの組み合わせが配置候補テーブル162(図15参照)に存在する場合には既述のステップS7から再度実行する一方、これらの組み合わせが配置候補テーブル162に存在しない場合には次のようなステップS119を実行する。   In step S118, the virtual machine rearrangement execution unit 106 checks whether the combination of the physical CPU socket, the NUMA number, and the virtual switch exists in the arrangement candidate table 162 (see FIG. 15). In this arrangement candidate table 162, no arrangement candidates exist in the first loop, but arrangement candidates are accumulated through step S121 described later. In the management server 101, the virtual machine rearrangement execution unit 106 executes again from the above-described step S7 when these combinations exist in the arrangement candidate table 162 (see FIG. 15), while these combinations are displayed as arrangement candidates. If not present in the table 162, the following step S119 is executed.

このステップS119では、仮想マシン再配置実施部106が、送信元仮想マシンと送信先仮想マシンとのペアの再配置先が配置優先度で指定された構成になっているか否かを確認する。配置優先度で指定された構成になっている場合には、仮想マシン再配置実施部106は、実際に仮想マシンの再配置を開始する(ステップS122)。   In this step S119, the virtual machine rearrangement execution unit 106 checks whether or not the rearrangement destination of the pair of the transmission source virtual machine and the transmission destination virtual machine has a configuration designated by the arrangement priority. If the configuration is specified by the placement priority, the virtual machine rearrangement execution unit 106 actually starts the rearrangement of the virtual machine (step S122).

配置優先度で指定された構成になっておらず、かつ、すべての配置組み合わせを試した場合、管理サーバ101では、仮想マシン再配置実施部106が、配置候補テーブル162(図15参照)の中から、既述のような処理を経て配置優先度が最も高くなる構成を採用し(ステップS120)、実際に仮想マシンの再配置を開始する(ステップS122)。   When the configuration is not specified by the placement priority and all placement combinations are tried, in the management server 101, the virtual machine rearrangement execution unit 106 includes the placement candidate table 162 (see FIG. 15). Therefore, the configuration in which the placement priority is the highest through the processing as described above is adopted (step S120), and the reallocation of the virtual machine is actually started (step S122).

一方、配置優先度で指定された構成になっておらず、かつ、すべての配置組み合わせを試していない場合、管理サーバ101では、仮想マシン再配置実施部106が、物理CPUソケット、NUMA番号及び仮想スイッチの組み合わせを配置候補テーブル162(図15参照)に登録し、再度、再配置先の検索を試みる(ステップS121)。   On the other hand, if the configuration is not specified by the placement priority and all placement combinations have not been tried, the virtual machine rearrangement execution unit 106 in the management server 101 causes the physical CPU socket, NUMA number, and virtual The switch combination is registered in the arrangement candidate table 162 (see FIG. 15), and the search for the rearrangement destination is attempted again (step S121).

実際に仮想マシンの再配置が開始されると(ステップS122)、管理サーバ101では、仮想マシン再配置実施部106が、仮想CPU管理テーブル142(図9参照)において、この仮想マシンを表す仮想マシンIDに対応する仮想CPUアフィニティを更新する(ステップS123)。ここで、アフィニティとは、どのソケットに装着されているのかを表す。   When reallocation of a virtual machine is actually started (step S122), in the management server 101, the virtual machine reallocation execution unit 106 displays a virtual machine representing this virtual machine in the virtual CPU management table 142 (see FIG. 9). The virtual CPU affinity corresponding to the ID is updated (step S123). Here, the affinity represents which socket is attached.

次に管理サーバ101では、仮想マシン再配置実施部106が、仮想メモリ管理テーブル143(図10参照)において、この仮想マシンを表す仮想マシンIDに対応するNUMAアフィニティを更新する(ステップS124)。   Next, in the management server 101, the virtual machine relocation execution unit 106 updates the NUMA affinity corresponding to the virtual machine ID representing this virtual machine in the virtual memory management table 143 (see FIG. 10) (step S124).

次に管理サーバ101では、仮想マシン再配置実施部106が、仮想マシン配置先物理マシン管理テーブル145(図12参照)において、上記仮想マシンを表す仮想マシンIDに対応する物理マシンIDを更新する(ステップS125)。   Next, in the management server 101, the virtual machine rearrangement execution unit 106 updates the physical machine ID corresponding to the virtual machine ID representing the virtual machine in the virtual machine placement destination physical machine management table 145 (see FIG. 12) ( Step S125).

次に管理サーバ101では、仮想マシン再配置実施部106が、仮想IOインターフェイス接続先仮想スイッチ管理テーブル144(図11参照)において、上記仮想マシンを表す仮想マシンIDに対応する接続先仮想スイッチを更新する(ステップS126)。   Next, in the management server 101, the virtual machine relocation execution unit 106 updates the connection destination virtual switch corresponding to the virtual machine ID representing the virtual machine in the virtual IO interface connection destination virtual switch management table 144 (see FIG. 11). (Step S126).

次に管理サーバ101では、仮想マシン配置優先度変更部105が、仮想マシン再配置後、仮想マシン間通信情報管理テーブル146(図13参照)において、送信元仮想マシンIDと送信先仮想マシンIDのペアに対応する現在配置の値を、実際に配置された仮想マシンの配置優先度で更新し(ステップS127)、処理を終了する。   Next, in the management server 101, the virtual machine placement priority changing unit 105, after rearranging the virtual machines, sets the source virtual machine ID and the destination virtual machine ID in the inter-virtual machine communication information management table 146 (see FIG. 13). The value of the current arrangement corresponding to the pair is updated with the arrangement priority of the actually arranged virtual machine (step S127), and the process ends.

以上のように複数の仮想マシンのうちの一部の仮想マシンを再配置すると、通信量のみならず、これら複数の仮想マシンが稼働する物理マシンの物理構成要素(例えばCPU、メモリ、PCI)を考慮して当該一部の仮想マシンの再配置が実施されるようになるため、再配置後においても当該複数の仮想マシン間では、物理マシンの物理構成要素を加味した上で、当初想定した通りの通信性能を確保することができる。   As described above, when some virtual machines among a plurality of virtual machines are rearranged, not only the traffic but also the physical components (for example, CPU, memory, PCI) of the physical machines on which the plurality of virtual machines are operated. Since some of the virtual machines will be rearranged in consideration, the physical components of the physical machines are taken into account among the virtual machines even after the rearrangement, as originally assumed. Communication performance can be ensured.

(3)その他の実施形態
上記実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その趣旨を逸脱しない限り、様々な形態で実施することができる。例えば、上記実施形態では、各種プログラムの処理をシーケンシャルに説明したが、特にこれにこだわるものではない。従って、処理結果に矛盾が生じない限り、処理の順序を入れ替え又は並行動作するように構成しても良い。また、上記実施形態における各処理ブロックを含むプログラムは、例えばコンピュータが読み取り可能な非一時的記憶媒体に格納されている形態であっても良い。
(3) Other Embodiments The above embodiment is an example for explaining the present invention, and is not intended to limit the present invention only to these embodiments. The present invention can be implemented in various forms without departing from the spirit of the present invention. For example, in the above-described embodiment, the processing of various programs is described sequentially, but this is not particularly concerned. Therefore, as long as there is no contradiction in the processing result, the processing order may be changed or the operation may be performed in parallel. Further, the program including each processing block in the above embodiment may be in a form stored in a non-transitory storage medium readable by a computer, for example.

本発明は、物理マシン上で複数の仮想マシンが稼働する際における仮想マシンの管理装置及び管理方法に広く適用することができる。   The present invention can be widely applied to a virtual machine management apparatus and management method when a plurality of virtual machines operate on a physical machine.

101……管理サーバ、111……記憶部、121A〜121N……物理マシン、122A〜122N……仮想マシン。   101... Management server, 111... Storage unit, 121 A to 121 N... Physical machine, 122 A to 122 N.

Claims (14)

物理マシン上で稼働されている複数の仮想マシンの配置を管理する仮想マシンの管理装置であって、
前記複数の仮想マシン間における通信容量を管理する通信情報管理部と、
前記複数の仮想マシン間における前記物理マシンの物理構成要素を管理する物理構成要素管理部と、
前記通信容量及び前記物理構成要素に応じて、前記複数の仮想マシンのうち再配置対象の仮想マシンの配置先を決定する配置先決定部と、
を備えることを特徴とする仮想マシンの管理装置。
A virtual machine management device that manages the arrangement of multiple virtual machines running on a physical machine,
A communication information management unit for managing communication capacity between the plurality of virtual machines;
A physical component management unit that manages physical components of the physical machine among the plurality of virtual machines;
An arrangement destination determining unit that determines an arrangement destination of a virtual machine to be relocated among the plurality of virtual machines according to the communication capacity and the physical configuration element;
A virtual machine management apparatus comprising:
前記物理構成要素管理部は、
前記物理マシンの物理構成要素に応じた通信条件を含む通信条件情報を管理し、
前記通信情報管理部は、
前記複数の仮想マシン間において配置に応じて見込みうる通信容量の程度を示す配置優先度を管理する一方、異なる時間に計測された前記複数の仮想マシン間の通信容量の増減に応じて前記配置優先度を更新し、
前記配置先決定部は、
前記通信条件情報及び前記配置優先度に応じて、前記複数の仮想マシンのうち再配置対象の仮想マシンの配置先候補を複数蓄積し、前記複数の配置索候補から1つの配置先候補を決定する
ことを特徴とする請求項1に記載の仮想マシンの管理装置。
The physical component management unit
Managing communication condition information including communication conditions according to the physical components of the physical machine;
The communication information management unit
While managing the placement priority indicating the degree of communication capacity that can be expected according to the placement between the plurality of virtual machines, the placement priority according to the increase or decrease of the communication capacity between the plurality of virtual machines measured at different times Update the degree,
The placement destination determination unit
According to the communication condition information and the placement priority, a plurality of placement destination candidates for a virtual machine to be relocated among the plurality of virtual machines are accumulated, and one placement destination candidate is determined from the plurality of placement search candidates. The virtual machine management device according to claim 1.
前記通信情報管理部は、
前記複数の仮想マシン間における通信容量とともに、前記再配置対象の仮想マシンの現在配置を表す指標値を管理しており、
前記配置先決定部は、
前記再配置対象の仮想マシンの仮想構成要素の性能が前記物理マシンの物理構成要素の性能の範囲内である場合、前記再配置対象の仮想マシンの再配置を実施し、前記通信情報管理部によって管理されている前記再配置対象の仮想マシンの現在配置を表す指標値を更新することを特徴とする請求項2に記載の仮想マシンの管理装置。
The communication information management unit
Along with the communication capacity between the plurality of virtual machines, managing an index value representing the current arrangement of the virtual machine to be relocated,
The placement destination determination unit
When the performance of the virtual component of the relocation target virtual machine is within the range of the performance of the physical component of the physical machine, the relocation target virtual machine is relocated, and the communication information management unit The virtual machine management apparatus according to claim 2, wherein an index value indicating a current arrangement of the virtual machine to be relocated that is managed is updated.
前記複数の仮想マシンの各仮想構成要素を管理する仮想構成要素管理部を備え、
前記配置先決定部は、
前記再配置対象の仮想マシンの再配置を実施すると、前記仮想構成要素管理部において管理されている前記複数の仮想マシンの各仮想構成要素を更新することを特徴とする請求項3に記載の仮想マシンの管理装置。
A virtual component management unit that manages each virtual component of the plurality of virtual machines;
The placement destination determination unit
The virtual component according to claim 3, wherein when the virtual machine to be rearranged is rearranged, each virtual component of the plurality of virtual machines managed by the virtual component management unit is updated. Machine management device.
前記物理構成要素は、少なくとも、
前記物理マシンの中央演算処理部と、
前記中央演算処理部が作業領域として使用するメモリと、
前記中央演算処理部と外部との間におけるインターフェイスと、
を含むことを特徴とする請求項1に記載の仮想マシンの管理装置。
The physical component is at least:
A central processing unit of the physical machine;
A memory used as a work area by the central processing unit;
An interface between the central processing unit and the outside;
The virtual machine management device according to claim 1, comprising:
前記複数の仮想マシンは、
前記物理構成要素を含む複数のノードを有する1つの前記物理マシン上で稼働していることを特徴とする請求項5に記載の仮想マシンの管理装置。
The plurality of virtual machines are:
The virtual machine management apparatus according to claim 5, wherein the virtual machine management apparatus operates on one physical machine having a plurality of nodes including the physical components.
前記物理マシンは複数存在しており、
前記複数の仮想マシンは、前記物理構成要素を各々備える前記複数の物理マシン上で稼働していることを特徴とする請求項5に記載の仮想マシンの管理装置。
There are a plurality of the physical machines,
6. The virtual machine management apparatus according to claim 5, wherein the plurality of virtual machines are operating on the plurality of physical machines each including the physical component.
物理マシン上で稼働されている複数の仮想マシンの配置を管理する管理装置によって実行される仮想マシンの管理方法であって、
前記管理装置が、前記複数の仮想マシン間における通信容量を管理する通信情報管理ステップと、
前記管理装置が、前記複数の仮想マシン間における前記物理マシンの物理構成要素を管理する物理構成要素管理ステップと、
前記管理装置が、前記通信容量及び前記物理構成要素に応じて、前記複数の仮想マシンのうち再配置対象の仮想マシンの配置先を決定する配置先決定ステップと、
を有することを特徴とする仮想マシンの管理方法。
A virtual machine management method executed by a management device that manages the arrangement of a plurality of virtual machines running on a physical machine,
A communication information management step in which the management device manages a communication capacity between the plurality of virtual machines;
A physical component management step in which the management device manages physical components of the physical machine between the plurality of virtual machines;
The management apparatus determines a placement destination of a virtual machine to be relocated among the plurality of virtual machines according to the communication capacity and the physical component; and
A virtual machine management method characterized by comprising:
前記物理構成要素管理ステップでは、
前記管理装置が、前記物理マシンの物理構成要素に応じた通信条件を含む通信条件情報を管理し、
前記通信情報管理ステップでは、
前記管理装置が、前記複数の仮想マシン間において配置に応じて見込みうる通信容量の程度を示す配置優先度を管理する一方、異なる時間に計測された前記複数の仮想マシン間の通信容量の増減に応じて前記配置優先度を更新し、
前記配置先決定ステップでは、
前記管理装置が、前記通信条件情報及び前記配置優先度に応じて、前記複数の仮想マシンのうち再配置対象の仮想マシンの配置先候補を複数蓄積し、前記複数の配置索候補から1つの配置先候補を決定する
ことを特徴とする請求項8に記載の仮想マシンの管理方法。
In the physical component management step,
The management device manages communication condition information including communication conditions according to physical components of the physical machine;
In the communication information management step,
While the management device manages the placement priority indicating the degree of communication capacity that can be expected according to the placement between the plurality of virtual machines, the management device increases or decreases the communication capacity between the plurality of virtual machines measured at different times. Update the placement priority accordingly,
In the placement destination determining step,
The management apparatus accumulates a plurality of placement destination candidates of relocation target virtual machines among the plurality of virtual machines according to the communication condition information and the placement priority, and one placement from the plurality of placement search candidates The virtual machine management method according to claim 8, wherein a destination candidate is determined.
前記通信情報管理ステップでは、
前記管理装置が、前記複数の仮想マシン間における通信容量とともに、前記再配置対象の仮想マシンの現在配置を表す指標値を管理しており、
前記配置先決定ステップでは、
前記管理装置が、前記再配置対象の仮想マシンの仮想構成要素の性能が前記物理マシンの物理構成要素の性能の範囲内である場合、前記再配置対象の仮想マシンの再配置を実施し、前記通信情報管理ステップにおいて管理されている前記再配置対象の仮想マシンの現在配置を表す指標値を更新することを特徴とする請求項9に記載の仮想マシンの管理方法。
In the communication information management step,
The management device manages an index value representing the current arrangement of the virtual machines to be relocated together with the communication capacity between the plurality of virtual machines,
In the placement destination determining step,
When the performance of the virtual component of the virtual machine to be relocated is within the range of the performance of the physical component of the physical machine, the management device performs relocation of the virtual machine to be relocated, The virtual machine management method according to claim 9, wherein an index value indicating a current arrangement of the virtual machine to be relocated managed in the communication information management step is updated.
前記配置先決定ステップでは、
前記管理装置が、前記再配置対象の仮想マシンの再配置を実施すると、前記複数の仮想マシンの各仮想構成要素を管理する仮想構成要素管理部における前記複数の仮想マシンの各仮想構成要素を更新することを特徴とする請求項10に記載の仮想マシンの管理方法。
In the placement destination determining step,
When the management device rearranges the virtual machines to be rearranged, it updates each virtual component of the plurality of virtual machines in a virtual component management unit that manages each virtual component of the plurality of virtual machines. The virtual machine management method according to claim 10, wherein:
前記物理構成要素は、少なくとも、
前記物理マシンの中央演算処理部と、
前記中央演算処理部が作業領域として使用するメモリと、
前記中央演算処理部と外部との間におけるインターフェイスと、
を含むことを特徴とする請求項8に記載の仮想マシンの管理方法。
The physical component is at least:
A central processing unit of the physical machine;
A memory used as a work area by the central processing unit;
An interface between the central processing unit and the outside;
9. The virtual machine management method according to claim 8, further comprising:
前記複数の仮想マシンは、
前記物理構成要素を含む複数のノードを有する1つの前記物理マシン上で稼働していることを特徴とする請求項12に記載の仮想マシンの管理方法。
The plurality of virtual machines are:
The virtual machine management method according to claim 12, wherein the virtual machine management method operates on a single physical machine having a plurality of nodes including the physical components.
前記物理マシンは複数存在しており、
前記複数の仮想マシンは、前記物理構成要素を各々備える前記複数の物理マシン上で稼働していることを特徴とする請求項12に記載の仮想マシンの管理方法。
There are a plurality of the physical machines,
The virtual machine management method according to claim 12, wherein the plurality of virtual machines are operating on the plurality of physical machines each including the physical component.
JP2019526421A 2017-06-26 2017-06-26 Virtual machine management apparatus and management method Active JP6692994B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023461 WO2019003286A1 (en) 2017-06-26 2017-06-26 Virtual machine management device and management method

Publications (2)

Publication Number Publication Date
JPWO2019003286A1 true JPWO2019003286A1 (en) 2019-11-07
JP6692994B2 JP6692994B2 (en) 2020-05-13

Family

ID=64741218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019526421A Active JP6692994B2 (en) 2017-06-26 2017-06-26 Virtual machine management apparatus and management method

Country Status (2)

Country Link
JP (1) JP6692994B2 (en)
WO (1) WO2019003286A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140134A (en) * 2008-12-10 2010-06-24 Hitachi Ltd Virtual machine management method, program, and management server
JP2015158811A (en) * 2014-02-24 2015-09-03 富士通株式会社 information processing apparatus, information processing method, and information processing program
JP2015225560A (en) * 2014-05-29 2015-12-14 日本電信電話株式会社 Virtual machine arrangement device, virtual machine arrangement method, and virtual machine arrangement program
WO2016110950A1 (en) * 2015-01-07 2016-07-14 株式会社日立製作所 Computer system, management system, and resource management method
JP2016162322A (en) * 2015-03-04 2016-09-05 株式会社日立製作所 Virtual machine deployment management device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140134A (en) * 2008-12-10 2010-06-24 Hitachi Ltd Virtual machine management method, program, and management server
JP2015158811A (en) * 2014-02-24 2015-09-03 富士通株式会社 information processing apparatus, information processing method, and information processing program
JP2015225560A (en) * 2014-05-29 2015-12-14 日本電信電話株式会社 Virtual machine arrangement device, virtual machine arrangement method, and virtual machine arrangement program
WO2016110950A1 (en) * 2015-01-07 2016-07-14 株式会社日立製作所 Computer system, management system, and resource management method
JP2016162322A (en) * 2015-03-04 2016-09-05 株式会社日立製作所 Virtual machine deployment management device

Also Published As

Publication number Publication date
JP6692994B2 (en) 2020-05-13
WO2019003286A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
JP4293011B2 (en) Server determination method in case of failure
US10530846B2 (en) Scheduling packets to destination virtual machines based on identified deep flow
US8296771B2 (en) System and method for mapping between resource consumers and resource providers in a computing system
JP5006472B2 (en) Table search device, table search method, and table search system
JP5203733B2 (en) Coordinator server, data allocation method and program
KR20140049064A (en) Method and apparatus for providing isolated virtual space
JP4577384B2 (en) Management machine, management system, management program, and management method
JP5775481B2 (en) Information processing system and processing method thereof
US10002023B2 (en) Method and apparatus for managing one or more tasks of a many-core system using one or more task descriptor entries
CN106709042B (en) Index updating method and equipment
WO2014176048A1 (en) Method and device for updating client
CN108616424B (en) Resource scheduling method, computer equipment and system
GB2449037A (en) Multilayer distributed processing system
US20190394065A1 (en) Information management system, in-vehicle device, server, and routing table change method
US10853365B2 (en) Database management system, computer, and database management method
CN113805816B (en) Disk space management method, device, equipment and storage medium
CN106411753B (en) The method and router being downloaded by router
JP6692994B2 (en) Virtual machine management apparatus and management method
KR102157591B1 (en) Apparatus for Spatial Query in Big Data Environment and Computer-Readable Recording Medium with Program therefor
CN108173689B (en) Output system of load balancing data
KR101638797B1 (en) Method for scheduling query
JP6339978B2 (en) Resource allocation management device and resource allocation management method
EP4202674A1 (en) Information processing device, information processing method, and information processing program
KR101571802B1 (en) Method for managing session based on multi thread
JP6388717B2 (en) Terminal management method and network device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200415

R150 Certificate of patent or registration of utility model

Ref document number: 6692994

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150