JP5124430B2 - Virtual machine migration method, server, and program - Google Patents

Virtual machine migration method, server, and program Download PDF

Info

Publication number
JP5124430B2
JP5124430B2 JP2008310120A JP2008310120A JP5124430B2 JP 5124430 B2 JP5124430 B2 JP 5124430B2 JP 2008310120 A JP2008310120 A JP 2008310120A JP 2008310120 A JP2008310120 A JP 2008310120A JP 5124430 B2 JP5124430 B2 JP 5124430B2
Authority
JP
Japan
Prior art keywords
virtual machine
server
information
migration
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008310120A
Other languages
Japanese (ja)
Other versions
JP2010134710A (en
Inventor
義毅 和田
喜隆 桑田
寛明 井久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2008310120A priority Critical patent/JP5124430B2/en
Publication of JP2010134710A publication Critical patent/JP2010134710A/en
Application granted granted Critical
Publication of JP5124430B2 publication Critical patent/JP5124430B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)

Description

本発明は、サーバ上で起動している仮想マシンを他のサーバに移行させる、仮想マシンの移行方法、サーバ、及び、プログラムに関する。   The present invention relates to a virtual machine migration method, server, and program for migrating a virtual machine running on a server to another server.

仮想マシンを実行する仮想マシンサーバに負荷が集中してパフォーマンスが低下した場合などに当該仮想マシンを他の仮想マシンサーバに移行（マイグレーション）することにより、継続的な仮想マシンの運用を可能にした技術がある（例えば、特許文献１）。   When the load is concentrated on the virtual machine server that executes the virtual machine and the performance decreases, the virtual machine can be operated continuously by migrating the virtual machine to another virtual machine server. There exists a technique (for example, patent document 1).

上述の技術では、まず、移行元で動作している仮想マシンの構成情報をネットワーク等を介して移行先に転送し、その後、移行元の仮想マシンを停止し、仮想マシンのメモリイメージを移行先に転送した後、移行先の仮想マシンサーバで仮想マシンを起動する。   In the above technology, first, the configuration information of the virtual machine operating at the migration source is transferred to the migration destination via a network, and then the migration source virtual machine is stopped and the virtual machine memory image is transferred to the migration destination. , Start the virtual machine on the destination virtual machine server.

特開２００８−３３４８３号公報JP 2008-33483 A

仮想マシンのメモリイメージは、サイズが比較的大きいため、転送に時間がかかる。そのため、仮想マシンのメモリイメージの転送が完了した後に転送先で仮想マシンを起動するのでは、仮想マシンの停止時間が長くなってしまい、上述の技術では、緊急時などに、継続的に仮想マシンを稼動させることが困難になる。   Since the memory image of the virtual machine is relatively large, transfer takes time. Therefore, if the virtual machine is started at the transfer destination after the transfer of the virtual machine memory image is completed, the stop time of the virtual machine becomes long. It becomes difficult to operate.

本発明は、上記実情に鑑みてなされたものであり、仮想マシンをサーバ間で移行させる場合に、仮想マシンの停止時間を極力短くすることができる、仮想マシンの移行方法、サーバ、及び、プログラムを提供することを目的とする。   The present invention has been made in view of the above circumstances, and when migrating a virtual machine between servers, a virtual machine migration method, server, and program capable of shortening the stop time of the virtual machine as much as possible The purpose is to provide.

上記目的を達成するために、本発明の第１の観点に係る仮想マシンの移行方法は、
第１のサーバで稼働している仮想マシンを、該第１のサーバと通信ネットワークを介して接続されている第２のサーバに移行させる仮想マシンの移行方法であって、
前記第１のサーバで稼働している仮想マシンの仮想ハードウェア構成情報とＣＰＵ （Central Processing Unit；中央処理装置）内に記憶された記憶情報とを、前記第２のサーバに送信する送信ステップと、
前記第１のサーバで稼働している仮想マシンの稼働を停止させる停止ステップと、
前記第２のサーバにおいて、前記第１のサーバから送信されたハードウェア構成情報と記憶情報とに基づいて、仮想マシンを構成、起動させる起動ステップと、
前記第１のサーバにおいて、前記第１のサーバのパフォーマンスを示すデータを取得するステップと、
前記取得したパフォーマンスを示すデータに基づいて、前記停止ステップにより前記第１のサーバ上で稼働が停止された仮想マシンのメモリ情報を、前記第２のサーバに送信するか否かを判別する判別ステップと、
前記判別ステップでメモリ情報を前記第２のサーバに送信すると判別した場合に、該メモリ情報を前記第２のサーバに送信するステップと、
を備えることを特徴とする。 In order to achieve the above object, a virtual machine migration method according to the first aspect of the present invention includes:
A virtual machine migration method for migrating a virtual machine running on a first server to a second server connected to the first server via a communication network,
A transmission step of transmitting virtual hardware configuration information of a virtual machine running on the first server and storage information stored in a CPU (Central Processing Unit) to the second server; ,
A stop step of stopping the operation of the virtual machine running on the first server;
In the second server, a startup step of configuring and starting a virtual machine based on the hardware configuration information and the storage information transmitted from the first server;
Obtaining data indicating the performance of the first server in the first server;
A determination step of determining whether or not to send memory information of the virtual machine whose operation has been stopped on the first server by the stop step to the second server based on the acquired data indicating the performance. When,
Transmitting the memory information to the second server when it is determined in the determining step that the memory information is transmitted to the second server;
It is characterized by providing.

前記第１のサーバにおいて、前記停止ステップによる仮想マシンの稼働の停止後に、前記送信ステップによる送信中に更新された前記記憶情報の差分情報を、前記第２のサーバに送信するステップをさらに備え、
前記起動ステップは、前記第１のサーバから送信されたハードウェア構成情報と記憶情報と該記憶情報の差分情報とに基づいて、仮想マシンを構成、起動させてもよい。 In the first server, after stopping the operation of the virtual machine in the stop step, further comprising the step of transmitting the difference information of the storage information updated during the transmission in the transmission step to the second server,
The starting step may configure and start the virtual machine based on hardware configuration information, storage information, and difference information of the storage information transmitted from the first server.

前記第２のサーバにおいて、前記起動ステップで起動された仮想マシン上でメモリ情報が必要となる処理が実施された際に、当該処理を中断するステップと、
前記第２のサーバにおいて、前記メモリ情報の取得要求を前記第１のサーバに送信するステップと、
前記第１のサーバにおいて、前記メモリ情報の取得要求が要求するメモリ情報を取得するステップと、
前記第１のサーバにおいて、前記取得したメモリ情報を前記第２のサーバに送信するステップと、
前記第２のサーバにおいて、前記第１のサーバから送信されたメモリ情報を記憶するステップと、
前記第２のサーバにおいて、前記保存したメモリ情報を用いて中断した処理を再開して実施するステップとを備えてもよい。 In the second server, when a process that requires memory information is performed on the virtual machine activated in the activation step, the process is suspended.
Transmitting the memory information acquisition request to the first server in the second server;
Obtaining memory information requested by the memory information obtaining request in the first server;
Transmitting the acquired memory information to the second server in the first server;
Storing the memory information transmitted from the first server in the second server;
The second server may include a step of resuming and executing the suspended processing using the stored memory information.

前記第１のサーバにおいて、前記判別ステップでメモリ情報を前記第２のサーバに送信しないと判別した場合に、前記パフォーマンスを示すデータに基づいて該メモリ情報を二次記憶装置に移動させるか否かを判別する第２の判別ステップと、
前記第２の判別ステップでメモリ情報を二次記憶装置に移動させると判別した場合に、該メモリ情報を該二次記憶装置に移動させるステップとをさらに備えてもよい。 Whether or not to move the memory information to the secondary storage device based on the data indicating the performance when the first server determines that the memory information is not transmitted to the second server in the determination step. A second determination step for determining
A step of moving the memory information to the secondary storage device when it is determined in the second determination step that the memory information is to be moved to the secondary storage device;

上記目的を達成するために、本発明の第２の観点に係るサーバは、
仮想マシンが稼働しているサーバであって、
前記稼働している仮想マシンを移行先となる他のサーバへ移行させる際に、該仮想マシンの仮想ハードウェア構成情報とＣＰＵ （Central Processing Unit；中央処理装置）内に記憶された記憶情報とを前記移行先となるサーバに送信する送信手段と、
前記稼働している仮想マシンの稼働を停止させる仮想マシン停止手段と、
前記送信手段による送信の処理が完了後、当該サーバのパフォーマンスを示すデータを取得するパフォーマンスデータ取得手段と、
前記パフォーマンスデータ取得手段で取得したパフォーマンスを示すデータに基づいて、前記仮想マシン停止手段で稼働を停止させた仮想マシンのメモリ情報を前記移行先となるサーバに送信するか否かを判別する判別手段と、
メモリ情報を前記移行先となるサーバに送信すると判別した場合に、該メモリ情報を該移行先となるサーバに送信するメモリ情報送信手段と、
を備えることを特徴とする。 In order to achieve the above object, a server according to the second aspect of the present invention provides:
A server on which a virtual machine is running,
When migrating the operating virtual machine to another server as a migration destination, virtual hardware configuration information of the virtual machine and storage information stored in a CPU (Central Processing Unit) Transmitting means for transmitting to the server as the migration destination;
Virtual machine stop means for stopping the operation of the operating virtual machine;
Performance data acquisition means for acquiring data indicating the performance of the server after the transmission processing by the transmission means is completed;
Discriminating means for discriminating whether or not to send the memory information of the virtual machine whose operation has been stopped by the virtual machine stopping means to the migration destination server based on the data indicating the performance acquired by the performance data acquiring means When,
Memory information transmitting means for transmitting the memory information to the migration destination server when it is determined to transmit the memory information to the migration destination server;
It is characterized by providing.

上記目的を達成するために、本発明の第３の観点に係るプログラムは、
仮想マシンが稼働しているコンピュータを、
前記稼働している仮想マシンを移行先となるサーバへ移行させる際に、該仮想マシンの仮想ハードウェア構成情報とＣＰＵ （Central Processing Unit；中央処理装置）内に記憶された記憶情報とを前記移行先となるサーバに送信する送信手段、
前記稼働している仮想マシンの稼働を停止させる仮想マシン停止手段、
前記送信手段による送信の処理が完了後、当該サーバのパフォーマンスを示すデータを取得するパフォーマンスデータ取得手段、
前記パフォーマンスデータ取得手段で取得したパフォーマンスを示すデータに基づいて、前記仮想マシン停止手段で稼働を停止させた仮想マシンのメモリ情報を前記移行先となるサーバに送信するか否かを判別する判別手段、
前記判別手段でメモリ情報を前記移行先となるサーバに送信すると判別した場合に、該メモリ情報を該移行先となるサーバに送信するメモリ情報送信手段、
として機能させることを特徴とする。 In order to achieve the above object, a program according to the third aspect of the present invention provides:
The computer on which the virtual machine is running
When the operating virtual machine is migrated to the migration destination server, the virtual hardware configuration information of the virtual machine and storage information stored in a CPU (Central Processing Unit) are migrated. A transmission means for transmitting to a destination server;
Virtual machine stopping means for stopping the operation of the operating virtual machine,
Performance data acquisition means for acquiring data indicating the performance of the server after completion of transmission processing by the transmission means,
Discriminating means for discriminating whether or not to send the memory information of the virtual machine whose operation has been stopped by the virtual machine stopping means to the migration destination server based on the data indicating the performance acquired by the performance data acquiring means ,
Memory information transmitting means for transmitting the memory information to the server as the migration destination when the determination means determines that the memory information is to be transmitted to the server as the migration destination;
It is made to function as.

本発明によれば、ＣＰＵ内に記憶された記憶情報が移動された時点で、移行先のサーバ上で仮想マシンは起動する。そのため、仮想マシンを仮想マシンサーバ間で移行させる場合に、停止時間を極力短くすることができる。   According to the present invention, the virtual machine is activated on the migration destination server when the stored information stored in the CPU is moved. Therefore, when a virtual machine is migrated between virtual machine servers, the stop time can be shortened as much as possible.

以下、本発明の実施形態に係る仮想マシンシステムについて、図面を参照して説明する。
本発明の実施形態に係る仮想マシンシステムは、図１に示すように、ＬＡＮ等のネットワークを介して相互に接続された、仮想マシンサーバ１００と仮想マシンサーバ２００とを備えて構成される。仮想マシンシステムは、仮想マシンサーバ１００で稼働している仮想マシンを、仮想マシンサーバ２００に移行して稼働させることを特徴とする。 Hereinafter, a virtual machine system according to an embodiment of the present invention will be described with reference to the drawings.
As shown in FIG. 1, the virtual machine system according to the embodiment of the present invention includes a virtual machine server 100 and a virtual machine server 200 connected to each other via a network such as a LAN. The virtual machine system is characterized in that a virtual machine operating on the virtual machine server 100 is moved to the virtual machine server 200 and operated.

移行元となる仮想マシンサーバ１００は、仮想マシンを動作させるためのサーバである。仮想マシンサーバ１００は、物理ハードウェア的には、ＣＰＵ（Central Processing Unit）１１０と主記憶装置１２０と二次記憶装置１３０と通信装置１４０とを備えて構成される。   The migration source virtual machine server 100 is a server for operating a virtual machine. The virtual machine server 100 includes a CPU (Central Processing Unit) 110, a main storage device 120, a secondary storage device 130, and a communication device 140 in terms of physical hardware.

ＣＰＵ１１０は、四則演算や論理演算などの算術的な処理を行なうＡＬＵ（Arithmetic and Logic Unit）、レジスタ、および、キャッシュメモリ等を備え、主記憶装置１２０や二次記憶装置１３０に予め記憶された各種プログラム等を読み出して実行することにより、仮想マシンサーバ１００全体の動作を制御したり、複数の仮想マシンを論理的に実現する。   The CPU 110 includes an ALU (Arithmetic and Logic Unit) that performs arithmetic processing such as four arithmetic operations and logical operations, a register, a cache memory, and the like, and is stored in the main storage device 120 and the secondary storage device 130 in advance. By reading and executing programs and the like, the overall operation of the virtual machine server 100 is controlled, and a plurality of virtual machines are logically realized.

主記憶装置１２０は、ＲＡＭ（Random Access Memory）等から構成され、ＣＰＵ１１０が動作するためのプログラムを格納したり、ＣＰＵ１１０が動作するためのワークエリアとなる   The main storage device 120 is composed of a RAM (Random Access Memory) or the like, and stores a program for operating the CPU 110 or serves as a work area for the CPU 110 to operate.

二次記憶装置１３０は、ハードディスク装置等から構成され、ＣＰＵ１１０が動作するためのプログラムや、主記憶装置１２０の退避領域となるスワップファイルなどが格納される。また、二次記憶装置１３０は、コピー済ページリスト１３１と、ページ変換テーブル１３２とを記憶する。   The secondary storage device 130 is composed of a hard disk device or the like, and stores a program for operating the CPU 110, a swap file serving as a save area of the main storage device 120, and the like. The secondary storage device 130 also stores a copied page list 131 and a page conversion table 132.

コピー済ページリスト１３１は、図３に示すように、仮想マシンの仮想ハードウェア（主記憶装置）上の物理アドレスに対応するページ番号（以下、ＰＮ−ＶＭＰＭＡとする）のリストを記憶する。コピー済ページリスト１３１に記憶されているページ番号が示すページに記憶されている情報（メモリページ）は、移行先の仮想マシンサーバ２００への移行が完了していることを示している。   As shown in FIG. 3, the copied page list 131 stores a list of page numbers (hereinafter referred to as PN-VMMPMA) corresponding to physical addresses on the virtual hardware (main storage device) of the virtual machine. The information (memory page) stored in the page indicated by the page number stored in the copied page list 131 indicates that the migration to the migration destination virtual machine server 200 has been completed.

ページ変換テーブル１３２は、物理ハードウェアと仮想ハードウェアとのページの対応関係を示したテーブルである。図４に示すように、ページ変換テーブル１３２は、仮想マシンの仮想ハードウェア（主記憶装置）上の物理アドレスに対応するページ番号（以下、ＰＮ−ＶＭＰＭＡとする）と、物理ハードウェア（例えば、主記憶装置１２０）上の物理アドレスに対応するページ番号（以下、ＰＮ−ＰＭＡとする）又は物理ディスク（例えば、二次記憶装置１３０）上のメモリページの記録開始位置（以下、ＳＡ−ＰＤＡとする）とを対応付けて記憶する。また、ページ変換テーブル１３２の各レコードには、スワップ退避フラグとコピー済フラグとが設けられている。スワップ退避フラグは、当該レコードに対応する情報が二次記憶装置１３０に記憶（退避）されているか否かを示すフラグである。コピー済フラグは、当該レコードに対応する情報の仮想マシンサーバ２００への移行が完了しているか否かを示すフラグである。   The page conversion table 132 is a table showing the correspondence between pages of physical hardware and virtual hardware. As shown in FIG. 4, the page conversion table 132 includes a page number (hereinafter referred to as PN-VMMPMA) corresponding to a physical address on virtual hardware (main storage device) of a virtual machine, and physical hardware (for example, The page number (hereinafter referred to as PN-PMA) corresponding to the physical address on the main storage device 120) or the recording start position (hereinafter referred to as SA-PDA) of the memory page on the physical disk (for example, the secondary storage device 130). Are stored in association with each other. Each record of the page conversion table 132 is provided with a swap save flag and a copied flag. The swap save flag is a flag indicating whether or not information corresponding to the record is stored (saved) in the secondary storage device 130. The copied flag is a flag indicating whether or not the migration of information corresponding to the record to the virtual machine server 200 has been completed.

また、ソフトウェア的には、仮想マシンサーバ１００は、仮想マシンを制御するためのハイパーバイザ１６０を搭載している。仮想マシンを制御するためのハイパーバイザ１６０は、仮想マシンサーバ１００上で複数の仮想マシンを構築、制御する。   In terms of software, the virtual machine server 100 includes a hypervisor 160 for controlling the virtual machine. A hypervisor 160 for controlling a virtual machine constructs and controls a plurality of virtual machines on the virtual machine server 100.

ハイパーバイザ１６０は、機能的には、図２（Ａ）に示すように、仮想マシン実行管理部１６１と、ハードウェア構成管理部１６２と、コマンド処理部１６３と、マイグレーション実行制御部１６４と、ＣＰＵ制御部１６５と、メモリ制御部１６６と、ファイル制御部１６７と、通信制御部１６８の各部を備える。   As shown in FIG. 2A, the hypervisor 160 functionally includes a virtual machine execution management unit 161, a hardware configuration management unit 162, a command processing unit 163, a migration execution control unit 164, and a CPU. Each unit includes a control unit 165, a memory control unit 166, a file control unit 167, and a communication control unit 168.

仮想マシン実行管理部１６１は、仮想マシンを用いて、演算処理等の各種処理を実行したり、仮想マシンの停止、起動、中断などを制御する。   The virtual machine execution management unit 161 uses the virtual machine to execute various types of processing such as arithmetic processing, and controls stop, activation, interruption, and the like of the virtual machine.

ハードウェア構成管理部１６２は、仮想マシンサーバ１００、および、仮想マシンサーバ１００で動作している仮想マシンのハードウェア構成に関する情報（例えば、ＣＰＵのクロック数、主記憶装置のサイズ、二次記憶装置の容量、通信装置の種類やポート数、等）を記憶、管理している。また、ハードウェア構成管理部１６２は、仮想マシンにハードウェアリソースを割り当てたり、リソースの解放を行う。   The hardware configuration management unit 162 is information related to the hardware configuration of the virtual machine server 100 and the virtual machine operating on the virtual machine server 100 (for example, the number of clocks of the CPU, the size of the main storage device, the secondary storage device) Storage capacity, type of communication device, number of ports, etc.). Also, the hardware configuration management unit 162 allocates hardware resources to the virtual machine and releases resources.

コマンド処理部１６３は、ユーザからのコマンドを受信したり、コマンドの処理結果を返信する。   The command processing unit 163 receives a command from the user and returns a command processing result.

マイグレーション実行制御部１６４は、仮想マシンの移行（マイグレーション）に関する処理の全体を制御する。   The migration execution control unit 164 controls the entire processing related to migration (migration) of the virtual machine.

ＣＰＵ制御部１６５は、仮想マシンの仮想ハードウェアのＣＰＵを制御する。また、ＣＰＵ制御部は、仮想マシンのＣＰＵのキャッシュメモリのスナップショットを取得したり、スナップショットに基づいてキャッシュメモリを設定する機能を有する。   The CPU control unit 165 controls the CPU of the virtual hardware of the virtual machine. The CPU control unit has a function of acquiring a snapshot of the cache memory of the CPU of the virtual machine and setting the cache memory based on the snapshot.

メモリ制御部１６６は、コピー済ページリスト１３１とページ変換テーブル１３２内のレコードを参照、更新、作成したりすることにより、仮想マシンの主記憶装置（メモリ）内の情報を管理、制御する。   The memory control unit 166 manages and controls information in the main storage device (memory) of the virtual machine by referring to, updating, and creating records in the copied page list 131 and the page conversion table 132.

ファイル制御部１６７は、仮想マシンの二次記憶装置内の情報を管理、制御する。また、ファイル制御部１６７は、仮想マシンの主記憶装置に記憶されている情報を、仮想マシンの二次記憶装置に記憶（退避）させるスワップアウト処理を行う。また、ファイル制御部１６７は、仮想マシンの主記憶装置に記憶（退避）されている情報を、仮想マシンの二次記憶装置に戻すスワップイン処理を行う。   The file control unit 167 manages and controls information in the secondary storage device of the virtual machine. Further, the file control unit 167 performs swap-out processing for storing (saving) information stored in the main storage device of the virtual machine in the secondary storage device of the virtual machine. Further, the file control unit 167 performs a swap-in process for returning the information stored (saved) in the main storage device of the virtual machine to the secondary storage device of the virtual machine.

通信制御部１６８は、他の仮想マシンと通信するための機能を有する。   The communication control unit 168 has a function for communicating with other virtual machines.

図１に戻り、通信装置１４０は、ＮＩＣ（Network Interface Card）等から構成され、移行先の仮想マシンサーバ２００等と通信するための装置である。   Returning to FIG. 1, the communication device 140 is configured by a NIC (Network Interface Card) or the like and is a device for communicating with the migration destination virtual machine server 200 or the like.

また、仮想マシンサーバ１００上には、複数の仮想マシンが構築されている。仮想マシンは、仮想マシンサーバ１００のリソースを使用して仮想的に実現されるコンピュータである。仮想マシンの仮想ハードウェア構成（ＣＰＵ、主記憶装置、二次記憶装置、通信装置）は、仮想マシンサーバ１００のハードウェアリソースが割り当てられることによって実現される。また、仮想サーバ上には、ＯＳ（Operation System）、および、アプリケーションが動作している。   A plurality of virtual machines are constructed on the virtual machine server 100. The virtual machine is a computer that is virtually realized using the resources of the virtual machine server 100. The virtual hardware configuration (CPU, main storage device, secondary storage device, communication device) of the virtual machine is realized by allocating hardware resources of the virtual machine server 100. An OS (Operation System) and applications are operating on the virtual server.

仮想マシンサーバ２００は、仮想マシンサーバ１００と実質的に同一の構成を有する。仮想マシンサーバ２００のＣＰＵ２１０、主記憶装置２２０、二次記憶装置２３０、コピー済ページリスト２３１、ページ変換テーブル２３２、通信装置２４０、ＯＳ２５０、および、ハイパーバイザ２６０は、移行元の仮想マシンサーバ１００のＣＰＵ１１０、主記憶装置１２０、二次記憶装置１３０、コピー済ページリスト１３１、ページ変換テーブル１３２、通信装置１４０、ＯＳ１５０、および、ハイパーバイザ１６０と実質的に同一の機能を有するため、各部の説明は省略する。   The virtual machine server 200 has substantially the same configuration as the virtual machine server 100. The CPU 210, main storage device 220, secondary storage device 230, copied page list 231, page conversion table 232, communication device 240, OS 250, and hypervisor 260 of the virtual machine server 200 are the same as those of the migration source virtual machine server 100. Since the CPU 110, the main storage device 120, the secondary storage device 130, the copied page list 131, the page conversion table 132, the communication device 140, the OS 150, and the hypervisor 160 have substantially the same functions, the description of each part Omitted.

仮想マシンサーバ２００のハイパーバイザ２６０の機能構成図を図２（Ｂ）に示す。ハイパーバイザ２６０は、機能的には、図２（Ｂ）に示すように、仮想マシン実行管理部２６１と、ハードウェア構成管理部２６２と、コマンド処理部２６３と、マイグレーション実行制御部２６４と、ＣＰＵ制御部２６５と、メモリ制御部２６６と、ファイル制御部２６７と、通信制御部２６８とを備え、こららの各部は、仮想マシンサーバ１００のハイパーバイザ１６０の仮想マシン実行管理部１６１と、ハードウェア構成管理部１６２と、コマンド処理部１６３と、マイグレーション実行制御部１６４と、ＣＰＵ制御部１６５と、メモリ制御部１６６と、ファイル制御部１６７と、通信制御部１６８の各部と実質的に同一の機能を有するため、これら各部の説明は省略する。   A functional configuration diagram of the hypervisor 260 of the virtual machine server 200 is shown in FIG. As shown in FIG. 2B, the hypervisor 260 functionally includes a virtual machine execution management unit 261, a hardware configuration management unit 262, a command processing unit 263, a migration execution control unit 264, and a CPU. A control unit 265, a memory control unit 266, a file control unit 267, and a communication control unit 268, each of which includes a virtual machine execution management unit 161 of the hypervisor 160 of the virtual machine server 100, a hardware Functions substantially the same as those of the configuration management unit 162, the command processing unit 163, the migration execution control unit 164, the CPU control unit 165, the memory control unit 166, the file control unit 167, and the communication control unit 168. Therefore, description of these parts is omitted.

図１に戻り、仮想マシンサーバ２００上には、複数の仮想マシンが構築されている。こららの仮想マシンは、仮想マシンサーバ１００上に構築されている複数の仮想マシンと、実質的に同様な構成である。   Returning to FIG. 1, a plurality of virtual machines are constructed on the virtual machine server 200. These virtual machines have substantially the same configuration as a plurality of virtual machines built on the virtual machine server 100.

続いて、仮想マシンシステムの動作について説明する。
最初に、仮想マシンサーバ１００から仮想マシンサーバ２００に仮想マシンを移行（マイグレーション）させる、マイグレーション処理について、図５、図６を参照して説明する。 Next, the operation of the virtual machine system will be described.
First, a migration process for migrating a virtual machine from the virtual machine server 100 to the virtual machine server 200 will be described with reference to FIGS.

例えば、仮想マシンサーバ１００において、ユーザからのマイグレーションの開始を要求するコマンドをハイパーバイザ１６０のコマンド処理部１６３が受信すると（ステップＳ１０１）、ハイパーバイザ１６０のマイグレーション実行制御部１６４は、通信制御部１６８を制御して、仮想マシンサーバ２００に対して、マイグレーションの開始要求を送信する（ステップＳ１０２）。なお、この開始要求には、ハードウェア構成管理部１６２から読み出した、仮想マシンの仮想ハードウェアの構成情報（ＣＰＵのクロック数、メモリサイズ、ハードディスク装置のサイズ、通信装置の種類やポート数等）が含まれているものとする。   For example, in the virtual machine server 100, when the command processing unit 163 of the hypervisor 160 receives a command requesting the start of migration from the user (step S101), the migration execution control unit 164 of the hypervisor 160 displays the communication control unit 168. And a migration start request is transmitted to the virtual machine server 200 (step S102). In this start request, the configuration information of the virtual hardware of the virtual machine read from the hardware configuration management unit 162 (CPU clock number, memory size, hard disk device size, type of communication device, number of ports, etc.) Is included.

移行先の仮想マシンサーバ２００のハイパーバイザ２６０の通信制御部２６８がマイグレーションの開始要求を受信すると（ステップＳ２０１）、マイグレーション実行制御部２６４は、該開始要求に含まれる移行対象の仮想マシンのハードウェア構成情報と、ハードウェア構成管理部２６２から読み出した物理ハードウェアの構成情報とを比較し、仮想マシンが仮想マシンサーバ２００に移行可能であるか否かを判別する（ステップＳ２０２）。
具体的には、マイグレーション実行制御部２６４は、移行対象となる仮想マシンのＣＰＵとＣＰＵ２１０の型番を比較して互換性があるか否かを判別したり、移行対象となる仮想マシンのハードウェア構成情報と仮想マシンサーバ２００のハードウェア構成の整合性を確認したり、移行対象となる仮想マシンが要求するリソース（ＣＰＵサイクル、メモリ、スワップファイル等）を仮想マシンサーバ２００で割り当て可能であるか否かを判断する等して、移行可能か否かの判別を行えばよい。 When the communication control unit 268 of the hypervisor 260 of the migration destination virtual machine server 200 receives the migration start request (step S201), the migration execution control unit 264 includes the hardware of the migration target virtual machine included in the start request. The configuration information is compared with the configuration information of the physical hardware read from the hardware configuration management unit 262, and it is determined whether or not the virtual machine can be migrated to the virtual machine server 200 (step S202).
Specifically, the migration execution control unit 264 compares the CPU model number of the migration target virtual machine and the CPU 210 to determine whether they are compatible, or determines the hardware configuration of the migration target virtual machine. Whether the virtual machine server 200 can confirm the consistency between the information and the hardware configuration of the virtual machine server 200, and can allocate resources (CPU cycle, memory, swap file, etc.) requested by the virtual machine to be migrated. It may be determined whether or not migration is possible, for example, by determining whether or not.

移行が不可能であると判別した場合（ステップＳ２０２；Ｎｏ）、マイグレーション実行制御部２６４は、通信制御部２６８を制御して、移行不可能を示す処理結果を、移行元の仮想マシンサーバ１００に送信する（ステップＳ２０４）。   If it is determined that migration is not possible (step S202; No), the migration execution control unit 264 controls the communication control unit 268 to send a processing result indicating that migration is not possible to the migration source virtual machine server 100. Transmit (step S204).

移行が可能であると判別した場合（ステップＳ２０２；Ｙｅｓ）ハイパーバイザ２６０のハードウェア構成管理部２６２は、ステップＳ２０１で受信したマイグレーション開始要求に含まれる仮想マシンのハードウェア構成情報に基づいて、仮想マシンの仮想ハードウェアに対してリソースの割り当てを行う（ステップＳ２０３）。そして、割り当て処理が完了すると、マイグレーション実行制御部２６４は、通信制御部２６８を制御して、リソース割り当ての完了を示す処理結果通知を仮想マシンサーバ１００に送信する（ステップＳ２０４）。   When it is determined that migration is possible (step S202; Yes), the hardware configuration management unit 262 of the hypervisor 260 performs virtual processing based on the hardware configuration information of the virtual machine included in the migration start request received in step S201. Resources are allocated to the virtual hardware of the machine (step S203). When the allocation process is completed, the migration execution control unit 264 controls the communication control unit 268 to transmit a process result notification indicating the completion of resource allocation to the virtual machine server 100 (step S204).

移行元の仮想マシンサーバ１００のハイパーバイザ１６０の通信制御部１６８は、移行先の仮想マシンサーバ２００から処理結果通知を受信する（ステップＳ１０３）。そして、ハイパーバイザ１６０のマイグレーション実行制御部１６４は、受信した処理結果通知から、仮想マシンの移行が可能であるか否かを判別する（ステップＳ１０４）。   The communication control unit 168 of the hypervisor 160 of the migration source virtual machine server 100 receives the processing result notification from the migration destination virtual machine server 200 (step S103). The migration execution control unit 164 of the hypervisor 160 determines whether the virtual machine can be migrated from the received processing result notification (step S104).

移行が不可能であると判別した場合（ステップＳ１０４；移行不可）、移行先へ仮想マシンを移行することは不可能となり、マイグレーション実行制御部１６４は、マイグレーション処理を終了する。   When it is determined that migration is impossible (step S104; migration is impossible), it is impossible to migrate the virtual machine to the migration destination, and the migration execution control unit 164 ends the migration process.

移行が可能であると判別した場合（ステップＳ１０４；移行可）、マイグレーション実行制御部１６４は、ＣＰＵ制御部１６５を用いて、移行対象の仮想マシンのＣＰＵのキャッシュメモリのスナップショットを取得する（ステップＳ１０５）。そして、マイグレーション実行制御部１６４は、通信制御部１６８を制御して、取得したスナップショットを仮想マシンサーバ２００に送信する（図６、ステップＳ１０６）。   When it is determined that migration is possible (step S104; migration is possible), the migration execution control unit 164 uses the CPU control unit 165 to acquire a cache memory snapshot of the migration target virtual machine (step S104). S105). Then, the migration execution control unit 164 controls the communication control unit 168 to transmit the acquired snapshot to the virtual machine server 200 (FIG. 6, step S106).

移行先の仮想マシンサーバ２００のハイバーバイザ２６０の通信制御部２６８が、キャッシュメモリのスナップショットを受信すると（ステップＳ２０５）、マイグレーション実行制御部２６４は、受信したスナップショットに基づいて、仮想マシンのＣＰＵのキャッシュメモリを設定する（ステップＳ２０６）。そして、キャッシュメモリの設定が完了すると、マイグレーション実行制御部２６４は、通信制御部２６８を介して、キャッシュメモリの設定が完了したことを、移行元の仮想マシンサーバ１００に通知する（ステップＳ２０７）。   When the communication control unit 268 of the hypervisor 260 of the migration destination virtual machine server 200 receives the snapshot of the cache memory (step S205), the migration execution control unit 264, based on the received snapshot, of the CPU of the virtual machine A cache memory is set (step S206). When the cache memory setting is completed, the migration execution control unit 264 notifies the migration source virtual machine server 100 of the completion of the cache memory setting via the communication control unit 268 (step S207).

移行元の仮想マシンサーバ１００のハイパーバイザ１６０の通信制御部１６８がキャッシュメモリ設定の完了の通知を受信すると（ステップＳ１０７）、マイグレーション実行制御部１６４は、仮想マシン実行管理部１６１を制御して、移行対象の仮想マシンの動作を中断する（ステップＳ１０８）。   When the communication control unit 168 of the hypervisor 160 of the migration source virtual machine server 100 receives the notification of completion of the cache memory setting (step S107), the migration execution control unit 164 controls the virtual machine execution management unit 161, The operation of the migration target virtual machine is interrupted (step S108).

そして、マイグレーション実行制御部１６４は、ＣＰＵ制御部１６５を用いて、ステップＳ１０６のキャッシュメモリの送信中に更新された仮想マシンのＣＰＵのキャッシュメモリの差分情報とレジスタ情報とを取得し、移行先の仮想マシンサーバ２００に送信する（ステップＳ１０９）。   Then, the migration execution control unit 164 uses the CPU control unit 165 to obtain the cache memory difference information and the register information of the CPU of the virtual machine updated during the transmission of the cache memory in step S106, and the migration destination It transmits to the virtual machine server 200 (step S109).

移行先の仮想マシンサーバ２００のハイパーバイザ２６０の通信制御部２６８が、キャッシュメモリの差分情報とレジスタ情報とを受信すると（ステップＳ２０８）、マイグレーション実行制御部２６４は、それらの情報に基づいて、仮想マシンのＣＰＵのキャッシュメモリとレジスタとを設定する（ステップＳ２０９）。この設定により、移行先の仮想マシンサーバ２００の仮想マシンのキャッシュメモリとレジスタの状態は、移行元の仮想マシンサーバ１００の仮想マシンのキャッシュメモリとレジスタの状態と実質的に同一になる。   When the communication control unit 268 of the hypervisor 260 of the migration destination virtual machine server 200 receives the difference information and the register information of the cache memory (step S208), the migration execution control unit 264, based on the information, A cache memory and a register of the CPU of the machine are set (step S209). With this setting, the state of the cache memory and the register of the virtual machine of the migration destination virtual machine server 200 becomes substantially the same as the state of the cache memory and the register of the virtual machine of the migration source virtual machine server 100.

続いて、マイグレーション実行制御部２６４は、仮想マシン実行管理部１６１を制御して、キャッシュメモリとレジスタを設定した仮想マシンを実行させる（ステップＳ２１０）。   Subsequently, the migration execution control unit 264 controls the virtual machine execution management unit 161 to execute the virtual machine in which the cache memory and the register are set (step S210).

そして、仮想マシンが実行されると、マイグレーション実行制御部２６４は、通信制御部２６８を介して、その旨を示す通知を仮想マシンサーバ１００に送信する（ステップＳ２１１）。仮想マシンサーバ１００のハイパーバイザ１６０の通信制御部１６８が、移行先の仮想マシンサーバ２００で仮想マシンが実行されたことを示す通知を受信して（ステップＳ１１０）、マイグレーション処理は終了する。   When the virtual machine is executed, the migration execution control unit 264 transmits a notification indicating that to the virtual machine server 100 via the communication control unit 268 (step S211). The communication control unit 168 of the hypervisor 160 of the virtual machine server 100 receives the notification indicating that the virtual machine has been executed on the migration destination virtual machine server 200 (step S110), and the migration process ends.

このように、移行元の仮想マシンサーバ１００で起動していた仮想マシンが移行先の仮想マシンサーバ２００上に移動されて起動される。なお、この段階では、移行先の仮想マシンサーバ２００で起動された仮想マシンの主記憶装置とスワップファイルの情報は移動されておらず、移行元の仮想マシンサーバ１００側にある状態である。   In this way, the virtual machine that was activated on the migration source virtual machine server 100 is moved to the migration destination virtual machine server 200 and activated. At this stage, the information on the main storage device and the swap file of the virtual machine activated on the migration destination virtual machine server 200 has not been moved, and is in the state on the migration source virtual machine server 100 side.

続いて、移行先の仮想マシンサーバ２００で起動している仮想マシンで演算処理などが実行され、主記憶装置に記憶されている情報（以下、メモリ情報とする）が必要となった場合の処理について、図７〜図９を参照して説明する。   Subsequently, a process in a case where arithmetic processing or the like is executed on the virtual machine activated on the migration destination virtual machine server 200 and information stored in the main storage device (hereinafter referred to as memory information) is required. Will be described with reference to FIGS.

移行先の仮想マシンサーバ２００で起動している仮想マシンで演算処理などが実行され、当該仮想マシンの主記憶装置上の情報（メモリ情報）にアクセスする必要が生じた場合、まず、ＣＰＵのＡＬＵは、当該メモリ情報に対してＲｅａｄ／Ｗｒｉｔｅ命令を発行する（ステップＳ３０１）。   When arithmetic processing or the like is executed in the virtual machine activated on the migration destination virtual machine server 200 and it becomes necessary to access information (memory information) on the main storage device of the virtual machine, first, the CPU's ALU Issues a Read / Write command to the memory information (step S301).

続いて、仮想マシンサーバ２００のＯＳは、仮想マシンからＲｅａｄ／Ｗｒｉｔｅ命令が発行されると、所定のページテーブルなどを用いて、当該Ｒｅａｄ／Ｗｒｉｔｅ命令に設定されている仮想マシンの仮想メモリ上の読出アドレスを、仮想ハードウェア（主記憶装置）上の物理アドレスに変換する（ステップＳ３０２）。なお、説明を容易にするために、このステップＳ３０２の処理によって変換された仮想ハードウェア上の物理アドレスをＶＭＰＭＡ１として、以下説明する。   Subsequently, when a Read / Write command is issued from the virtual machine, the OS of the virtual machine server 200 uses a predetermined page table or the like on the virtual memory of the virtual machine set in the Read / Write command. The read address is converted into a physical address on the virtual hardware (main storage device) (step S302). For ease of explanation, the physical address on the virtual hardware converted by the processing in step S302 will be described below as VMPMA1.

続いて、仮想マシンサーバ２００の仮想マシンのＣＰＵのＡＬＵは、アクセス対象のメモリ情報が、キャッシュメモリに記憶（キャッシュ）されているか否かを判別する（ステップＳ３０３）。   Subsequently, the ALU of the CPU of the virtual machine of the virtual machine server 200 determines whether the memory information to be accessed is stored (cached) in the cache memory (step S303).

メモリ情報がキャッシュメモリに記憶されていると判別した場合（ステップＳ３０３；Ｙｅｓ）、ＣＰＵのＡＬＵは、そのキャッシュメモリに記憶されているメモリ情報を用いて所定の処理を実行し、処理は終了する。   When it is determined that the memory information is stored in the cache memory (step S303; Yes), the ALU of the CPU executes a predetermined process using the memory information stored in the cache memory, and the process ends. .

メモリ情報がキャッシュメモリに記憶されていないと判別した場合（ステップＳ３０３；Ｎｏ）、   When it is determined that the memory information is not stored in the cache memory (step S303; No),

続いて、仮想マシンサーバ２００のハイパーバイザ２６０の仮想マシン実行管理部２６１は、Ｒｅａｄ／Ｗｒｉｔｅ命令の発行を検知すると、Ｒｅａｄ／Ｗｒｉｔｅ命令による処理を一時的に停止する（ステップＳ３０４）。   Subsequently, when the virtual machine execution management unit 261 of the hypervisor 260 of the virtual machine server 200 detects the issuance of the Read / Write command, the virtual machine execution management unit 261 temporarily stops the processing by the Read / Write command (Step S304).

続いて、仮想マシン実行管理部２６１は、ステップＳ３０２で変換したＶＭＰＭＡ１に対応するページ番号（以下、ＰＮ−ＶＭＰＭＡ１とする）を所定のページテーブル等から取得する。そして、仮想マシン実行管理部２６１は、メモリ制御部２６６を制御して、取得したＰＮ−ＶＭＰＭＡ１がコピー済ページリスト２３１に登録されているか否かを判別する（ステップＳ３０５）。   Subsequently, the virtual machine execution management unit 261 acquires a page number (hereinafter referred to as PN-VMMPA1) corresponding to the VMMPMA1 converted in step S302 from a predetermined page table or the like. Then, the virtual machine execution management unit 261 controls the memory control unit 266 to determine whether or not the acquired PN-VMMPMA1 is registered in the copied page list 231 (step S305).

ＰＮ−ＶＭＰＭＡ１がコピー済ページリスト２３１に登録されていると判別した場合（ステップＳ３０５；Ｙｅｓ）、メモリ情報は仮想マシンサーバ２００に既に存在していることとなる。続いて、仮想マシン実行管理部２６１は、メモリ制御部２６６を介して、ページ変換テーブル２３２を参照して、ＰＮ−ＶＭＰＭＡ１に、物理ハードウェア（主記憶装置２２０）上の物理アドレスに対応するページ番号（ＰＮ−ＰＭＡ１とする）と二次記憶装置２３０上の記録開始位置（ＳＡ−ＰＤＡ１）のどちらが対応付けられているかを判別する（ステップＳ３０６）。   If it is determined that PN-VMPMA1 is registered in the copied page list 231 (step S305; Yes), the memory information already exists in the virtual machine server 200. Subsequently, the virtual machine execution management unit 261 refers to the page conversion table 232 via the memory control unit 266 and sends a page corresponding to the physical address on the physical hardware (main storage device 220) to the PN-VMMPA1. It is determined which number (PN-PMA1) is associated with the recording start position (SA-PDA1) on the secondary storage device 230 (step S306).

ＰＮ−ＰＭＡ１が対応付けられていると判別した場合（ステップＳ３０６；ＰＮ−ＰＭＡ１）、仮想マシン実行管理部２６１は、ＯＳ２５０が備える所定のページテーブル等を参照して、ＰＮ−ＰＭＡ１に対応した物理ＨＷ上（主記憶装置２２０上）の物理アドレス（ＰＭＡ１）を取得する（ステップＳ３０７）。   When it is determined that PN-PMA1 is associated (step S306; PN-PMA1), the virtual machine execution management unit 261 refers to a predetermined page table or the like provided in the OS 250 and the physical corresponding to PN-PMA1 The physical address (PMA1) on the HW (on the main storage device 220) is acquired (step S307).

続いて、仮想マシン実行管理部２６１は、Ｒｅａｄ／Ｗｒｉｔｅ命令に設定されているメモリ情報への読出アドレスを、取得したＰＭＡ１に変更する（ステップＳ３０８）。そして、仮想マシン実行管理部２６１は、ステップＳ３０４で停止した処理を再開して、Ｒｅａｄ／Ｗｒｉｔｅ命令を実行する（ステップＳ３０９）。以上で処理は終了する。   Subsequently, the virtual machine execution management unit 261 changes the read address to the memory information set in the Read / Write instruction to the acquired PMA1 (Step S308). Then, the virtual machine execution management unit 261 resumes the process stopped in step S304 and executes the Read / Write command (step S309). The process ends here.

ＳＡ−ＰＤＡ１が対応付けられていると判別した場合（ステップＳ３０６；ＳＡ−ＰＤＡ１）、仮想マシン実行管理部２６１は、ＳＡ−ＰＤＡ１が示す二次記憶装置２３０の記録開始位置から、１ページ分の情報（ファイル）を読み出す（ステップＳ３１０）。   When it is determined that SA-PDA1 is associated (step S306; SA-PDA1), the virtual machine execution management unit 261 starts from the recording start position of the secondary storage device 230 indicated by SA-PDA1. Information (file) is read (step S310).

そして、仮想マシン実行管理部２６１は、ファイル制御部２６７を制御して、読み出した情報（ファイル）を主記憶装置２２０に保存、即ち、スワップインする（ステップＳ３１１）。   Then, the virtual machine execution management unit 261 controls the file control unit 267 to save the read information (file) in the main storage device 220, that is, swap in (step S311).

また、仮想マシン実行管理部２６１は、ファイル制御部２６７を制御して、スワップインしたファイルの代わりに、主記憶装置２２０に保存されているファイルを二次記憶装置２３０に移動、即ち、スワップアウトする（ステップＳ３１２）。なお、スワップアウトされたファイルがスワップアウトされる前に記憶されていた主記憶装置２２０上の物理アドレスに対応するページ番号をＰＮ−ＰＭＡ２’として以下説明する。   In addition, the virtual machine execution management unit 261 controls the file control unit 267 to move the file stored in the main storage device 220 to the secondary storage device 230 instead of the swapped-in file, that is, swap out. (Step S312). In the following description, the page number corresponding to the physical address on the main storage device 220 stored before the swapped out file is swapped out will be described as PN-PMA2 '.

続いて、仮想マシン実行管理部２６１は、メモリ制御部２６６を制御して、ステップＳ３１１とステップＳ３１２とで実施されたスワップイン、および、スワップアウトの処理を、ページ変換テーブル２３２に反映させる（ステップＳ３１３）。
具体的には、仮想マシン実行管理部２６１は、メモリ制御部２６６を制御して、ＰＮ−ＶＭＰＭＡ１と、ステップＳ３１１でスワップインしたファイルのＰＮ−ＰＭＡとの組を、ページ変換テーブル２３２に新規レコードとして登録する。なお、この登録したレコードのスワップ退避フラグはＦａｌｓｅに、コピー済フラグはＴｒｕｅに設定する（スワップインの反映）。
また、仮想マシン実行管理部２６１は、ＰＮ−ＰＭＡ２’が登録されているページ変換テーブル１３２のレコードのＰＮ−ＰＭＡを、ステップＳ３１２でスワップアウトされたファイルのＳＡ−ＰＤＡに、また、当該レコードのスワップ退避フラグをＴｒｕｅに変更する（スワップアウトの反映）。 Subsequently, the virtual machine execution management unit 261 controls the memory control unit 266 to reflect the swap-in and swap-out processing performed in Step S311 and Step S312 in the page conversion table 232 (Step S311). S313).
Specifically, the virtual machine execution management unit 261 controls the memory control unit 266 to newly record a pair of the PN-VMMPA1 and the PN-PMA of the file swapped in in step S311 in the page conversion table 232. Register as Note that the swap save flag of this registered record is set to False, and the copied flag is set to True (reflecting swap-in).
Further, the virtual machine execution management unit 261 converts the PN-PMA of the record of the page conversion table 132 in which PN-PMA2 ′ is registered into the SA-PDA of the file swapped out in step S312 and the record of the record. Change the swap save flag to True (reflect swap-out).

続いて、仮想マシン実行管理部２６１は、Ｒｅａｄ／Ｗｒｉｔｅ命令に設定されているメモリ情報への読出アドレスを、スワップインされたファイルの物理ハードウェア上の物理アドレスに変換する（ステップＳ３１４）。そして、仮想マシン実行管理部２６１は、ステップＳ３０４で停止した処理を再開して、Ｒｅａｄ／Ｗｒｉｔｅ命令を実行する（ステップＳ３０９）。以上で、処理は終了する。   Subsequently, the virtual machine execution management unit 261 converts the read address to the memory information set in the Read / Write instruction into a physical address on the physical hardware of the swapped-in file (Step S314). Then, the virtual machine execution management unit 261 resumes the process stopped in step S304 and executes the Read / Write command (step S309). This is the end of the process.

ＰＮ−ＶＭＰＭＡ１がコピー済ページリスト１３１に登録されていないと判別した場合（ステップＳ３０５；Ｎｏ）、メモリ情報は、移行元の仮想マシンサーバ１００に存在することとなる。そのため、仮想マシン実行管理部２６１は、仮想マシンのＯＳで使用されているページテーブル等を用いて、ＰＮ−ＶＭＰＭＡ１から仮想ＨＷ上の物理アドレス（ＶＭＰＭＡ１）を取得し（ステップＳ３１５）、仮想マシン実行管理部２６１は、通信制御部２６８を介して、移行元の仮想マシンサーバ１００に、取得したＶＭＰＭＡ１を取得先としたメモリ情報の取得要求を送信する（ステップＳ３１６）。   When it is determined that PN-VMPMA1 is not registered in the copied page list 131 (step S305; No), the memory information exists in the migration source virtual machine server 100. Therefore, the virtual machine execution management unit 261 acquires the physical address (VMPMA1) on the virtual HW from the PN-VMMPA1 using the page table or the like used in the OS of the virtual machine (Step S315), and executes the virtual machine execution The management unit 261 transmits a memory information acquisition request using the acquired VMPMA1 as an acquisition destination to the migration source virtual machine server 100 via the communication control unit 268 (step S316).

移行元の仮想マシンサーバ１００のハイパーバイザ１６０の通信制御部１６８が、メモリ情報の取得要求を受信すると（図８、ステップＳ４１０）、マイグレーション実行制御部１６４は、ＯＳ１５０で使用されている一般的なページテーブル等を参照して、該取得要求に含まれるＶＭＰＭＡ１に対応するページ番号（ＰＮ−ＶＭＰＭＡ１）を取得する（ステップＳ４１１）。   When the communication control unit 168 of the hypervisor 160 of the migration source virtual machine server 100 receives the memory information acquisition request (step S410 in FIG. 8), the migration execution control unit 164 is a general one used in the OS 150. With reference to the page table or the like, the page number (PN-VMMPA1) corresponding to VMPMA1 included in the acquisition request is acquired (step S411).

続いて、マイグレーション実行制御部１６４は、メモリ制御部１６６を用いてページ変換テーブル１３２を参照し、ステップＳ４１１で取得したＰＮ−ＶＭＰＭＡ１に、物理ハードウェア（主記憶装置１２０）上の物理アドレスに対応するページ番号（以下、ＰＮ−ＰＭＡ１とする）と物理ディスク（二次記憶装置１３０）上の記録開始位置（以下、ＳＡ−ＰＤＡ１とする）のどちらが対応付けられているかを判別する（ステップＳ４１２）。   Subsequently, the migration execution control unit 164 uses the memory control unit 166 to refer to the page conversion table 132, and corresponds to the PN-VMMPMA1 acquired in step S411 corresponding to the physical address on the physical hardware (main storage device 120). It is determined which page number (hereinafter referred to as PN-PMA1) to be associated with the recording start position (hereinafter referred to as SA-PDA1) on the physical disk (secondary storage device 130) is associated (step S412). .

ＰＮ−ＰＭＡ１が対応付けられていると判別した場合（ステップＳ４１２；ＰＮ−ＰＭＡ１）、マイグレーション実行制御部１６４は、ＯＳ１５０が使用する所定のページテーブルを参照して、ＰＮ−ＰＭＡ１に対応した物理ハードウェア（主記憶装置１２０）上の物理アドレス（ＰＭＡ１）を判別するとともに、メモリ制御部１６６を制御して、ＰＭＡ１に格納されている情報（メモリページ）を読み出す（ステップＳ４１３）。   When it is determined that PN-PMA1 is associated (step S412; PN-PMA1), the migration execution control unit 164 refers to a predetermined page table used by the OS 150 and performs physical hardware corresponding to PN-PMA1. The physical address (PMA1) on the hardware (main storage device 120) is determined, and the memory control unit 166 is controlled to read the information (memory page) stored in PMA1 (step S413).

続いて、マイグレーション実行制御部１６４は、読み出した情報（メモリページ）を移行先の仮想マシンサーバ２００に送信する（ステップＳ４１４）。また、この送信が完了した後、マイグレーション実行制御部１６４は、ページ変換テーブル１３２のＰＮ−ＰＭＡ１が記憶されているレコードのコピー済フラグをＴｒｕｅに更新する。   Subsequently, the migration execution control unit 164 transmits the read information (memory page) to the migration destination virtual machine server 200 (step S414). Further, after this transmission is completed, the migration execution control unit 164 updates the copied flag of the record storing the PN-PMA1 of the page conversion table 132 to True.

ＳＡ−ＰＤＡ１が対応付けられていると判別した場合（ステップＳ４１２；ＳＡ−ＰＤＡ１）、マイグレーション実行制御部１６４は、ファイル制御部１６７を制御して、二次記憶装置１３０のＳＡ−ＰＤＡ１が示す記録開始位置から、１ページ分の情報（メモリページ）を読み出す（ステップＳ４１５）。そして、マイグレーション実行制御部１６４は、通信制御部１６８を介して、読み出した情報（メモリページ）を移行先の仮想マシンサーバ２００に送信する（ステップＳ４１４）。また、この送信が完了した後、マイグレーション実行制御部１６４は、ページ変換テーブル１３２のＳＡ−ＰＤＡ１が記憶されているレコードのコピー済フラグをＴｒｕｅに更新する。   When it is determined that SA-PDA1 is associated (step S412; SA-PDA1), the migration execution control unit 164 controls the file control unit 167 to record the SA-PDA1 of the secondary storage device 130. One page of information (memory page) is read from the start position (step S415). Then, the migration execution control unit 164 transmits the read information (memory page) to the migration destination virtual machine server 200 via the communication control unit 168 (step S414). Further, after this transmission is completed, the migration execution control unit 164 updates the copied flag of the record in which the SA-PDA1 of the page conversion table 132 is stored to True.

仮想マシンサーバ２００のハイパーバイザ２６０の通信制御部２６８が、仮想マシンサーバ１００から情報（メモリページ）を受信すると（図９、ステップＳ３１７）、仮想マシン実行管理部２６１は、受信した情報（メモリページ）を記憶するための空きページが主記憶装置２２０に有るか否かを判別する（ステップＳ３１８）。   When the communication control unit 268 of the hypervisor 260 of the virtual machine server 200 receives information (memory page) from the virtual machine server 100 (FIG. 9, step S317), the virtual machine execution management unit 261 receives the received information (memory page). ) Is determined in the main storage device 220 (step S318).

空きが主記憶装置２２０に有ると判別した場合（ステップＳ３１８；Ｙｅｓ）、仮想マシン実行管理部２６１は、主記憶装置２２０の空きページに、移行元の仮想マシンサーバ１００から受信した情報（メモリページ）を記憶し（ステップＳ３１９）、処理をステップＳ３２３に移す。なお、この記憶した位置のＰＮ−ＶＭＰＭＡとＰＮ−ＰＭＡを、ＰＮ−ＶＭＰＭＡ２とＰＮ−ＰＭＡ２として以下説明する。   When it is determined that there is a free space in the main storage device 220 (step S318; Yes), the virtual machine execution management unit 261 displays information (memory page) received from the migration source virtual machine server 100 as a free page in the main storage device 220. ) Is stored (step S319), and the process proceeds to step S323. The PN-VMPMA and PN-PMA at the stored positions will be described below as PN-VMPMA2 and PN-PMA2.

また、空きが主記憶装置２２０にないと判別した場合（ステップＳ３１８；Ｎｏ）、仮想マシン実行管理部２６１は、ファイル制御部２６７を用いて、主記憶装置２２０の任意のページ（ＰＮ−ＰＭＡ’とする）に記憶されているメモリページを、二次記憶装置２３０の任意のページ（ＳＡ−ＰＤＡ’とする）に退避（スワップアウト）させる（ステップＳ３２０）。   When it is determined that there is no free space in the main storage device 220 (step S318; No), the virtual machine execution management unit 261 uses the file control unit 267 to select an arbitrary page (PN-PMA ′) in the main storage device 220. The memory page stored in the second storage device 230 is saved (swapped out) to an arbitrary page (referred to as SA-PDA ′) (step S320).

続いて、仮想マシン実行管理部２６１は、メモリ制御部２６６を制御して、ステップＳ３２０で実施したスワップアウトの処理を、ページ変換テーブル２３２に反映させる（ステップＳ３２１）。具体的には、仮想マシン実行管理部２６１は、ＰＮ−ＰＭＡ’が登録されているページ変換テーブル２３２のレコードの「ＰＮ−ＰＭＡ／ＳＡ−ＰＤＡ」をＳＡ−ＰＤＡ’に、また、当該レコードのスワップ退避フラグをＴｒｕｅに変更する。   Subsequently, the virtual machine execution management unit 261 controls the memory control unit 266 to reflect the swap-out process performed in step S320 in the page conversion table 232 (step S321). Specifically, the virtual machine execution management unit 261 sets “PN-PMA / SA-PDA” in the record of the page conversion table 232 in which PN-PMA ′ is registered to SA-PDA ′, Change the swap save flag to True.

続いて、仮想マシン実行管理部２６１は、メモリ制御部２６６を制御して、退避された空きページに、仮想マシンサーバ１００から受信した情報（メモリページ）を記憶する（ステップＳ３２２）。なお、この記録した位置のＰＮ−ＶＭＰＭＡとＰＮ−ＰＭＡを、ＰＮ−ＶＭＰＭＡ２とＰＮ−ＰＭＡ２として以下説明する。   Subsequently, the virtual machine execution management unit 261 controls the memory control unit 266 to store the information (memory page) received from the virtual machine server 100 in the saved empty page (step S322). The PN-VMPMA and PN-PMA at the recorded positions will be described below as PN-VMPMA2 and PN-PMA2.

続いて、ステップＳ３２３において、仮想マシン実行管理部２６１は、メモリ制御部２６６を制御して、仮想マシンサーバ１００から受信した情報（メモリページ）の格納先をページ変換テーブル２３２に登録する（ステップＳ３２３）。
具体的には、ＰＮ−ＶＭＰＭＡ２とＰＮ−ＰＭＡ２との組を、ページ変換テーブル２３２に新規レコードとして登録する。なお、この登録したレコードのスワップ退避フラグはＦａｌｓｅに、コピー済フラグはＴｒｕｅに設定する。 Subsequently, in step S323, the virtual machine execution management unit 261 controls the memory control unit 266 to register the storage destination of the information (memory page) received from the virtual machine server 100 in the page conversion table 232 (step S323). ).
Specifically, a set of PN-VMPMA2 and PN-PMA2 is registered in the page conversion table 232 as a new record. Note that the swap save flag of this registered record is set to False, and the copied flag is set to True.

続いて、仮想マシン実行管理部２６１は、メモリ制御部２６６を制御して、コピー済ページリスト２３１に、ＰＮ−ＰＭＡ２を登録する（ステップＳ３２４）。   Subsequently, the virtual machine execution management unit 261 controls the memory control unit 266 to register PN-PMA2 in the copied page list 231 (step S324).

そして、仮想マシン実行管理部２６１は、ＯＳ２５０に備えられている所定のページテーブル等を参照して、ＰＮ−ＰＭＡ２に対応した物理ハードウェア（主記憶装置２２０）上の物理アドレス（ＰＭＡ２）を取得する（ステップＳ３２５）。そして、仮想マシン実行管理部２６１は、Ｒｅａｄ／Ｗｒｉｔｅ命令に設定されているメモリ情報への読出アドレスを、取得したＰＭＡ２に変更する（ステップＳ３２６）。そして、仮想マシン実行管理部２６１は、ステップＳ３０４で停止した処理を再開して、Ｒｅａｄ／Ｗｒｉｔｅ命令を実行する（図７、ステップＳ３０９）。以上で処理は終了する。   Then, the virtual machine execution management unit 261 acquires a physical address (PMA2) on the physical hardware (main storage device 220) corresponding to the PN-PMA2 by referring to a predetermined page table or the like provided in the OS 250. (Step S325). Then, the virtual machine execution management unit 261 changes the read address to the memory information set in the Read / Write command to the acquired PMA 2 (Step S326). Then, the virtual machine execution management unit 261 resumes the process stopped in step S304 and executes the Read / Write command (FIG. 7, step S309). The process ends here.

このように、移行先の仮想マシンサーバ２００で起動している仮想マシンで演算処理などが実行され、仮想ハードウェアの主記憶装置に記憶されている情報にアクセスする必要が生じた際には、該情報が仮想マシンサーバ２００にあるか否かが判別され、無い場合には、移行元の仮想マシンサーバ１００で該情報が取得されて送信される。   In this way, when arithmetic processing or the like is executed on the virtual machine activated on the migration destination virtual machine server 200 and it becomes necessary to access information stored in the main storage device of the virtual hardware, It is determined whether or not the information exists in the virtual machine server 200. If there is no such information, the information is acquired and transmitted by the migration source virtual machine server 100.

上述のマイグレーション処理の完了時点では、仮想マシンサーバ２００に移行された仮想マシンの仮想ハードウェアの主記憶装置に関する情報は、移行元の仮想マシンサーバ１００の主記憶装置１２０、又は二次記憶装置１３０のスワップファイルに記憶されている状態である。   At the time of completion of the above-described migration process, the information related to the main storage device of the virtual hardware of the virtual machine migrated to the virtual machine server 200 is the main storage device 120 of the migration source virtual machine server 100 or the secondary storage device 130. Is stored in the swap file.

一般的に、仮想マシンサーバ１００の主記憶装置１２０は、他の起動している仮想マシンで頻繁に使用されるため競合が発生し易く、パフォーマンスのボトルネックとなる可能性が高い。従って、この主記憶装置１２０に記憶されている移行された仮想マシンの主記憶装置の情報は、できるだけ早く解放する必要がある。   In general, since the main storage device 120 of the virtual machine server 100 is frequently used in other activated virtual machines, contention is likely to occur, and there is a high possibility that it becomes a performance bottleneck. Therefore, the information of the main storage device of the migrated virtual machine stored in the main storage device 120 needs to be released as soon as possible.

本実施形態では、マイグレーション処理が終了した後、移行元の仮想マシンサーバ１００のリソースの空き状況を監視しながら、移行された仮想マシンの主記憶装置の情報を移行先の仮想マシンサーバ２００に移動させ、移動させたリソースを解放する処理（リソース解放処理）が実施される。以下、このリソース解放処理について、図１０〜図１２を参照して詳細に説明する。   In this embodiment, after the migration process is completed, the information of the main storage device of the migrated virtual machine is moved to the migration destination virtual machine server 200 while monitoring the resource availability of the migration source virtual machine server 100. And a process of releasing the moved resource (resource release process) is performed. Hereinafter, this resource release process will be described in detail with reference to FIGS.

マイグレーション処理が終了後、移行元の仮想マシンサーバ１００のハイパーバイザ１６０のマイグレーション実行制御部１６４は、ＯＳ１５０の機能等を使用して、ＣＰＵ１１０の使用率を取得する（ステップＳ５０１）。   After the migration process is completed, the migration execution control unit 164 of the hypervisor 160 of the migration source virtual machine server 100 acquires the usage rate of the CPU 110 using the function of the OS 150 (step S501).

そして、マイグレーション実行制御部１６４は、取得したＣＰＵ１１０の使用率が、所定の閾値（例えば８０％）より少ないか否かを判別する（ステップＳ５０２）。   Then, the migration execution control unit 164 determines whether or not the acquired usage rate of the CPU 110 is less than a predetermined threshold (for example, 80%) (step S502).

ＣＰＵ１１０の使用率が閾値以上であると判別した場合（ステップＳ５０２；Ｎｏ）、ＣＰＵ１１０の負荷が大きすぎるため、主記憶装置１２０に記憶されている情報のコピーなどの以後の処理ができない。そのため、マイグレーション実行制御部１６４は、所定の時間（例えば５００ｍｓ）だけ処理を待ち（ステップＳ５０３）、再度、ＣＰＵ１１０の使用率の取得と、閾値を用いた判別処理（ステップＳ５０１、Ｓ５０２）を繰り返す。   If it is determined that the usage rate of the CPU 110 is equal to or greater than the threshold (step S502; No), the CPU 110 is too heavy to perform subsequent processing such as copying information stored in the main storage device 120. Therefore, the migration execution control unit 164 waits for processing for a predetermined time (for example, 500 ms) (step S503), and repeats acquisition of the usage rate of the CPU 110 and determination processing using the threshold (steps S501 and S502) again.

ＣＰＵ１１０の使用率が閾値より少ないと判別した場合（ステップＳ５０２；Ｙｅｓ）、マイグレーション実行制御部１６４は、メモリ制御部１６６を制御してページ変換テーブル１３２を参照し、仮想マシンサーバ２００に未だ移行していない仮想マシンの主記憶装置の情報（メモリページ）が有るか否かを判別する（ステップＳ５０４）。
具体的には、ページ変換テーブル１３２にコピー済フラグのＦａｌｓｅのレコードが有る場合に、未だ移行していない仮想マシンのメモリページが有る（ステップＳ５０４；Ｙｅｓ）、と判別すればよい。 If it is determined that the usage rate of the CPU 110 is less than the threshold (step S502; Yes), the migration execution control unit 164 controls the memory control unit 166 to refer to the page conversion table 132 and still migrates to the virtual machine server 200. It is determined whether there is information (memory page) on the main storage device of the virtual machine that has not been registered (step S504).
Specifically, when the page conversion table 132 includes a False record of a copied flag, it may be determined that there is a virtual machine memory page that has not yet been migrated (step S504; Yes).

未だ移行していない仮想マシンのメモリページは無いと判別した場合（ステップＳ５０４；Ｎｏ）、仮想マシンサーバ１００から仮想マシンサーバ２００へのメモリページの移行は完了していることとなり、処理は終了する。   If it is determined that there is no memory page of the virtual machine that has not yet been migrated (step S504; No), the migration of the memory page from the virtual machine server 100 to the virtual machine server 200 has been completed, and the process ends. .

未だ移行していないメモリページが有ると判別した場合（ステップＳ５０４；Ｙｅｓ）、マイグレーション実行制御部１６４は、メモリ制御部１６６を制御してページ変換テーブル１３２を参照し、そのメモリページが主記憶装置１２０に記憶されているか否かを判別する（ステップＳ５０５）。
具体的には、マイグレーション実行制御部１６４は、ページ変換テーブル１３２にコピー済フラグがＦａｌｓｅで、ＰＮ−ＰＭＡが対応付けられているレコードが有る場合に、メモリページは主記憶装置１２０に記憶されている（ステップＳ５０５；Ｙｅｓ）と判別すればよい。 If it is determined that there is a memory page that has not yet been migrated (step S504; Yes), the migration execution control unit 164 controls the memory control unit 166 to refer to the page conversion table 132, and the memory page is the main storage device. It is determined whether it is stored in 120 (step S505).
Specifically, the migration execution control unit 164 stores the memory page in the main storage device 120 if the page conversion table 132 includes a record with the copied flag set to False and associated with PN-PMA. (Step S505; Yes).

メモリページが主記憶装置１２０に記憶されていないと判別した場合（ステップＳ５０５；Ｎｏ）、メモリページは二次記憶装置１３０のスワップファイルに記憶されていることとなる。そして、仮想マシン実行管理部１６１は、スワップファイルのサイズ（スワップサイズ）を取得する（図１２、ステップＳ５１４）。   When it is determined that the memory page is not stored in the main storage device 120 (step S505; No), the memory page is stored in the swap file of the secondary storage device 130. The virtual machine execution management unit 161 acquires the size of the swap file (swap size) (FIG. 12, step S514).

そして、マイグレーション実行制御部１６４は、取得したスワップサイズが、所定の閾値（例えば、５０Ｍｂ）より小さいか否かを判別する（ステップＳ５１５）。   Then, the migration execution control unit 164 determines whether or not the acquired swap size is smaller than a predetermined threshold (for example, 50 Mb) (step S515).

スワップサイズが閾値より小さいと判別した場合（ステップＳ５１５；Ｙｅｓ）、処理をステップＳ５１７に移す。   If it is determined that the swap size is smaller than the threshold (step S515; Yes), the process proceeds to step S517.

スワップサイズが閾値以上であると判別した場合（ステップＳ５１５；Ｎｏ）、マイグレーション実行制御部１６４は、移行対象となる仮想マシンの仮想ハードウェアの主記憶装置のサイズに対するスワップサイズの割合（コピー完了率）が、所定の閾値（例えば、２０％）より小さいか否かを判別する（ステップＳ５１６）。   When it is determined that the swap size is greater than or equal to the threshold (step S515; No), the migration execution control unit 164 determines the ratio of the swap size to the size of the main storage device of the virtual hardware of the virtual machine to be migrated (copy completion rate). ) Is smaller than a predetermined threshold (for example, 20%) (step S516).

コピー完了率が閾値以上であると判別した場合（ステップＳ５１６；Ｎｏ）、処理を図１０のステップＳ５０３に移す。
コピー完了率が閾値より小さいと判別した場合（ステップＳ５１６；Ｙｅｓ）、マイグレーション実行制御部１６４は、処理をステップＳ５１７に移す。 If it is determined that the copy completion rate is equal to or greater than the threshold (step S516; No), the process proceeds to step S503 in FIG.
When it is determined that the copy completion rate is smaller than the threshold (step S516; Yes), the migration execution control unit 164 moves the process to step S517.

ステップＳ５１７において、マイグレーション実行制御部１６４は、メモリ制御部１６６を制御してページ変換テーブル１３２を参照し、主記憶装置１２０に記憶されている移行対象の仮想マシンのメモリページを取得する（ステップＳ５１７）。
具体的には、マイグレーション実行制御部１６４は、メモリ制御部１６６を制御して、ページ変換テーブル１３２にコピー済フラグがＦａｌｓｅで、ＰＮ−ＰＭＡが対応付けられているレコードのＰＮ−ＰＭＡが示す主記憶装置１２０上のページ位置に記憶されているメモリページを取得すればよい。なお、取得したメモリページに対応するページ番号（ＰＮ−ＰＭＡ）をＰＮ−ＰＭＡ””として以下説明する。 In step S517, the migration execution control unit 164 controls the memory control unit 166, refers to the page conversion table 132, and acquires the memory page of the migration target virtual machine stored in the main storage device 120 (step S517). ).
Specifically, the migration execution control unit 164 controls the memory control unit 166, and the main flag indicated by the PN-PMA of the record in which the copied flag is False and the PN-PMA is associated with the page conversion table 132. What is necessary is just to acquire the memory page memorize | stored in the page position on the memory | storage device 120. FIG. In the following description, the page number (PN-PMA) corresponding to the acquired memory page is assumed to be PN-PMA "".

続いて、マイグレーション実行制御部１６４は、ファイル制御部１６７を制御して、取得したメモリページを、二次記憶装置１３０の任意のページ（ＳＡ−ＰＤＡ””とする）に退避（スワップアウト）させる（ステップＳ５１８）。   Subsequently, the migration execution control unit 164 controls the file control unit 167 to save (swap out) the acquired memory page to an arbitrary page (SA-PDA "") in the secondary storage device 130. (Step S518).

そして、マイグレーション実行制御部１６４は、メモリ制御部１６６を制御して、ステップＳ５１８で実施したスワップアウトの処理を、ページ変換テーブル１３２に反映させる（ステップＳ５１９）。
具体的には、マイグレーション実行制御部１６４は、ＰＮ−ＰＭＡ””が登録されているページ変換テーブル１３２のレコードのＰＮ−ＰＭＡをＳＡ−ＰＤＡ””に、また、当該レコードのスワップ退避フラグをＴｒｕｅに変更する。 Then, the migration execution control unit 164 controls the memory control unit 166 to reflect the swap-out process performed in step S518 in the page conversion table 132 (step S519).
Specifically, the migration execution control unit 164 sets the PN-PMA of the record of the page conversion table 132 in which PN-PMA "" is registered to SA-PDA "", and sets the swap save flag of the record to True. Change to

続いて、マイグレーション実行制御部１６４は、処理を図１０のステップＳ５０３に移す。   Subsequently, the migration execution control unit 164 moves the process to step S503 in FIG.

図１０に戻り、メモリページが主記憶装置１２０に記憶されていると判別した場合（ステップＳ５０５；Ｙｅｓ）、仮想マシン実行管理部１６１は、ＯＳ１５０の機能等を用いて、仮想マシンサーバ１００のネットワーク使用率を取得する（ステップＳ５０６）。   Returning to FIG. 10, when it is determined that the memory page is stored in the main storage device 120 (step S <b> 505; Yes), the virtual machine execution management unit 161 uses the function of the OS 150 and the like to create the network of the virtual machine server 100. The usage rate is acquired (step S506).

そして、仮想マシン実行管理部１６１は、取得したネットワーク使用率が、所定の閾値（例えば５０％）より少ないか否かを判別する（ステップＳ５０７）。   Then, the virtual machine execution management unit 161 determines whether or not the acquired network usage rate is less than a predetermined threshold (for example, 50%) (step S507).

ネットワーク使用率が閾値以上と判別した場合（ステップＳ５０７；Ｎｏ）、仮想マシン実行管理部１６１は、ＯＳ１５０の機能等を用いて、二次記憶装置１３０のディスクＩ／Ｏ使用率を取得する（図１２、ステップＳ５１２）。   When it is determined that the network usage rate is equal to or higher than the threshold (step S507; No), the virtual machine execution management unit 161 acquires the disk I / O usage rate of the secondary storage device 130 using the function of the OS 150 (FIG. 12, Step S512).

そして、仮想マシン実行管理部１６１は取得したディスクＩ／Ｏ使用率が、所定の閾値（例えば５０％）より少ないか否かを判別する（ステップＳ５１３）。   Then, the virtual machine execution management unit 161 determines whether the acquired disk I / O usage rate is less than a predetermined threshold (for example, 50%) (step S513).

ディスクＩ／Ｏ使用率が閾値以上であると判別した場合（ステップＳ５１３；Ｎｏ）、処理を図１０のステップＳ５０３に移す。
また、ディスクＩ／Ｏ使用率が閾値より少ないと判別した場合（ステップＳ５１３；Ｙｅｓ）、仮想マシン実行管理部１６１は、処理を上述したステップＳ５１７に移す。 If it is determined that the disk I / O usage rate is equal to or greater than the threshold (step S513; No), the process proceeds to step S503 in FIG.
If it is determined that the disk I / O usage rate is less than the threshold (step S513; Yes), the virtual machine execution management unit 161 shifts the processing to step S517 described above.

図１０に戻り、ネットワーク使用率が閾値より少ないと判別した場合（ステップＳ５０７；Ｙｅｓ）、仮想マシン実行管理部１６１は、メモリ制御部１６６を制御してページ変換テーブル１３２を参照し、主記憶装置１２０に記憶されている移行された仮想マシンの主記憶装置の情報（メモリページ）と、そのメモリページの仮想ハードウェア上の物理アドレスに対応したページ番号（以下、ＰＮ−ＶＭＰＭＡ３とする）とを取得する（ステップＳ５０８）。そして、仮想マシン実行管理部１６１は、通信制御部１６８を介して、取得したメモリページとＰＮ−ＶＭＰＭＡ３とを、移行先の仮想マシンサーバ２００に送信する（ステップＳ５０９）。
なお、具体的には、コピー済フラグがＦａｌｓｅでＰＮ−ＰＭＡが対応付けられているページ変換テーブル２３２のレコードのＰＮ−ＶＭＰＭＡをＰＮ−ＶＭＰＭＡ３として取得すればよい。 Returning to FIG. 10, when it is determined that the network usage rate is less than the threshold (step S507; Yes), the virtual machine execution management unit 161 controls the memory control unit 166 to refer to the page conversion table 132, and the main storage device The information (memory page) of the main storage device of the migrated virtual machine stored in 120 and the page number (hereinafter referred to as PN-VMMPA3) corresponding to the physical address on the virtual hardware of the memory page. Obtain (step S508). Then, the virtual machine execution management unit 161 transmits the acquired memory page and PN-VMMPMA3 to the migration destination virtual machine server 200 via the communication control unit 168 (step S509).
Specifically, the PN-VMMPA of the record in the page conversion table 232 in which the copied flag is False and PN-PMA is associated may be acquired as PN-VMMPA3.

移行先の仮想マシンサーバ２００のハイパーバイザ２６０の通信制御部２６８が、移行元の仮想マシンサーバ１００からメモリページと、該メモリページに対応するＰＮ−ＶＭＰＭＡ３とを受信すると（図１１、ステップＳ６０１）、仮想マシン実行管理部２６１は、受信したメモリページを記憶するための空きページが主記憶装置２２０に有るか否かを判別する（ステップＳ６０２）。   When the communication control unit 268 of the hypervisor 260 of the migration destination virtual machine server 200 receives the memory page and the PN-VMPMA 3 corresponding to the memory page from the migration source virtual machine server 100 (FIG. 11, step S601). The virtual machine execution management unit 261 determines whether or not there is a free page in the main storage device 220 for storing the received memory page (step S602).

空きが主記憶装置２２０に有ると判別した場合（ステップＳ６０２；Ｙｅｓ）、仮想マシン実行管理部２６１は、主記憶装置２２０の空きページに、移行元の仮想マシンサーバ１００から受信した情報（メモリページ）を記憶し（ステップＳ６０３）、処理をステップＳ６０７に移す。なお、この記憶した主記憶装置２２０上の物理アドレスに対応したページ番号を、ＰＮ−ＰＭＡ３として以下説明する。   When it is determined that there is a free space in the main storage device 220 (step S602; Yes), the virtual machine execution management unit 261 displays information (memory page) received from the migration source virtual machine server 100 as a free page in the main storage device 220. ) Is stored (step S603), and the process proceeds to step S607. The page number corresponding to the stored physical address on the main storage device 220 will be described below as PN-PMA3.

また、空きが主記憶装置２２０にないと判別した場合（ステップＳ６０２；Ｎｏ）、仮想マシン実行管理部２６１は、ファイル制御部２６７を用いて、主記憶装置２２０の任意のページ（ＰＮ−ＰＭＡ”とする）に記憶されているメモリページを、二次記憶装置２３０の任意のページ（ＳＡ−ＰＤＡ”とする）に退避（スワップアウト）させる（ステップＳ６０４）。   If it is determined that there is no free space in the main storage device 220 (step S602; No), the virtual machine execution management unit 261 uses the file control unit 267 to select an arbitrary page (PN-PMA ") in the main storage device 220. ) Is saved (swapped out) to an arbitrary page (SA-PDA ″) in the secondary storage device 230 (step S604).

続いて、仮想マシン実行管理部２６１は、メモリ制御部２６６を制御して、ステップＳ６０４で実施したスワップアウトの処理をページ変換テーブル２３２に反映させる（ステップＳ６０５）。具体的には、仮想マシン実行管理部２６１は、ＰＮ−ＰＭＡ”が登録されているページ変換テーブル１３２のレコードのＰＮ−ＰＭＡをＳＡ−ＰＤＡ”に、また、当該レコードのスワップ退避フラグをＴｒｕｅに変更する。   Subsequently, the virtual machine execution management unit 261 controls the memory control unit 266 to reflect the swap-out process performed in step S604 in the page conversion table 232 (step S605). Specifically, the virtual machine execution management unit 261 sets the PN-PMA of the record of the page conversion table 132 in which PN-PMA ″ is registered to SA-PDA ″, and sets the swap save flag of the record to True. change.

続いて、仮想マシン実行管理部２６１は、メモリ制御部２６６を制御して、退避された空きページに、移行元の仮想マシンサーバ１００から受信した情報（メモリページ）を記憶する（ステップＳ６０６）。なお、この記憶した主記憶装置２２０上の物理アドレスに対応したページ番号を、ＰＮ−ＰＭＡ３として以下説明する。   Subsequently, the virtual machine execution management unit 261 controls the memory control unit 266 to store the information (memory page) received from the migration source virtual machine server 100 in the saved empty page (step S606). The page number corresponding to the stored physical address on the main storage device 220 will be described below as PN-PMA3.

続いて、ステップＳ６０７において、仮想マシン実行管理部２６１は、メモリ制御部２６６を制御して、移行元の仮想マシンサーバ１００から受信した情報（メモリページ）の格納先をページ変換テーブル２３２に登録する（ステップＳ６０７）。
具体的には、ＰＮ−ＶＭＰＭＡ３とＰＮ−ＰＭＡ３との組を、ページ変換テーブル２３２に新規レコードとして登録する。なお、この登録したレコードのスワップ退避フラグはＦａｌｓｅに、コピー済フラグはＴｒｕｅに設定する。 Subsequently, in step S <b> 607, the virtual machine execution management unit 261 controls the memory control unit 266 to register the storage destination of the information (memory page) received from the migration source virtual machine server 100 in the page conversion table 232. (Step S607).
Specifically, a set of PN-VMPMA 3 and PN-PMA 3 is registered in the page conversion table 232 as a new record. Note that the swap save flag of this registered record is set to False, and the copied flag is set to True.

続いて、仮想マシン実行管理部２６１は、メモリ制御部２６６を制御して、コピー済ページリスト２３１に、ＰＮ−ＰＭＡ３を登録する（ステップＳ６０８）。   Subsequently, the virtual machine execution management unit 261 controls the memory control unit 266 to register the PN-PMA 3 in the copied page list 231 (Step S608).

続いて、仮想マシン実行管理部２６１は、移行元の仮想マシンサーバ１００から受信したメモリページの移行が完了したことを示す処理結果を、通信制御部２６８を介して送信する（ステップＳ６０９）。   Subsequently, the virtual machine execution management unit 261 transmits a processing result indicating that the migration of the memory page received from the migration source virtual machine server 100 is completed via the communication control unit 268 (step S609).

移行元の仮想マシンサーバ１００のハイパーバイザ１６０の通信制御部１６８が仮想マシンサーバ２００からの処理結果を受信すると（図１０、ステップＳ５１０）、マイグレーション実行制御部１６４は、ページ変換テーブル１３２のＰＮ−ＶＭＰＭＡ３のレコードのコピー済フラグをＴｒｕｅに更新する（ステップＳ５１１）。そして、マイグレーション実行制御部１６４は、ステップＳ５０９で送信したメモリページを解放し（ステップＳ５２０）、ステップＳ５０３の処理に戻り、以降の処理を繰り返す。   When the communication control unit 168 of the hypervisor 160 of the migration source virtual machine server 100 receives the processing result from the virtual machine server 200 (FIG. 10, step S510), the migration execution control unit 164 reads the PN− of the page conversion table 132. The copied flag of the VMPMA3 record is updated to True (step S511). Then, the migration execution control unit 164 releases the memory page transmitted in step S509 (step S520), returns to the process in step S503, and repeats the subsequent processes.

このように、仮想マシン移行後の移行元の仮想マシンサーバ１００においては、ＣＰＵ１１０の使用状況、二次記憶装置１３０の状態、および、ネットワーク使用率に基づいて、仮想マシンの主記憶装置の情報を仮想マシンサーバ２００に送信するのか二次記憶装置１３０（スワップファイル）に退避するのかが判別され、判別された処理が実行される。   Thus, in the migration source virtual machine server 100 after the migration of the virtual machine, information on the main storage device of the virtual machine is obtained based on the usage status of the CPU 110, the state of the secondary storage device 130, and the network usage rate. It is determined whether it is transmitted to the virtual machine server 200 or saved in the secondary storage device 130 (swap file), and the determined processing is executed.

なお、本発明は上記実施形態に限定されず、種々の応用及び変形が可能である。   In addition, this invention is not limited to the said embodiment, A various application and deformation | transformation are possible.

例えば、図１３に示すように、仮想マシンサーバ１００と仮想マシンサーバ２００とに接続された、共有ディスク装置３００をさらに備えるように仮想マシンシステムを構成してもよい。
共有ディスク装置３００には、仮想マシンサーバ１００から仮想マシンサーバ２００に移行される仮想マシンの仮想ハードウェアの二次記憶装置の情報が記憶される。そして、この情報は仮想マシンサーバ１００と仮想マシンサーバ２００の両方から、仮想ハードウェアの二次記憶装置として共有利用される。そのため、仮想マシンサーバ１００、２００上の仮想マシンには、二次記憶装置は構成されず、仮想マシン移行の際には、二次記憶装置の移行にかかる処理時間を短縮することができる。 For example, as illustrated in FIG. 13, the virtual machine system may be configured to further include a shared disk device 300 connected to the virtual machine server 100 and the virtual machine server 200.
The shared disk device 300 stores information on the secondary storage device of the virtual hardware of the virtual machine that is migrated from the virtual machine server 100 to the virtual machine server 200. This information is shared by both the virtual machine server 100 and the virtual machine server 200 as a secondary storage device for virtual hardware. For this reason, the secondary storage device is not configured in the virtual machines on the virtual machine servers 100 and 200, and the processing time required for the migration of the secondary storage device can be shortened when the virtual machine is migrated.

また、上記実施形態では、マイグレーション処理（図５、図６）において、移行先の仮想マシンサーバ１００から送信された仮想マシンのキャッシュメモリのスナップショットに基づいて、移行先の仮想マシンサーバ２００の仮想マシンのキャッシュメモリを設定した。しかし、仮想マシンのキャッシュメモリの情報を外部から操作できない場合も考えられる。   In the above embodiment, in the migration process (FIGS. 5 and 6), based on the snapshot of the cache memory of the virtual machine transmitted from the migration destination virtual machine server 100, the virtual of the migration destination virtual machine server 200 is displayed. Set the cache memory of the machine. However, there may be a case where information in the cache memory of the virtual machine cannot be operated from the outside.

このような場合のマイグレーション処理について、図１４のフローチャートを参照して説明する。なお、図１４に示すフローチャートと、図５、６に示すフローチャートとで実質的に同一のステップについては、同一の符号を付し、そのステップについては簡潔に説明する。   The migration process in such a case will be described with reference to the flowchart of FIG. Note that substantially the same steps in the flowchart shown in FIG. 14 and the flowcharts shown in FIGS. 5 and 6 are denoted by the same reference numerals, and the steps will be briefly described.

まず、仮想マシンサーバ１００において、マイグレーション開始コマンドを受信し（ステップＳ１０１）、仮想マシンサーバ２００に対して、マイグレーションの開始要求を送信する（ステップＳ１０２）。   First, the virtual machine server 100 receives a migration start command (step S101), and transmits a migration start request to the virtual machine server 200 (step S102).

移行先の仮想マシンサーバ２００では、開始要求を受信すると（ステップＳ２０１）、マイグレーション実行制御部２６４は、仮想マシンが仮想マシンサーバ２００に移行可能であるか否かを判別する（ステップＳ２０２）。   In the migration destination virtual machine server 200, when the start request is received (step S201), the migration execution control unit 264 determines whether or not the virtual machine can be migrated to the virtual machine server 200 (step S202).

移行が不可能であると判別した場合（ステップＳ２０２；Ｎｏ）、移行不可能を示す処理結果を、移行元の仮想マシンサーバ１００に送信する（ステップＳ２０４）。   When it is determined that migration is not possible (step S202; No), a processing result indicating that migration is not possible is transmitted to the migration source virtual machine server 100 (step S204).

移行が可能であると判別した場合（ステップＳ２０２；Ｙｅｓ）、ハードウェア構成管理部２６２は、仮想マシンのハードウェア構成情報に基づいて、仮想マシンの仮想ハードウェアに対してリソースの割り当てを行う（ステップＳ２０３）。そして、割り当て処理が完了すると、マイグレーション実行制御部２６４は、リソース割り当ての完了を示す処理結果通知を仮想マシンサーバ１００に送信する（ステップＳ２０４）。   If it is determined that the migration is possible (step S202; Yes), the hardware configuration management unit 262 allocates resources to the virtual hardware of the virtual machine based on the hardware configuration information of the virtual machine ( Step S203). When the allocation process is completed, the migration execution control unit 264 transmits a process result notification indicating the completion of resource allocation to the virtual machine server 100 (step S204).

移行元の仮想マシンサーバ１００のハイパーバイザ１６０の通信制御部１６８は、移行先の仮想マシンサーバ２００から処理結果通知を受信し（ステップＳ１０３）、仮想マシンの移行が可能であるか否かを判別する（ステップＳ１０４）。   The communication control unit 168 of the hypervisor 160 of the migration source virtual machine server 100 receives the processing result notification from the migration destination virtual machine server 200 (step S103), and determines whether the migration of the virtual machine is possible. (Step S104).

移行が不可能であると判別した場合（ステップＳ１０４；移行不可）、マイグレーション実行制御部１６４は、マイグレーション処理を終了する。   When it is determined that migration is not possible (step S104; migration is not possible), the migration execution control unit 164 ends the migration process.

移行が可能であると判別した場合（ステップＳ１０４；移行可）、マイグレーション実行制御部１６４は、仮想マシン実行管理部１６１を制御して、移行対象の仮想マシンの動作を中断する（ステップＳ１０８）。   When it is determined that migration is possible (step S104; migration is possible), the migration execution control unit 164 controls the virtual machine execution management unit 161 to interrupt the operation of the migration target virtual machine (step S108).

続いて、マイグレーション実行制御部１６４は、ＣＰＵ制御部１６５を用いて、ステップＳ１０６のキャッシュメモリの送信中に更新された仮想マシンのＣＰＵのレジスタ情報を取得し、移行先の仮想マシンサーバ２００に送信する（ステップＳ１１１）。   Subsequently, the migration execution control unit 164 uses the CPU control unit 165 to acquire the register information of the CPU of the virtual machine updated during the transmission of the cache memory in step S106, and transmits it to the migration destination virtual machine server 200. (Step S111).

移行先の仮想マシンサーバ２００のハイパーバイザ２６０の通信制御部２６８が、レジスタ情報を受信すると（ステップＳ２１２）、マイグレーション実行制御部２６４は、それらの情報に基づいて、仮想マシンのＣＰＵのレジスタを設定する（ステップＳ２１３）。この設定により、移行先の仮想マシンサーバ２００の仮想マシンのレジスタの状態は、移行元の仮想マシンサーバ１００の仮想マシンのレジスタの状態と実質的に同一になる。   When the communication control unit 268 of the hypervisor 260 of the migration destination virtual machine server 200 receives the register information (step S212), the migration execution control unit 264 sets the CPU register of the virtual machine based on the information. (Step S213). With this setting, the state of the virtual machine register of the migration destination virtual machine server 200 becomes substantially the same as the state of the virtual machine register of the migration source virtual machine server 100.

続いて、マイグレーション実行制御部２６４は、仮想マシン実行管理部１６１を制御して、レジスタを設定した仮想マシンを実行させる（ステップＳ２１０）。   Subsequently, the migration execution control unit 264 controls the virtual machine execution management unit 161 to execute the virtual machine in which the register is set (step S210).

そして、仮想マシンが実行されると、マイグレーション実行制御部２６４は、通信制御部２６８を介して、その旨を示す通知を仮想マシンサーバ１００に送信する（ステップＳ２１１）。仮想マシンサーバ１００のハイパーバイザ１６０の通信制御部１６８が、移行先の仮想マシンサーバ２００で仮想マシン実行されたことを示す通知を受信して（ステップＳ１１０）、マイグレーション処理は終了する。   When the virtual machine is executed, the migration execution control unit 264 transmits a notification indicating that to the virtual machine server 100 via the communication control unit 268 (step S211). The communication control unit 168 of the hypervisor 160 of the virtual machine server 100 receives the notification indicating that the virtual machine has been executed on the migration destination virtual machine server 200 (step S110), and the migration process ends.

このように、このマイグレーション処理の変形例では、ＣＰＵ内のキャッシュメモリの情報は移行対象とならず、レジスタの情報のみが移行される。なお、この変形例では、キャッシュメモリの情報は移行されないので、図５、図６に示したマイグレーション処理よりも、処理に時間がかからない。   Thus, in this variation of the migration process, the cache memory information in the CPU is not subject to migration, and only the register information is migrated. In this modified example, since the cache memory information is not migrated, the process takes less time than the migration process shown in FIGS.

また、仮想マシンサーバ１００、２００は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読みとり可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前述の処理を実行する装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで仮想マシンサーバ１００、２００を構成してもよい。   Further, the virtual machine servers 100 and 200 can be realized by using a normal computer system without depending on a dedicated system. For example, a computer program for executing the above operation is stored and distributed in a computer-readable recording medium (flexible disk, CD-ROM, DVD-ROM, etc.), and the computer program is installed in the computer. Thus, an apparatus that performs the above-described processing may be configured. Alternatively, the virtual machine servers 100 and 200 may be configured by storing the computer program in a storage device included in a server device on a communication network such as the Internet and downloading it by a normal computer system.

また、本システムの機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。   In addition, when the functions of this system are realized by sharing of an OS (operating system) and application programs, or by cooperation between the OS and application programs, only the application program portion is stored in a recording medium or a storage device. Also good.

また、その他、具体的な細部構成等についても適宜変更可能である。   In addition, specific details of the configuration can be changed as appropriate.

本発明の実施形態に係る仮想マシンシステムの構成図である。It is a block diagram of the virtual machine system which concerns on embodiment of this invention. ハイパーバイザの機能構成図である。It is a functional block diagram of a hypervisor. コピー済ページリストの構成例を示す図である。It is a figure which shows the structural example of a copied page list. ページ変換テーブルの構成例を示す図である。It is a figure which shows the structural example of a page conversion table. マイグレーション処理を説明するためのフローチャートである。It is a flowchart for demonstrating a migration process. マイグレーション処理を説明するためのフローチャートである。It is a flowchart for demonstrating a migration process. 移行先の仮想マシンでメモリ情報が必要となった場合の処理を説明するためのフローチャートである。10 is a flowchart for explaining processing when memory information is required in a migration destination virtual machine. 移行先の仮想マシンでメモリ情報が必要となった場合の処理を説明するためのフローチャートである。10 is a flowchart for explaining processing when memory information is required in a migration destination virtual machine. 移行先の仮想マシンでメモリ情報が必要となった場合の処理を説明するためのフローチャートである。10 is a flowchart for explaining processing when memory information is required in a migration destination virtual machine. リソース解放処理を説明するためのフローチャートである。It is a flowchart for demonstrating a resource release process. リソース解放処理を説明するためのフローチャートである。It is a flowchart for demonstrating a resource release process. リソース解放処理を説明するためのフローチャートである。It is a flowchart for demonstrating a resource release process. 共有ディスク装置が新たに備えられた仮想マシンシステムの構成図である。It is a block diagram of a virtual machine system newly provided with a shared disk device. マイグレーション処理の変形例を説明するためのフローチャートである。It is a flowchart for demonstrating the modification of a migration process.

符号の説明Explanation of symbols

１００、２００ 仮想マシンサーバ
１１０、２１０ ＣＰＵ
１２０、２２０ 主記憶装置
１３０、２３０ 二次記憶装置
１３１、２３１ コピー済ページリスト
１３２、２３２ ページ変換テーブル
１４０、２４０ 通信装置 100, 200 Virtual machine server 110, 210 CPU
120, 220 Main storage device 130, 230 Secondary storage device 131, 231 Copied page list 132, 232 Page conversion table 140, 240 Communication device

Claims (6)

第１のサーバで稼働している仮想マシンを、該第１のサーバと通信ネットワークを介して接続されている第２のサーバに移行させる仮想マシンの移行方法であって、
前記第１のサーバで稼働している仮想マシンの仮想ハードウェア構成情報とＣＰＵ （Central Processing Unit；中央処理装置）内に記憶された記憶情報とを、前記第２のサーバに送信する送信ステップと、
前記第１のサーバで稼働している仮想マシンの稼働を停止させる停止ステップと、
前記第２のサーバにおいて、前記第１のサーバから送信されたハードウェア構成情報と記憶情報とに基づいて、仮想マシンを構成、起動させる起動ステップと、
前記第１のサーバにおいて、前記第１のサーバのパフォーマンスを示すデータを取得するステップと、
前記取得したパフォーマンスを示すデータに基づいて、前記停止ステップにより前記第１のサーバ上で稼働が停止された仮想マシンのメモリ情報を、前記第２のサーバに送信するか否かを判別する判別ステップと、
前記判別ステップでメモリ情報を前記第２のサーバに送信すると判別した場合に、該メモリ情報を前記第２のサーバに送信するステップと、
を備えることを特徴とする、仮想マシンの移行方法。 A virtual machine migration method for migrating a virtual machine running on a first server to a second server connected to the first server via a communication network,
A transmission step of transmitting virtual hardware configuration information of a virtual machine running on the first server and storage information stored in a CPU (Central Processing Unit) to the second server; ,
A stop step of stopping the operation of the virtual machine running on the first server;
In the second server, a startup step of configuring and starting a virtual machine based on the hardware configuration information and the storage information transmitted from the first server;
Obtaining data indicating the performance of the first server in the first server;
A determination step of determining whether or not to send memory information of the virtual machine whose operation has been stopped on the first server by the stop step to the second server based on the acquired data indicating the performance. When,
Transmitting the memory information to the second server when it is determined in the determining step that the memory information is transmitted to the second server;
A method for migrating a virtual machine, comprising: 前記第１のサーバにおいて、前記停止ステップによる仮想マシンの稼働の停止後に、前記送信ステップによる送信中に更新された前記記憶情報の差分情報を、前記第２のサーバに送信するステップをさらに備え、
前記起動ステップは、前記第１のサーバから送信されたハードウェア構成情報と記憶情報と該記憶情報の差分情報とに基づいて、仮想マシンを構成、起動させる
ことを特徴とする、請求項１に記載の仮想マシンの移行方法。 In the first server, after stopping the operation of the virtual machine in the stop step, further comprising the step of transmitting the difference information of the storage information updated during the transmission in the transmission step to the second server,
The booting step configures and starts a virtual machine based on hardware configuration information, storage information, and difference information of the storage information transmitted from the first server. The migration method of the described virtual machine. 前記第２のサーバにおいて、前記起動ステップで起動された仮想マシン上でメモリ情報が必要となる処理が実施された際に、当該処理を中断するステップと、
前記第２のサーバにおいて、前記メモリ情報の取得要求を前記第１のサーバに送信するステップと、
前記第１のサーバにおいて、前記メモリ情報の取得要求が要求するメモリ情報を取得するステップと、
前記第１のサーバにおいて、前記取得したメモリ情報を前記第２のサーバに送信するステップと、
前記第２のサーバにおいて、前記第１のサーバから送信されたメモリ情報を記憶するステップと、
前記第２のサーバにおいて、前記保存したメモリ情報を用いて中断した処理を再開して実施するステップと、
を備えることを特徴とする、請求項１又は２に記載の仮想マシンの移行方法。 In the second server, when a process that requires memory information is performed on the virtual machine activated in the activation step, the process is suspended.
Transmitting the memory information acquisition request to the first server in the second server;
Obtaining memory information requested by the memory information obtaining request in the first server;
Transmitting the acquired memory information to the second server in the first server;
Storing the memory information transmitted from the first server in the second server;
In the second server, resuming and executing the interrupted process using the stored memory information;
The virtual machine migration method according to claim 1, further comprising: 前記第１のサーバにおいて、前記判別ステップでメモリ情報を前記第２のサーバに送信しないと判別した場合に、前記パフォーマンスを示すデータに基づいて該メモリ情報を二次記憶装置に移動させるか否かを判別する第２の判別ステップと、
前記第２の判別ステップでメモリ情報を二次記憶装置に移動させると判別した場合に、該メモリ情報を該二次記憶装置に移動させるステップと、
をさらに備えることを特徴とする、請求項１乃至３の何れか１項に記載の仮想マシンの移行方法。 Whether or not to move the memory information to the secondary storage device based on the data indicating the performance when the first server determines that the memory information is not transmitted to the second server in the determination step. A second determination step for determining
A step of moving the memory information to the secondary storage device when it is determined in the second determination step that the memory information is moved to the secondary storage device;
The virtual machine migration method according to any one of claims 1 to 3 , further comprising: 仮想マシンが稼働しているサーバであって、
前記稼働している仮想マシンを移行先となる他のサーバへ移行させる際に、該仮想マシンの仮想ハードウェア構成情報とＣＰＵ （Central Processing Unit；中央処理装置）内に記憶された記憶情報とを前記移行先となるサーバに送信する送信手段と、
前記稼働している仮想マシンの稼働を停止させる仮想マシン停止手段と、
前記送信手段による送信の処理が完了後、当該サーバのパフォーマンスを示すデータを取得するパフォーマンスデータ取得手段と、
前記パフォーマンスデータ取得手段で取得したパフォーマンスを示すデータに基づいて、前記仮想マシン停止手段で稼働を停止させた仮想マシンのメモリ情報を前記移行先となるサーバに送信するか否かを判別する判別手段と、
メモリ情報を前記移行先となるサーバに送信すると判別した場合に、該メモリ情報を該移行先となるサーバに送信するメモリ情報送信手段と、
を備えることを特徴とするサーバ。 A server on which a virtual machine is running,
When migrating the operating virtual machine to another server as a migration destination, virtual hardware configuration information of the virtual machine and storage information stored in a CPU (Central Processing Unit) Transmitting means for transmitting to the server as the migration destination;
Virtual machine stop means for stopping the operation of the operating virtual machine;
Performance data acquisition means for acquiring data indicating the performance of the server after the transmission processing by the transmission means is completed;
Discriminating means for discriminating whether or not to send the memory information of the virtual machine whose operation has been stopped by the virtual machine stopping means to the migration destination server based on the data indicating the performance acquired by the performance data acquiring means When,
Memory information transmitting means for transmitting the memory information to the migration destination server when it is determined to transmit the memory information to the migration destination server;
A server comprising: 仮想マシンが稼働しているコンピュータを、
前記稼働している仮想マシンを移行先となるサーバへ移行させる際に、該仮想マシンの仮想ハードウェア構成情報とＣＰＵ （Central Processing Unit；中央処理装置）内に記憶された記憶情報とを前記移行先となるサーバに送信する送信手段、
前記稼働している仮想マシンの稼働を停止させる仮想マシン停止手段、
前記送信手段による送信の処理が完了後、当該サーバのパフォーマンスを示すデータを取得するパフォーマンスデータ取得手段、
前記パフォーマンスデータ取得手段で取得したパフォーマンスを示すデータに基づいて、前記仮想マシン停止手段で稼働を停止させた仮想マシンのメモリ情報を前記移行先となるサーバに送信するか否かを判別する判別手段、
前記判別手段でメモリ情報を前記移行先となるサーバに送信すると判別した場合に、該メモリ情報を該移行先となるサーバに送信するメモリ情報送信手段、
として機能させるプログラム。 The computer on which the virtual machine is running
When the operating virtual machine is migrated to the migration destination server, the virtual hardware configuration information of the virtual machine and storage information stored in a CPU (Central Processing Unit) are migrated. A transmission means for transmitting to a destination server;
Virtual machine stopping means for stopping the operation of the operating virtual machine,
Performance data acquisition means for acquiring data indicating the performance of the server after completion of transmission processing by the transmission means,
Discriminating means for discriminating whether or not to send the memory information of the virtual machine whose operation has been stopped by the virtual machine stopping means to the migration destination server based on the data indicating the performance acquired by the performance data acquiring means ,
Memory information transmitting means for transmitting the memory information to the server as the migration destination when the determination means determines that the memory information is to be transmitted to the server as the migration destination;
Program to function as.
JP2008310120A 2008-12-04 2008-12-04 Virtual machine migration method, server, and program Expired - Fee Related JP5124430B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008310120A JP5124430B2 (en) 2008-12-04 2008-12-04 Virtual machine migration method, server, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008310120A JP5124430B2 (en) 2008-12-04 2008-12-04 Virtual machine migration method, server, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012173216A Division JP5518143B2 (en) 2012-08-03 2012-08-03 Virtual machine migration method, server, program, and virtual machine system

Publications (2)

Publication Number Publication Date
JP2010134710A JP2010134710A (en) 2010-06-17
JP5124430B2 true JP5124430B2 (en) 2013-01-23

Family

ID=42345946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008310120A Expired - Fee Related JP5124430B2 (en) 2008-12-04 2008-12-04 Virtual machine migration method, server, and program

Country Status (1)

Country Link
JP (1) JP5124430B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5742410B2 (en) 2011-04-11 2015-07-01 日本電気株式会社 Fault tolerant computer system, control method for fault tolerant computer system, and control program for fault tolerant computer system
WO2012169021A1 (en) * 2011-06-08 2012-12-13 株式会社日立製作所 Control method, control system, and program
JP5643990B2 (en) * 2011-07-29 2014-12-24 株式会社日立製作所 Network device and network system
DE102011116866A1 (en) * 2011-10-25 2013-04-25 Fujitsu Technology Solutions Intellectual Property Gmbh Cluster system and method for executing a plurality of virtual machines
US10359972B2 (en) * 2012-08-31 2019-07-23 Sandisk Technologies Llc Systems, methods, and interfaces for adaptive persistence
JP2017033375A (en) 2015-08-04 2017-02-09 富士通株式会社 Parallel calculation system, migration method, and migration program
CN115421859B (en) * 2022-09-13 2024-02-13 科东(广州)软件科技有限公司 Dynamic loading method and device for configuration file, computer equipment and storage medium

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313793B2 (en) * 2002-07-11 2007-12-25 Microsoft Corporation Method for forking or migrating a virtual machine

Also Published As

Publication number Publication date
JP2010134710A (en) 2010-06-17

Similar Documents

Publication Publication Date Title
JP5124430B2 (en) Virtual machine migration method, server, and program
US9367459B2 (en) Scheduling method and multi-core processor system
US10817333B2 (en) Managing memory in devices that host virtual machines and have shared memory
CN109983440B (en) Data processing
EP2581834A1 (en) Multi-core processor system, cache coherency control method, and cache coherency control program
JP2015503784A (en) Migration between virtual machines in the graphics processor
JP2005122640A (en) Server system and method for sharing i/o slot
JP2017227969A (en) Control program, system and method
WO2010097933A1 (en) Information processing device, information processing method, and computer program
JP5518143B2 (en) Virtual machine migration method, server, program, and virtual machine system
US20190227918A1 (en) Method for allocating memory resources, chip and non-transitory readable medium
US20180150232A1 (en) Memory overcommit by speculative fault
US10565135B2 (en) Information processing device, information processing method, main processor core, program, information processing method, and sub processor core
JP5158576B2 (en) I / O control system, I / O control method, and I / O control program
WO2011039887A1 (en) Computer device
US9565049B2 (en) Communication apparatus, communication method, and computer product for sharing data
JP5780296B2 (en) Thread processing method and thread processing system
JP2011192131A (en) Control device, image forming apparatus, and control program
US20120066676A1 (en) Disabling circuitry from initiating modification, at least in part, of state-associated information
US10509567B2 (en) System and method for migrating storage while in use
JP2016173741A (en) Information processing apparatus, information processing method, and program
JP2019164661A (en) Information processing device, information processing method and program
JP5699665B2 (en) Server apparatus, process execution method, and program
WO2017056208A1 (en) Request execution order control system
JP5614483B2 (en) Multi-core processor system, cache coherency control method, and cache coherency control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5124430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees