JP5728812B2 - Distributed processing system and distributed storage system - Google Patents

Distributed processing system and distributed storage system Download PDF

Info

Publication number
JP5728812B2
JP5728812B2 JP2010032565A JP2010032565A JP5728812B2 JP 5728812 B2 JP5728812 B2 JP 5728812B2 JP 2010032565 A JP2010032565 A JP 2010032565A JP 2010032565 A JP2010032565 A JP 2010032565A JP 5728812 B2 JP5728812 B2 JP 5728812B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
processing
virtual machine
switching
version
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010032565A
Other languages
Japanese (ja)
Other versions
JP2011170528A (en )
Inventor
武 栗田
武 栗田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は分散型情報処理システム及び分散ストレージシステムに係り、特に、業務処理を停止することなく、ソフトウェアのインストール及びアップグレードを行うことができる分散型情報処理システム及び分散ストレージシステムに関する。 The present invention relates to a distributed processing system and distributed storage system, in particular, without stopping the business processing, on distributed processing system and distributed storage system capable of installing and upgrading the software.

従来、分散型情報処理システムは、複数のノードを備えるが、実際の業務の遂行に際しては、該複数のノードの各々に対して、処理プログラム(以下、単に「ソフトウェア」と呼称する)を、新バージョンのソフトウェア等へ切替える処理、即ち、ソフトウェアの更新処理を行う必要が生じる。 Traditionally, the distributed data processing system is provided with a plurality of nodes, when the actual course of business, relative to each of the plurality of nodes, a processing program (hereinafter, simply referred to as "software") and the new process of switching to the version of the software, etc., i.e., it is necessary to perform the software update processing. 一般に、分散型情報処理システムにおける上記のソフトウェア更新処理は、動的に行うことができるように構成されていることが好ましい。 In general, the above-described software update processing in a distributed data processing system is preferably configured to be able to dynamically perform.
通常、一般的な分散型情報処理システムの各ノードに対応した仮想マシンの種類には、ハイパーバイザ型の仮想マシンモニター(以下、「VMM」と略称する)と、このVMM上で業務処理を行う仮想マシン(以下、「VM1」と略称する)と、インストールまたはアップグレードを行う仮想マシン(以下、「VM2」と略称する)とが有る。 Usually, the type of virtual machine corresponding to each node of a general distributed data processing system, a hypervisor type of the virtual machine monitor (hereinafter, abbreviated as "VMM") and performs business processing on the VMM virtual machine (hereinafter, abbreviated as "VM1"), the virtual machine (hereinafter referred to as "VM2") to perform the installation or upgrade and there.

また、分散型情報処理システムが、ソフトウェアを新バージョンの処理ソフトウェアに切り替える際には、新バージョンのソフトウェアのインストール後、若しくはソフトウェアのアップグレード後のバージョン(新バージョンとなる)について、全ノードで合意し、全ノード一斉に新バージョンのソフトウェアに切り替える必要が有り、この点が、本発明に際しての1つの課題であった。 Moreover, the distributed data processing system, when switching the software to a new version of processing software for post-installation of the new version of the software, or software upgraded version of (a new version), agreed on all nodes , it is necessary to switch simultaneously all nodes in the new version of the software, this point was one object of upon the present invention.
また、分散型情報処理システムは、システム内において旧バージョンで動作するノードと新バージョンで動作するノードとが混在する状況でも業務処理を継続できることが好ましく、この点も、本発明に際しての1つの課題であった。 Moreover, the distributed data processing system, it is preferred that the continuous business processing even in a situation where in the system and nodes operating on the node and the new version that runs on the old version are mixed, one of the time even this regard, the present invention issues Met.
さらに、分散型情報処理システムは、インストールまたはアップグレードに失敗した場合には、インストールまたはアップグレードする前の状態に復元できることが必要であり、この点も、本発明に際しての1つの課題であった。 Furthermore, the distributed data processing system, if it fails to install or upgrade, it is necessary to be restored to the state prior to installation or upgrade This point was one object of upon the present invention.

なお、この分野の公知技術として、特許文献1には、第1および第2のゲストオペレーティングシステムが、各仮想マシン310A、310B中で稼動する仮想化技術を使用して、クライアント202と通信を行うために、オンラインサービス312Aが依拠する同じハードウェア302上で、更新済みサービス312Bをテストすることができる技術が開示されており、前記の両サービスは同時に実行されることが好ましいとしている。 As prior art in this field, Patent Document 1, first and second guest operating system, each virtual machine 310A, using virtualization technology running in 310B, communicates with the client 202 for, on the same hardware 302-line service 312A is relied upon techniques that can be tested updated service 312B is disclosed, both services of the are and are preferably executed simultaneously.
また、特許文献2には、汎用サーバシステムにおいて動作するソフトウェアを更新する際、サービスを停止させず、関連するサーバに対して同時に更新、更新解除を可能とする技術が開示されている。 Further, Patent Document 2, when updating the software operating on a general purpose server system, without stopping the service, at the same time updated for the associated server, technology that enables the updating cancellation is disclosed.
また、特許文献3には、バージョンアップ後にオンライン稼働を開始した新バージョンモジュールの障害発生時に、旧バージョンモジュールへの復旧を容易に実現する技術が開示されている。 Further, Patent Document 3, when a failure occurs in the new version module that initiated the online working after upgrading, technology to easily achieve recovery of the old version module is disclosed.

また、特許文献4には、現ファームウェアの処理プロセスPPR0からの応答通知を受けた現ファームウェアの監視プロセスMPR0が、即座に新ファームウェアの処理プロセスPPR1 に対して処理の同期点再開要求を行い、新ファームウェアへの切替(即ち、バージョンアップを実現する技術が開示されている。 Further, Patent Document 4, the monitoring process MPR0 the current firmware that received the response notification from the treatment process PPR0 of the current firmware, immediately performs synchronous point resume request processing to the processing process PPR1 new firmware, new switching to the firmware (i.e., a technique for realizing the upgrade is disclosed.
さらに、特許文献5には、1つの共通アプリケーションプログラム又はアプリケーションコード50及びその実行可能バージョン(場合によっては修正のある)は、複数のコンピュータ又はマシンM1、M2. Further, Patent Document 5, (the a modified optionally) one common application program or application code 50 and its executable version, a plurality of computers or machines M1, M2. . . Mn全体で同時に又は並行して実行する技術を開示している。 Whole simultaneously or in parallel Mn discloses a technique to perform. この技術では、本質的には、修正された構造は、個々のマシンの各々上で同一のメモリ構造及びコンテンツを複製することになる。 In this technique, in essence, modified structure will replicate the same memory structure and contents on each of the individual machines.

特開2006−107500号公報 JP 2006-107500 JP 特開2006−268172号公報 JP 2006-268172 JP 特開平9−62626号公報 JP 9-62626 discloses 特開平11−7382号公報 JP 11-7382 discloses 特表2009−512030号公報 JP-T 2009-512030 JP

ところで、分散型情報処理システムに課せられている1つの課題は、前述のとおり、ソフトウェアのインストール及びアップグレードである。 However, one problem that has been imposed on the distributed information processing system, as described above, an installation and upgrading of software. 一般的に、全てのノードのソフトウェアを一斉にインストールまたはアップグレードする場合には、システムで稼働中の業務処理の実行を停止させ、全てのノードの処理を停止させた後、各ノードにソフトウェアを適用する必要が有り、また、適用するソフトウェアによっては、各ノードの再起動が必要になる場合が有る。 Generally, in the case of simultaneously install or upgrade software for all nodes, the execution of the business process running on the system is stopped, after stopping the processing of all the nodes, applying the software on each node it is necessary to also by software application which is, if there is a restart of the nodes is required.
しかしながら、上記背景技術で述べた従来の分散型情報処理システムにあっては、複数の独立したノードとストレージとの対で構成される分散ストレージシステムでは、クライアントからの書き込みが完了した後も、各ノード間でデータを交換しているため、全てのノードを停止させるには、このようなデータ交換処理の実行が終了するまで待機しなければならないといった問題点が有った。 However, in the conventional distributed processing system described in the above background art, in a distributed storage system consisting of a pair of a plurality of independent nodes and storage, even after the writing of the client has been completed, the due to the exchange of data between the nodes, in order to stop all nodes problem that must wait until such execution of the data exchange processing is finished there.

また、一部のノードの業務を停止させてからソフトウェアを適用し、適用が完了したら業務を開始し、他のノードのソフトウェアの適用を順次行う方法を適用するには、該適用の過程で、異なるバージョンのノードが混在した状態になるといった問題点があった。 Further, the applied software after stopping the operations of some of the nodes, application starts business When complete, the application of the method of sequentially performing application software other nodes, the process for 該適, different versions of the nodes has a problem that it becomes a mixed state.
即ち、異なるバージョン同士では、データ構造や通信プロトコルが異なっている場合が多く、このような場合、新バージョンでは、旧バージョンとの違いを意識することは可能ではあっても、旧バージョンは、新バージョンの一部機能については未知であったために、新バージョンとの違いを解消するための互換機能を組み込んでおくことは困難であり、このため、新バージョンと旧バージョンとが混在する場合には、ノード間でデータを正しくやり取りできず、最悪の場合、システム内のデータを破壊してしまうといった問題点が有った。 That is, in different versions with each other, if the data structures and communication protocols are different lot, in such a case, the new version, even be possible to be aware of differences between the previous version, old version, the new because it was unknown for some features of version, that you incorporate the compatibility of the order to eliminate the differences between the new version is difficult, and for this reason, in the case where the new and old versions are mixed , can not properly communicate data between nodes, in the worst case, there is a problem that destroy the data in the system.
さらに、ソフトウェアをインストールまたはアップグレードする処理の失敗や更新プログラムのバグなどで、ソフトウェアを更新する前に戻す場合、これまでの更新処理で変更した部分を一つ一つ復元していくなどの煩雑な作業が発生するといった問題点が有った。 In addition, in such as failure or updates of a bug in the process to install or upgrade the software, to return before updating the software, such as complicated of going the part that was changed in the update process so far and one by one restored work there is a problem that occurs.

本発明は、 The present invention,
(1) 同一ハードウェア上に業務を行う仮想マシンとインストール・アップグレードを行う仮想マシンを同時に動作させることと、 (1) and be operated at the same time the virtual machine to perform a virtual machine and install upgrades to conduct business on the same hardware,
(2) インストールまたはアップグレードが完了すると、業務を行う仮想マシンを切り替えることと、 (2) When the installation or upgrade is complete, and to switch the virtual machine to perform the work,
(3) その後、システム内の他のノードと連携し、動作する新しいバージョンについて合意し、全てのノードで一斉に切り替えることと、 (3) Thereafter, a possible collaboration with other nodes in the system, agree on a new version of operating switches in unison on all nodes,
(4) 動的ソフトエア更新方法としては、前記(1)〜(3)の構成要件において、アップグレードを取り消す現象や要求が発生した場合、仮想マシンを切り替える前であれば業務を行う仮想マシンだけを残してインストール及びアップグレードを行う仮想マシンを削除し、仮想マシンを切り替えた後であればインストールまたはアップグレードを行った仮想マシンと、業務を行っていた仮想マシンとでindexテーブルの複製を行うことと、 (4) as a dynamic soft air updating method, in the configuration requirements (1) to (3), if the phenomenon or request to cancel the upgrade occurs, only the virtual machines to perform operations but before switching the virtual machine remove the virtual machine to perform the installation and upgrade to leave, and be carried out and the virtual machines that have installed or upgraded if after switching a virtual machine, a copy of the index table in a virtual machine that had done business ,
を主たる構成要件としている。 As main constituent a.

なお、本発明との関連箇所として、前述の特許文献1及び特許文献5には、前記の構成要件(1)が開示され、前述の特許文献4には前記の構成要件(2)が開示されている。 As a related point between the present invention, Patent Document 1 and Patent Document 5 described above, the constituent (1) is disclosed of the configuration requirements (2) is disclosed in Patent Document 4 described above ing. しかしながら、上記特許文献には、いずれも前記の構成要件(3)は開示していない。 However, the above patent document, any the configuration requirements (3) is not disclosed. ここで、構成要件(3)は、本発明の、「業務を停止することなくソフトウェアのインストールまたはアップグレードを行う」という課題を解決するために必須の要素である。 Here, constituent elements (3), of the present invention, is an essential element in order to solve the problem of "to install or upgrade the software without stopping the business."
さらに、特許文献1〜5のいずれにおいても、前記の構成要件(4)は開示していないが、構成要件(4)は、本発明の、ソフトウェアを更新前に戻すことができるようにする」という課題を解決するために必須の構成要件である。 Further, in any of Patent Documents 1 to 5 also, the configuration requirements (4) is not disclosed, constituent (4), of the present invention, to be able to return to the pre-update software " is an essential element in order to solve the problem.

本発明は、上記課題を解決するための分散型情報処理システム及び分散ストレージシステムを提供することを目的としている。 The present invention aims at providing a distributed processing system and distributed storage system for solving the above problems.

上記課題を解決するために、本発明に係る分散型情報処理システムは、共通のネットワークに接続された複数のノードの各々から成る分散型情報処理システムであって、前記ノードそれぞれが自らのノードにおいて、予め旧バージョンの処理機能により情報処理を行う第1の仮想マシンと、オペレーティングシステムのインストール処理またはアップグレード処理によって前記ノードに仮想的に設けられた第2の仮想マシンであって前記第1の仮想マシンを構成する前記旧バージョンの処理機能と同等の旧バージョンの処理機能及び当該旧バージョンの処理機能に対応する新バージョンの処理機能を有し情報処理の開始を待機している第2の仮想マシンと、を備え、前記第2の仮想マシンは、前記インストール処理またはアップグレード処理 In order to solve the above problems, the distributed information processing system according to the present invention is a distributed processing system consisting of each of a plurality of nodes connected to a common network, each of the nodes in its own node a first virtual machine for performing information processing by pre-previous version of processing functions, the operating system installation process or virtually provided with the second virtual machine is a by the first virtual to the node by the upgrade process a second virtual machine waiting for the start of processing has a new version of the processing function corresponding to the previous version of processing functions equivalent to previous versions of the processing functions and the old version of the process the ability to configure the machine When, wherein the second virtual machine, the installation or upgrade process に前記第1の仮想マシンとの間で行った前記第1の仮想マシンにおいて更新されたデータであって情報処理に用いるデータが格納されているストレージを指し示す情報の第2の仮想マシンへの複製の完了を当該複製を行う処理部において特定した際、他のノードと自らのノードとが接続するネットワークを用いた通信を前記第1の仮想マシンによる通信から前記第2の仮想マシンによる通信へと切り替える要求と、前記情報処理に用いるデータが格納されているストレージを指し示す情報を記憶する共有記憶部に対する接続を前記第1の仮想マシンから前記第2の仮想マシンへと切り替える要求とを自らのノードが有する切り替え部へ行うと共に、当該切り替え部からのその切り替えの完了の通知に基づいて前記複数のノードへ切り替えの A data updated in the first virtual machine made in between the first virtual machine replication to the second virtual machine information indicating the storage data to be used for information processing is stored when the completion specified in the processing unit that performs the replication, into communication by the second virtual machine communication using the network to be connected is the other node and its node from the communication by the first virtual machine requests and, their nodes and request to switch a connection to the shared storage unit for the data used in the information processing stores the information indicating the storage stored from the first virtual machine to the second virtual machine switching performs the switching unit which has, switching on the basis of the notification of the completion of switching from the switching unit to said plurality of nodes 了を通知し、前記第2の仮想マシンは、前記複数のノードの全てから切り替えの完了の通知を受けたことに基づいて前記複数のノードのうちの1つの調停ノードから、前記新バージョンの処理機能への切り替え指示の通知を受け、前記新バージョンの処理機能による前記情報処理に切り替えることを特徴とする。 Notifies completion, the second virtual machine from one arbitration node of the plurality of nodes based on receiving the notification of completion of switching from all of the plurality of nodes, the new version of the process receiving a switching instruction notice to function, and switches to the information processing by the new version of the processing function.

また、本発明に係る分散ストレージシステムは、 前記複数のノードに接続されたストレージ備え、かつ前記複数のノードの全ての構成を上記分散型情報処理システムの構成としたことを特徴とする。 Furthermore, the distributed storage system according to the present invention is characterized by comprising the storage attached to the plurality of nodes, and all configurations of the plurality of nodes and the configuration of the distributed processing system.

本発明によれば、同一ハードウェア上で、業務処理を行う仮想マシンと、インストール及びアップグレードを行う仮想マシンとを同時に動作させ、インストールまたはアップグレードが完了すると、業務を行う仮想マシンに切り替えると共に、システム内の他のノードと連携し、動作する新しいバージョンについて合意し、全てのノードで一斉に切り替えるように構成したので、業務処理の実行を停止することなく、ソフトウェアのインストールやアップグレードを行うことができる効果が有る。 According to the present invention, on the same hardware, the virtual machine that performs business processing, by operating the virtual machine to install and upgrade simultaneously, when installing or upgrading is complete, the switches in the virtual machine to perform operations, the system in cooperation with the other nodes of the inner, agree on a new version of operating, since it is configured to switch simultaneously at all nodes, without stopping the execution of the business process, it is possible to install or upgrade software effect there.

本発明の実施形態に係る分散型情報処理システムの全体構成を示す構成図である。 Is a block diagram showing the overall configuration of a distributed processing system according to an embodiment of the present invention. 本発明の実施形態に係る分散型情報処理システムが適用される分散ストレージシステムの1構成例を示す構成図である。 1 configuration example of a distributed storage system that distributed data processing system is applied according to an embodiment of the present invention is a configuration diagram showing. 図2に示すシステムの、ストレージ付近の構成を示す構成図である。 Of the system shown in FIG. 2 is a block diagram showing the configuration of a vicinity of the storage. 図2,3に示すシステムの、VMM100(単一ノード)におけるVM切り替え動作の概要を示す説明図(1/2)である。 Of the system shown in FIG. 2 and 3, a VMM100 explanatory view showing the outline of VM switching operation in the (single node) (1/2). 図2,3に示すシステムの、VMM100(単一ノード)におけるVM切り替え動作の概要を示す説明図(2/2)である。 Of the system shown in FIG. 2 and 3, a VMM100 explanatory view showing the outline of VM switching operation in the (single node) (2/2). 図2,3に示すシステムの、VMM100(単一ノード)におけるVM切り替え動作の詳細を示す説明図(1/2)である。 Of the system shown in FIG. 2 and 3, a VMM100 explanatory diagram showing details of VM switching operation in the (single node) (1/2). 図2,3に示すシステムの、VMM100(単一ノード)におけるVM切り替え動作の詳細を示す説明図(2/2)である。 Of the system shown in FIG. 2 and 3, a VMM100 explanatory diagram showing details of VM switching operation in the (single node) (2/2). 図2,3に示すシステムの、全てのノードにおけるバージョン切り替え動作を示す説明図(1/2)である。 Of the system shown in FIG. 2 and 3 is an explanatory diagram showing a version switching operation in all nodes (1/2). 図2,3に示すシステムの、全てのノードにおけるバージョン切り替え動作を示す説明図(2/2)である。 Of the system shown in FIG. 2 and 3 is an explanatory diagram showing a version switching operation in all nodes (2/2). 本発明の実施形態に係る分散型情報処理システムが適用される分散ストレージシステムの他の1構成例を示す構成図である。 Is a block diagram showing another 1 configuration example of a distributed storage system distributed information processing system according to an embodiment of the present invention is applied.

本発明の分散型情報処理システムは、システム上の複数のノードに対して、業務を停止することなく、全ノードのソフトウェアを更新する処理(即ち、動的ソフトウェア更新処理)を行う。 Distributed data processing system of the present invention, for a plurality of nodes on the system, without stopping the business, performs a process of updating the software of all nodes (i.e., dynamic software update process).
分散システム上の各ノードは、ハイパーバイザ型の仮想マシンモニター(VMM)と、VMM上に業務を行う仮想マシン(VM1)と、インストールまたはアップグレードを行う仮想マシン(VM2)とを備える。 Each node on the distributed system includes a hypervisor type of the virtual machine monitor (VMM), a virtual machine (VM1) to conduct business over the VMM, and a virtual machine to install or upgrade (VM2). ここで、VM2はVM1の複製であり、VM2は自己に対して新規のソフトウェアをインストールするか、または既存のソフトウェアをアップグレードし、この処理の完了後、VM1上の動的に更新されるデータ格納場所の情報が保存されているテーブル(以下、「indexテーブル」と称する)を段階的にVM2へ移行し、完全に移行した段階でVM1からVM2へ処理を切り替える。 Here, VM2 is replication of VM1, VM2 is to install a new software against self, or upgrade the existing software, after completion of this process, the data storage to be dynamically updated on VM1 location information table stored (hereinafter, referred to as "index table") and the transition to the stepwise VM2, switches the completely processed from VM1 migration stages to VM2.

また、各ノードでインストール前またはアップグレード前のバージョン(即ち旧バージョン)で動作するVM2が、他のノードのVM2と通信し、切り替え先のインストール後またはアップグレード後のバージョン(即ち新バージョン)について全ノードで合意し、全ノード一斉に新バージョンに切り替える。 Also, VM2 operating version of preinstallation or upgrade on each node (i.e., old version) is in communication with VM2 of other nodes, version after the installation or upgrade of a switching destination (i.e. a new version) for all nodes in the agreement, it switched to the new version all at once all the nodes.
以上の処理により、分散システム上で稼働中の業務を停止させることなく、全ノードを旧バージョンから新バージョンに切り替えられるようにしている。 By the above process, without stopping the operations running on a distributed system, and to switch to the new version all nodes from the previous version.
また、システム内において旧バージョンで動作するノードと、新バージョンで動作するノードとが混在する状況でも業務を継続することができるようにしている。 Also to be able to continue to operate even in a situation where the nodes operating in the old version in the system, and a node operating in the new version mixed.

さらに、万一、前記のインストールまたはアップグレードに失敗した場合、VM1からVM2への切り替え前であれば、VM1からVM2への切り替えをしなければ、インストールまたはアップグレードする前の状態に戻すことを可能にし、また、VM1からVM2への切り替え後であれば、前述の、VM1からVM2への切り替えを逆に行うことでindexテーブルの最新化を行い、VM2からVM1への切り替えをすることによってインストールまたはアップグレードする前の状態に戻すことを可能にしている。 Furthermore, the unlikely event of failure to the installation or upgrade, but before switching from the VM1 to VM2, unless the switching from VM1 to VM2, make it possible to return to the state before installing or upgrading in addition, if after switching from VM1 to VM2, described above, it performs the latest of index table by performing the inverse switching from VM1 to VM2, installed or upgraded by switching from VM2 to VM1 it is made possible to revert to a previous state.
以下、本発明の分散型情報処理システム及び分散ストレージシステムの実施形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of a distributed processing system and distributed storage system of the present invention will be described in detail with reference to the drawings.

図1は、本発明の実施形態に係る分散型情報処理システムの全体構成を示す構成図である。 Figure 1 is a block diagram showing the overall configuration of a distributed processing system according to an embodiment of the present invention.
同図において、本実施形態の分散型情報処理システムは、ハードウェア140上で動作し、ハイパーバイザ型の仮想マシンモニターであるVMM130上で稼働する、業務担当の仮想マシンのVM100と、データを記憶するストレージ200と、を備えて構成される。 In the figure, the distributed data processing system of this embodiment operates on the hardware 140, running on a virtual machine monitor hypervisor type VMM 130, and VM100 business person virtual machine, storing data a storage 200, configured with a.
VM100は、仮想マシンであるVM110及びVM120と、VM110とVM120間で共有される共有ボリューム132と、ネットワークをVM110からVM120へ切り替えるネットワーク切り替え部131と、を備える。 VM100 includes a VM110 and VM 120 is a virtual machine, the shared volume 132 that is shared between VM110 and VM 120, a network switching unit 131 to switch the network from the VM110 to VM 120, a.

VM110は、データ分割部111と、データ保存部112と、後述するindexテーブル114をVM120へ複製する複製部113と、スナップショットの索引を保持するindexテーブル114と、変更監視部115と、VM切り替え部116と、変更管理テーブル117と、キー生成部11dと、を備える。 VM110 includes a data dividing unit 111, a data storage unit 112, a duplicating unit 113 that replicates the index table 114 to be described later to VM 120, and index table 114 that holds the index of the snapshot, and change monitoring unit 115, VM switching It includes a section 116, a change management table 117, a key generating unit 11d, a.
VM120は、データ分割部121と、データ保存部122と、複製部123と、indexテーブル124と、変更監視部125と、VM切り替え部126と、変更管理テーブル127と、旧バージョン動作部128と、VM切り替え完了通知通信部129と、新旧バージョン切り替え部12aと、完了通知テーブル12bと、バージョン情報1テーブル12cと、を備える。 VM120 includes a data dividing unit 121, a data storage unit 122, a copying unit 123, an index table 124, and change monitoring unit 125, a VM switching unit 126, a change management table 127, the old version operation unit 128, It includes a VM switching completion notification communication unit 129, and the old and new versions switching unit 12a, and a completion notification table 12b, a version information 1 table 12c, a.

複製部113は、スナップショット取得部113aと、スナップショット送信部113bと、更新データ取得部113cと、更新データ送信部113dと、複製完了通知送信部113eと、スナップショット適用部113fと、スナップショット受信部113gと、更新データ適用部113hと、更新データ受信部113iと、複製完了通知受信部113jと、を備える。 Copying unit 113, a snapshot acquisition unit 113a, a snapshot transmission unit 113b, an update data acquiring unit 113c, and the update data transmission unit 113d, the replication completion notice transmitting unit 113e, a snapshot application unit 113f, snapshots comprising a receiving unit 113 g, and the update data application unit 113h, the update-data receive unit 113i, the replication completion notification receiving unit 113j, a.
複製部123は、スナップショット取得部123aと、スナップショット送信部123bと、更新データ取得部123cと、更新データ送信部123dと、複製完了通知送信部123eと、スナップショット適用部123fと、スナップショット受信部123gと、更新データ適用部123hと、更新データ受信部123iと、複製完了通知受信部123jと、を備える。 Copying unit 123, a snapshot acquisition unit 123a, a snapshot transmission unit 123b, an update data acquiring unit 123c, and the update data transmission unit 123d, the replication completion notice transmitting unit 123e, a snapshot application section 123f, a Transport Format Combination Indicator Snapshot comprising a receiving unit 123 g, and the update data application unit 123h, the update-data receive unit 123i, the replication completion notification receiving unit 123j, a.

以下、本発明の実施形態に係る分散型情報処理システムの機能を、主な構成要素の機能に基づいて説明する。 Hereinafter, the function of the distributed information processing system according to an embodiment of the present invention will be described based on the function of the main components.
まず、複製部113及び複製部123の機能を、各構成要素の機能に基づいて説明する。 First, the function of the replication unit 113, and duplicating unit 123 will be described based on the function of each component.
スナップショット取得部113aは、特定の時点でのスナップショットを取得する。 Snapshot acquisition unit 113a acquires a snapshot at a particular point in time. スナップショット送信部113bは、スナップショット取得部113aによって取得したスナップショットをVM120へ送信する。 Snapshot transmission unit 113b transmits the snapshot acquired by the snapshot acquisition unit 113a to VM 120.
スナップショット受信部123gは、スナップショット送信部113bによって送信されたスナップショットをVM120において受信する。 Snapshot receiver 123g receives the VM120 transmission snapshot Snapshot transmitting portion 113b.

スナップショット適用部123fは、スナップショット受信部123gによって取得したスナップショットをVM120のindexテーブル124に適用する。 Snapshot application unit 123f applies a snapshot acquired by the snapshot receiver 123g in index table 124 of the VM 120.
更新データ取得部113cは、VM110のindexテーブル114のスナップショットを取得し、VM120のindexテーブル124に適用したことを確認すると、変更監視部115に対して、indexテーブル114の更新部分情報を記録する変更管理テーブル117を参照して更新部分情報と更新データを取得するように指示し、返ってきた更新部分情報と更新データとを、更新データ送信部113dを用いてVM120へ送信する。 Update data acquiring unit 113c acquires a snapshot of the index table 114 of the VM 110, confirms that it is applied to index table 124 of VM 120, with respect to changing the monitoring unit 115 records the updated portion information of the index table 114 instructed to acquire the the update data updated portion information by referring to the change management table 117, the updated portion information returned and the update data is transmitted to VM120 using the update data transmission unit 113d.

更新データ送信部113dは、更新データ取得部113cによって取得した更新部分情報と更新データとを、VM120へ送信する。 Update data transmission unit 113d the acquired updated portion information by the update data acquisition unit 113c and the update data is transmitted to the VM 120.
更新データ受信部123iは、更新データ送信部113dによって送信された更新部分情報と更新データとを、VM120において受信する。 Update-data receive unit 123i may update partial information sent by the update data transmission unit 113d and the update data is received at the VM 120.
更新データ適用部123hは、更新データ受信部123iによって取得した更新部分情報と更新データをVM120のindexテーブル124に適用する。 Update data application unit 123h applies the acquired update partial information by the update data receive unit 123i and the update data in the index table 124 of the VM 120.
複製完了通知送信部113eは、変更監視部115によって新たな更新部分が存在しないことを確認すると、VM120に対して、indexテーブル114の複製が完了したことを通知する。 Replication completion notice transmitting unit 113e, when confirming that there is no new updated portion by changing the monitoring unit 115, notifies the VM 120, the replication of index table 114 is completed.

複製完了通知受信部123jは、複製完了通知送信部113eによって送信された通知を受け取ると、VM切り替え部126に対して、indexテーブル124の複製が完了したことを通知する。 Replication completion notification receiving unit 123j receives the notification sent by replication completion notice transmitting unit 113e, relative to VM switching unit 126, and notifies that replication of index table 124 is completed.
VM切り替え部126は、VMM130に対して、業務を行っているVM110のネットワークをVM120へ、共有ボリューム132の接続をVM110からVM120へ、それぞれ切り替えるべきことを指示し、ネットワークと共有ボリューム132の切り替えが完了するとVM切り替え完了通知通信部129へ通知する。 VM switching unit 126, to the VMM 130, the network VM110 doing business to the VM 120, the connection of the shared volume 132 from VM110 to VM 120, and instructs that it should switch each switching network with shared volume 132 Upon completion notifies the VM switching completion notification communication unit 129.
変更監視部115は、スナップショット取得部113aによってindexテーブル114のスナップショットを取得した時点から、indexテーブル114の変更を監視する。 Monitoring unit 115, from the point of acquiring a snapshot of the index table 114 by the snapshot acquisition unit 113a, to monitor changes in the index table 114.

VM切り替え部126は、複製完了通知受信部123jからのindexテーブル114複製完了の通知を受けて、VMM130に対してVMの切り替えを指示し、共有ボリューム132の接続をVM110からVM120へ切り替え、旧バージョン動作部128の動作を開始させる。 VM switching unit 126 receives a notification of index table 114 replication completion from replication completion notification receiving unit 123j, and instructs switching VM respect VMM 130, switches the connection of the shared volume 132 from VM110 to VM 120, old version It starts the operation of the operation unit 128.
ネットワーク切り替え部131は、VM120のVM切り替え部126からのVM切り替え指示を受け、業務中のデータを受信していたネットワークをVM110からVM120へ切り替える。 Network switching unit 131 receives the VM switching instruction from the VM switching unit 126 of the VM 120, switches the network having received the data in the business from VM110 to VM 120.
旧バージョン動作部128は、VM110からVM120へ切り替えた直後において、VM切り替えが完了していないノードが存在したときのために、VM120上で旧バージョンと同様の動作をするものである。 Old version operation unit 128 immediately after the switching from VM110 to VM 120, in case the node VM switching is not completed exists, in which the same operation as previous versions on VM 120. これにより、旧バージョンの動作をするノードと新バージョンの動作をするノードとが混在して実行される状態を無くしている。 Thus, eliminating the state of the node to the node and the new version of the operation for the operation of the old version are performed in a mixed manner.

VM切り替え完了通知通信部129は、自身のノードにおいて、VM切り替え部126からVM切り替え完了の通知を受けたとき、システム内の全ノードに対してVM切り替え完了を通知する。 VM switching completion notification communication unit 129, in its own node, when the VM switching unit 126 receives the notification of the VM switching completion, notifies the VM switching completion to all nodes in the system. また、他のノードからのVM切り替え完了通知を完了通知テーブル12bに記録し、完了通知テーブル12bから全ノードのVM切り替えが完了しているか否かを判断し、全てのノードのVM切り替えが完了していれば、旧バージョンから新バージョンへの切り替え処理を開始する。 Also, record the VM switching completion notification from other nodes completion notification table 12b, and determines whether the VM switching of all nodes from the completion notification table 12b has been completed, the VM switching of all the nodes to complete if it is, to start the process of switching from the old version to the new version.
新旧バージョン切り替え部12aは、VM切り替え完了通知通信部129から、全てのノードのVM切り替えが完了したことを通知されると、例えば一般的な既知の合意アルゴリズム(2相コミットなど)によって、全ノードで切り替え先となる新バージョンについて合意する。 Old version switching unit 12a, from the VM switching completion notification communication unit 129 is notified that the VM switching of all nodes has been completed, for example, by a general known agreement algorithm (such as two-phase commit), all nodes in the agreement for the new version to be a switching destination. 全ノードで合意ができた時点で、各々のノードは、旧バージョンの動作から新バージョンの動作へと処理動作を切り替える。 Once we are able to agree on all nodes, each node switches the processing operation to the new version of operating from the operation of the older version. 但し、切り替えが完了した各ノードは、切り替え前で旧バージョンで動作のノードに対するデータの送信は保留し、この保留の対象ノードが新バージョンへの切り替えが通知された時点で、保留していたデータの送信を開始する。 However, each node switching is completed, the transmission of data pending for the node running the old version before switching, when the target node of the pending is notified to switch to a new version, it was suspended to start the transmission of the data.

(動作の説明) (Description of Operation)
図2は、本発明の実施形態に係る分散型情報処理システムが適用される分散ストレージシステムの1構成例を示す構成図である。 Figure 2 is a block diagram showing a configuration example of a distributed storage system that distributed data processing system is applied according to an embodiment of the present invention.
図3は、図2に示す分散ストレージシステム(本発明に係る分散ストレージシステム)の、ストレージ付近の構成を示す構成図である。 3, the distributed storage system shown in FIG. 2 (distributed storage system according to the present invention), is a configuration diagram showing the configuration of a vicinity of the storage.
ノード1〜nの各々は、単一ノードであり、VMM100(図1)の構成を備える。 Each node 1~n is a single node, comprising the construction of VMM 100 (FIG. 1).
また、ノード1〜nの各々は、広域ネットワーク10000に通信可能に接続されており、さらに、ノード1〜nは、それぞれノードの符号にストレージ番号が対応するストレージ1〜nと接続されている(この1〜nはストレージ番号)。 Also, each of the nodes 1 to n is communicatively connected to a wide area network 10000, further nodes 1 to n are each storage number to the sign of the nodes are connected to the corresponding storage 1 to n ( this 1~n storage number). このストレージ1〜nの各々には、ストレージ200(図1)が適用されるものとする。 Each of the storage 1 to n, and storage 200 that (FIG. 1) is applied.

以下では、図1に示す分散型情報処理システムの構成において、特にノードi(iは1〜n)の構成要素を示す場合は、図1に示す構成要素の符号の前にノード番号を附すものとする。 Hereinafter, the configuration of the distributed processing system shown in FIG. 1, especially if showing the components of a node i (i is 1 to n), Hus the node number in front of the sign of the components shown in FIG. 1 and things. 例えば、ノード1の複製部113は、複製部1113と記載する。 For example, copying unit 113 of the node 1 is described as copying unit 1113. 但し、特に特定のノードを指定した既述ではなく、ノード全体に対して適用される既述の場合は、前記のノード番号の記載は省略する。 However, rather than the previously described particularly specify a particular node, if the above is applied to the entire node, is omitted the description of the node number.
以下、図1を参照しながら、図2,3に示す構成図を用いて、本実施形態に係る分散型情報処理システムの動作を説明する。 Hereinafter, with reference to FIG. 1, using a block diagram shown in FIG. 2 and 3, the operation of the distributed information processing system according to the present embodiment.
図3に示すように、例えば、VMM1100(ノード1)のOS1110内には、キー生成部111d、データ分割部1111、データ保存部1112、indexテーブル1114を備え、後述するようなデータ書き込み処理を行う。 As shown in FIG. 3, for example, in the OS1110 of VMM1100 (node ​​1), comprising key generating unit 111d, the data division unit 1111, a data storage unit 1112, index table 1114, performs data write processing as described below . データが書き込まれると、キー生成部111dによってデータのキーが作成され、indexテーブル1114に登録される。 When data is written, the data key is created by the key generating unit 111d, it is registered in the index table 1114. 続いてデータ分割部1111によってデータが分割され、その分割されたデータをデータ保存部1112が各ノード100のストレージ200へ保存し、その保存した場所をindexテーブルn114に保存する。 Then the data is divided by the data dividing unit 1111, the divided data is data storage unit 1112 and stored to the storage 200 for each node 100, stores the saved locations to index table n114. 他のノード(2〜n)についても上記のノード1と同様である。 Is similar to node 1 of the for the other nodes (2- through n).

図4,5は、図2,3に示すシステムの、VMM100(単一ノード)におけるVM切り替え動作の概要を示す説明図である。 4 and 5, of the system shown in FIG. 2 and 3 is an explanatory diagram showing an outline of a VM switching operation in the VMM 100 (single node).
図4,5に示すように、各ノードにハイパーバイザ型の仮想マシンモニター(VMM100)が充当されており、その上に業務を行う仮想マシン(VM110)が配されている。 As shown in FIGS. 4 and 5, each node has a hypervisor type of the virtual machine monitor (VMM 100) is allocated, a virtual machine (VM 110) is arranged to conduct business thereon. ソフトウェアのインストールまたはアップグレード時、ソフトウェアを適用するための仮想マシン(VM120)をVM110のOSイメージの複製として新たに作成する。 During software installation or upgrade, new to create a virtual machine (VM120) for applying the software as a copy of the OS image of VM110.
VM120にソフトウェアを適用した後、VM110上の設定情報とindexテーブル114を共有ボリューム132経由でVM120に引き継ぎ、業務で実行中のネットワークをVM110からVM120へ切り替え、業務を行うVMを切り替える。 VM 120 after applying the software to take over the VM 120 configuration information and index table 114 on VM110 via shared volume 132, a network running the business switched from VM110 to VM 120, it switches the VM to conduct business. この切り替え直後は、更新後のバージョンでは動作せず、更新前のバージョンで動作することになる。 Immediately after this switching is not operated in the updated version will operate in the pre-update version. 全てのノードのソフトウェアのインストール若しくはアップグレードが完了した後、新バージョンによる動作に切り替える。 After the software installation or upgrade of all of the nodes has been completed, switch to the operation of the new version.

図6,7は、図2,3に示すシステムの、VMM100(単一ノード)におけるVM切り替え動作の詳細を示す説明図である。 6 and 7, the system shown in FIG. 2 and 3 is an explanatory view showing the details of the VM switching operation in the VMM 100 (single node).
図6,7に示すように、VM110からVM120を複製後、VM120においてインストールまたはアップグレード処理中のとき、VM110では業務の処理と並行して、indexテーブル114複製処理や変更監視処理の起動や変更管理テーブル117の生成などの業務の引継ぎの準備を開始する。 As shown in FIGS. 6 and 7, after the replicating VM 120 from VM 110, when in the installation or upgrade process in VM 120, in parallel with the process of the operation in VM 110, start and change management index table 114 replication process and change monitoring process to start the preparation of the business of the takeover, such as the production of table 117.
VM120のインストール処理の完了を契機に、スナップショット取得部113aはVM110上のindexテーブル114のスナップショット(その時点におけるindexテーブルのデータ)を取得し、取得したスナップショットをスナップショット送信部113bによってVM120へ送信し、送信されたスナップショットをスナップショット受信部123gによって受信し、受信したスナップショットをスナップショット適用部123fによってVM120上のindexテーブル124に反映する。 Triggered by the completion of the installation process of VM 120, snapshot acquisition unit 113a acquires a snapshot of the index table 114 in the VM 110 (data index table at that time), the acquired snapshot Snapshot transmission unit 113b VM 120 transmitted to, the transmitted snapshot received by the snapshot receiver 123 g, is reflected in the index table 124 on VM120 by the received snapshot snapshot application unit 123f.

VM110上のindexテーブル114のスナップショットを取得したことを契機に変更監視部115は、indexテーブル114の変更箇所の記録を開始する。 Monitoring unit 115 in response that takes a snapshot of the index table 114 on VM110 starts recording the changed portion of the index table 114.
また、VM120のindexテーブル124に対するVM110のindexテーブル114のスナップショット適用完了を契機に、更新データ取得部113cは、変更監視部115に変更箇所を問い合わせ、indexテーブル114の変更箇所情報と変更データを取得し、取得した変更箇所情報と変更データを更新データ送信部113dによってVM120へ送信し、送信された変更箇所情報と変更データを更新データ受信部123iによって受信し、受信した変更箇所情報と変更データを更新データ適用部123hによってVM120上のindexテーブル124に反映する。 Further, in response to the snapshot completion of applying the index table 114 of VM110 for index table 124 of the VM 120, the update data acquisition unit 113c inquires the changes in the change monitoring unit 115, changed parts information index table 114 and change data acquired, acquired the changes updates and data transmission to the VM120 by the update data transmission unit 113d has a modified data transmitted changed part information received by the update-data receive unit 123i, the received changed part information and change data reflected in index table 124 on VM120 by the update data application unit 123h.

業務を行っているときは、VM110のindexテーブル114が頻繁に変化するので、上記の手段によって更新データを随時VM120のindexテーブル124に適用する。 When performing operations, because index table 114 VM110 changes frequently, to apply the update data in the index table 124 at any time VM120 by the above means. この操作を繰り返し、VM110の更新データが無くなった時点で、変更監視部115が、複製完了通知送信部113eに対して複製完了通知を送り、複製完了通知送信部113eは、VM120に対してindexテーブル114の複製完了通知を送信する。 This operation is repeated, when there is no more update data VM 110, the change monitoring unit 115 sends a copy completion notification to replication completion notice transmitting unit 113e, replication completion notice transmitting unit 113e is, index table for VM120 114 transmits a copy completion notification. VM120の複製完了通知受信部123jは、複製完了通知を受信するとVM切り替え部126にindexテーブル114複製完了を通知する。 Replication completion notification receiving unit of the VM 120 123j notifies the index table 114 replication completed upon receiving a copy completion notification to the VM switching unit 126.
VM切り替え部126は、複製完了通知受信部123jからindexテーブル114の複製完了の通知を受け取ると、VMM130のネットワーク切り替え部131に対してVM110での業務で使用中のネットワークをVM120へ切り替えるように指示し、VMM130に共有ボリューム132の接続をVM110からVM120へ切り替えるように指示する。 VM switching unit 126 receives the notification of completion of replication of index table 114 from the copy completion notification receiving unit 123j, instructs the network in use operations in VM110 the network switching unit 131 of VMM130 to switch to VM120 and an instruction to switch from VM110 connections shared volume 132 to VMM130 to VM 120. ネットワーク切り替え部131からネットワーク切り替え完了の通知を受け取ると、VM切り替え完了通知通信部129へVMの切り替えが完了したことを通知する。 From the network switching unit 131 receives notification of network switching completion, notifies that to the VM switching completion notification communication unit 129 to switch VM has been completed.

ネットワーク切り替え部131は、VM切り替え部からの指示により、業務で接続中のVM110のネットワークをVM120へ切り替える。 Network switching unit 131, an instruction from the VM switching unit switches the VM110 network in connection with the business to VM 120. ネットワークの切り替えが完了すると、VM切り替え部126にネットワークの切り替えが完了したことを通知する。 The switching network is completed, it notifies the switching network is completed VM switching unit 126.
図8,9は、図2,3に示すシステムの、全てのノードにおけるバージョン切り替え動作を示す説明図である。 8 and 9 is an explanatory diagram showing the system shown in FIG. 2 and 3, the version switching operation in all nodes.
旧バージョン動作部128は、ネットワークが切り替わると同時に動作を開始し、まだインストールが完了していないノードと同様の処理を行う。 Old version operation unit 128, the network is switched when starts operating simultaneously, performs still the same as the node has not completed the installation process. この処理によって、異なるバージョンが混在しても問題なく業務を継続できる。 By this process, it can continue to operate without any problems even if different versions are mixed.
VM切り替え完了通知通信部129は、VM切り替え部126からVMの切り替えの完了が通知されると、完了通知テーブル12bを生成し、全てのノードに対して自身のノードのVMの切り替えが完了したことを通知する。 VM switching completion notification communication unit 129, the completion of VM switching unit 126 to switch the VM is notified, the completion notification table 12b generates, the switching of the VM own node to all nodes has been completed to notify. 他のノードからのVM切り替え完了通知を受信すると完了通知テーブル12bに対応するノードに完了と記録する。 Recorded as complete node corresponding to the completion notification table 12b receives the VM switching completion notification from other nodes.

各ノードのVM切り替え完了通知部129は、完了通知テーブル12bを参照し、システム内の全てのノードがVMの切り替えを完了していることを判断すると、新旧バージョン切り替え部12aに全ノードのVMが切り替わったことを通知する。 VM switching completion notification unit 129 of each node, refers to the completion notification table 12b, when all the nodes in the system to determine that you have completed the switching of the VM, the VM of all nodes in the old and new versions switching section 12a It informs that it has switched.
新旧バージョン切り替え部12aは、各ノードのバージョンを管理しているバージョン情報テーブル12cと一般的な合意アルゴリズム(2相コミットなど)を使用し、各ノードで切り替える新しいバージョンについての合意を行う。 Old version switching unit 12a, using the version information table 12c and general agreement algorithm that manages the version of each node (such as two-phase commit), the agreement on the new version of switching at each node. この合意の処理は、最初に任意のノードを調停者とし、調停者のノード120がVM切り替えバージョン情報と切り替え可能メッセージを、全てのノード(1120〜n120)へ送付する。 Processing the agreement, first and mediator any node, arbiter node 120 sends the VM switching version information and switchable message to all nodes (1120~n120).

送付されたバージョン情報を受け取ったノード(1120〜n120)は、自己の切り替え先のバージョン情報と一致しているか否かを判断し、正しければOKを示す情報を調停者のノード120へ返信する。 Node that has received the sent version information (1120~n120) determines whether match the own switching destination version information, and returns information indicating OK is correct to mediator node 120. 調停者のノード120は、全てのノード(1120〜n120)から、前記OK示す情報が返信されたことを確認すると、全てのノード(1120〜n120)に対して新しいバージョンへの動作の切り替えを指示し、調停者のノード120も新しいバージョンへの動作に切り替える。 Mediator node 120, from all nodes (1120~n120), confirms that the said OK indicating information is returned, an instruction to switch the operation to a new version to all the nodes (1120~n120) and, mediator of the node 120 is also switched to the operation to the new version. 各ノードでは、この切り替えが完了すると、全てのノードへ、新しいバージョンへの切り替えが完了したことを通知し、この通知を受け取った各ノードは、バージョン情報テーブル12cに、対応するノードと、前記新しいバージョンのバージョン情報とを記録する。 At each node, when the switching is complete, to all nodes, and notifies the switching to a new version is completed, each node receiving the notification, the version information table 12c, the corresponding node, the new to record a version of the version information. 各ノードの切り替えるタイミングは異なるため、新バージョンで動作するノードと旧バージョンで動作するノードが混在した状態になる。 Since the timing of switching of each node differs, in a state where node operating on the node and the old version which operates with the new version are mixed. そのため、バージョン情報テーブル12cを参照し、切り替えが完了していないノードへのデータの送信を保留し、切り替えが完了した時点でデータの送信を再開させる。 Therefore, referring to the version information table 12c, and hold the transmission of data to the node switching is not completed, resuming the transmission of data at the time the switching is completed.

図10は、本発明の実施形態に係る分散型情報処理システムが適用される分散ストレージシステムの他の1構成例を示す構成図である。 Figure 10 is a block diagram showing another 1 configuration example of a distributed storage system distributed information processing system is applied according to an embodiment of the present invention.
図10に示す構成のシステムでは、プログラムのバグや通信の遅延などにより、インストールまたはアップグレードの処理に失敗した場合、あるいはインストールまたはアップグレードの処理を取り消す場合に、全ノードへインストールまたはアップグレードの処理の取り消しを通知し、VM120への切り替えが済んでいないノードについてはVM120への切り替え処理を停止し、VM110での業務の処理を継続させ、VM120への切り替えが済んでいるノードについてはVM120のindexテーブル124をVM110へ複製し、VM110で業務の処理を継続させる。 In the configuration of the system shown in FIG. 10, due to the delay of bugs and communication programs, when failed to install or upgrade process, or to cancel the installation or upgrade process, cancellation of the installation or upgrade process to all nodes It notifies, to stop the switching process to VM 120 for nodes that have not yet switched to the VM 120, to continue the process of the operation in the VM 110, the VM 120 for the node have already done switching to VM 120 index table 124 the duplicate to the VM110, to continue the process of business in the VM110. これにより、システムを、インストールまたはアップグレードする前の状態に復元できる。 Thus, the system can be restored to the state before installing or upgrading.

特定のノードで、インストールまたはアップグレードを取り消す現象や要求が発生した場合、当該ノードから全ノードへインストールまたはアップグレードの処理の取り消しを通知する。 In particular node, if the phenomenon or request to cancel the installation or upgrade occurs, it notifies the cancellation of the installation or upgrade process to all nodes from the node.
インストールまたはアップグレードの処理の取り消し通知を受信したVM120への切り替えが済んでいないノードは、VM120への切り替え処理を停止し、VM110での業務の処理を継続させ、VM120を消滅させる。 Node a switch has not yet been to the VM120, which has received the cancellation notice of the installation or upgrade process, stop the process of switching to the VM120, to continue the process of business in the VM110, to extinguish the VM120.
インストールまたはアップグレードの処理の取り消し通知を受信したVM120への切り替えが済んでいるノードは、VM120のindexテーブル124をVM110へ複製するため、図7においてVM110とVM120を入れ替えて成るシステム(即ち、図10に示す構成のシステム)にて、段階的にindexテーブル124を複製する。 Node switching been finished to VM120 which has received the cancellation notice of the installation or upgrade process, in order to replicate the index table 124 of the VM120 to VM 110, the system comprising interchanged VM 110 and VM120 7 (i.e., FIG. 10 at the system configuration shown), stepwise replicate index table 124.

スナップショット取得部123aは、VM120上のindexテーブル124のスナップショットを取得し、取得したスナップショットをスナップショット送信部123bによってVM110へ送信し、送信されたスナップショットをスナップショット受信部113gによって受信し、受信したスナップショットをスナップショット適用部113fによってVM110上のindexテーブル114に反映する。 Snapshot acquisition unit 123a acquires a snapshot of the index table 124 on VM 120, and transmits the acquired snapshot Snapshot transmission unit 123b to the VM 110, the transmitted snapshot received by the snapshot receiver 113g reflects the index table 114 on VM110 received snapshot snapshot application unit 113f.
変更監視部125は、VM120上のindexテーブル124のスナップショットを取得したことを契機にindexテーブル124の変更箇所の記録を開始する。 Monitoring unit 125 is triggered to start recording Changes in index table 124 that takes a snapshot of the index table 124 on the VM 120.
更新データ取得部123cは、VM110のindexテーブル114に対するVM120のindexテーブル124のスナップショット適用完了を契機に変更監視部125に変更箇所を問い合わせ、indexテーブル124の変更箇所情報と変更データとを取得し、該取得した変更箇所情報と変更データとを更新データ送信部123dを介してVM110へ送信する。 Update data acquiring unit 123c is the changes in the change monitoring unit 125 in response to the snapshot completion of applying the index table 124 of VM120 for index table 114 of VM110 query, it obtains the changes information index table 124 and the change data , it transmits the changed data and the acquired changed part information via the update data transmission unit 123d to the VM 110.

更新データ受信部113iは、該送信された変更箇所情報と変更データとを受信し、該受信した変更箇所情報と変更データとを更新データ適用部113hによってVM110上のindexテーブル114に反映する。 Update-data receive unit 113i receives and the change data the sent modified part information reflects the index table 114 on the VM110 with the received modified part information by changing data and update data application unit 113h.
業務を行っている最中では、VM120のindexテーブル114が頻繁に変化するので、上記の手段によって更新データを随時VM110のindexテーブル114に適用する。 In middle of performing the operations, since the index table 114 of VM120 it changes frequently, to apply the update data in the index table 114 at any time VM110 by the above means. この操作を繰り返し、VM120の更新データが無くなった時点で、変更監視部125が、複製完了通知送信部123eに対して複製完了通知を送り、複製完了通知送信部123eは、VM110に対してindexテーブル124の複製完了通知を送信する。 This operation is repeated, when the update data VM120 is exhausted, change monitoring unit 125 sends a copy completion notification to replication completion notice transmitting unit 123e, replication completion notice transmitting unit 123e is, index table for VM110 It sends a copy completion notification 124.
VM110の複製完了通知受信部113jは、この複製完了通知を受信すると、VM切り替え部116に対してindexテーブル複製完了を通知する。 Replication completion notification receiving unit 113j of VM110 receives this replication completion notice, notifies the index table replication completion to the VM switching unit 116.

VM切り替え部116は、複製完了通知受信部113jからindexテーブル124の複製完了の通知を受け取ると、VMM130のネットワーク切り替え部131に対してVM120での業務で使用中のネットワークをVM110へ切り替えるように指示し、VMM130に共有ボリューム132の接続をVM120からVM110へ切り替えるように指示する。 VM switching unit 116 receives the notification of completion of replication of index table 124 from the copy completion notification receiving unit 113j, instructs the network in use operations in VM120 the network switching unit 131 of VMM130 to switch to VM110 and an instruction to switch from VM120 connections shared volume 132 to VMM130 to VM 110. また、ネットワーク切り替え部131から、ネットワーク切り替え完了の通知を受け取る。 Furthermore, the network switching unit 131 receives a notification of the network switching completion.
ネットワーク切り替え部131は、VM切り替え部116からの指示により、業務で接続中のVM120のネットワークを、VM110との接続に切り替える。 Network switching unit 131, an instruction from the VM switching unit 116, the VM120 network in connection with operations, switches to connect to the VM 110. このネットワークの切り替えが完了すると、ネットワーク切り替え部131は、VM切り替え部116にネットワークの切り替えが完了したことを通知する。 When the switching of the network is completed, the network switching unit 131 notifies the switching network is completed VM switching unit 116.

本実施形態に係る分散型情報処理システムによれば、同一ハードウェア上に業務を行う仮想マシンとインストール及びアップグレードを行う仮想マシンとを同時に動作させ、インストールまたはアップグレードが完了すると、業務を行う仮想マシンを切り替えて、システム内の他のノードと連携し、動作する新しいバージョンについて合意し、全てのノードで一斉に切り替えるように構成したので、業務を停止することなくソフトウェアのインストール及びアップグレードができる効果が有る。 According to the distributed information processing system according to this embodiment, by operating the virtual machines for performing virtual machines and installations and upgrades do business on the same hardware at the same time, when installing or upgrading is complete, the virtual machine to conduct business by switching, in cooperation with other nodes in the system, agree on a new version of operating, since it is configured to switch simultaneously at all nodes, the effect of the software installation and upgrade without stopping the business there.

また、インストールまたはアップグレードが完了した仮想マシンは、最初に旧バージョンで動作させることと、全てのノードで、旧バージョンでの動作から新バージョンでの動作に切り替えることに合意された後、各ノードで動作するバージョンを切り替える際には、新バージョンでの動作に切り替えたノードは、旧バージョンで動作するノードに送信するデータを保留し、旧バージョンで動作するノードから新バージョンに切り替わったことを通知された時点でデータの送信を再開するように構成したので、システム内において旧バージョンで動作するノードと新バージョンで動作するノードとが混在する状況にあっても、業務を継続することができる効果が有る。 Further, the virtual machine installation or upgrade is complete, the making initially operated in the old version, all nodes, then agreed to switch the operation of the new version from the operation in the previous version, each node when switching the working version, the node is switched to the operation of the new version is notified that pending data to be transmitted to the nodes operating in the old version, switched to the new version from the nodes operating in the previous version It was so constructed as to resume transmission of the data at the time, even in situations where in the system and nodes operating on the node and the new version that runs on the old version are mixed, the effect that can continue operation there.

さらに、仮想マシンを切り替える前であれば、業務を行う仮想マシンだけを残して、インストール及びアップグレードを行う仮想マシンの方を削除すればよく、仮想マシンを切り替えた後であれば、インストールまたはアップグレードを行った仮想マシンと、業務を行っていた仮想マシンとでindexテーブルの複製を行うように構成したので、ソフトウェアを更新前に戻すことができる効果が有る。 In addition, if it is before you switch the virtual machine, leaving only the virtual machine to do the work, it is only necessary to remove the person of the virtual machine to perform the installation and upgrade, if after switching the virtual machine, the installation or upgrade and a virtual machine that was carried out, since it is configured so that in a virtual machine that was going to work carried out a copy of the index table, there is an effect that can be returned to the pre-update software.

上述の各装置は内部に、コンピュータシステムを有している。 Each device described above therein, and a computer system. そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。 The process of the processes described above, are stored in a computer-readable recording medium in the form of a program, by executing the program computer reads, the process is performed. ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。 The computer-readable recording medium may be a magnetic disk, a magneto-optical disk, CD-ROM, DVD-ROM, a semiconductor memory or the like. また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。 Furthermore, it delivered to a computer the computer program via a communication line, a computer which receives this delivery may execute the program.

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。 Further, the program may be one for implementing part of the above functions. さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 Furthermore, what can be achieved in combination with a program already recorded in the above-described functions in the computer system may be a so-called differential file (differential program).

本発明に係る分散型情報処理システムは、分散型情報処理システム及び該システムを適用した分散ストレージシステムの構築に適用可能であり、特に、業務処理を停止することなく、ソフトウェアのインストール及びアップグレードを行うことができる分散型情報処理システム及び該システムを適用した分散ストレージシステムの構築に好適である。 Distributed data processing system according to the present invention is applicable to the construction of distributed storage system using the distributed information processing system and the system, in particular, without stopping the business process, to install and upgrade software it is suitable for the construction of distributed storage system using the distributed information processing system and the system can.

1〜n ノード 110,120 VM(仮想マシン) 1~n node 110,120 VM (Virtual Machine)
111,121 データ分割部 112,122 データ保存部 113,123 複製部 114,124 indexテーブル 115,125 変更監視部 116,126 VM切り替え部 117,127 変更管理テーブル 11d キー生成部 128 旧バージョン動作部 129 VM切り替え完了通知通信部 130 VMM(仮想マシンモニター) 111,121 data dividing unit 112, 122 data storage unit 113, 123 replicating unit 114, 124 index table 115 and 125 change monitoring unit 116, 126 VM switching unit 117, 127 change management table 11d key generation unit 128 old version operations 129 VM switching completion notification communication unit 130 VMM (virtual machine monitor)
131 ネットワーク切り替え部 132 共有ボリューム 131 network switching unit 132 shared volume

Claims (6)

  1. 共通のネットワークに接続された複数のノードの各々から成る分散型情報処理システムであって、 A distributed processing system consisting of each of a plurality of connected nodes to a common network,
    前記ノードそれぞれが自らのノードにおいて、予め旧バージョンの処理機能により情報処理を行う第1の仮想マシンと、オペレーティングシステムのインストール処理またはアップグレード処理によって前記ノードに仮想的に設けられた第2の仮想マシンであって前記第1の仮想マシンを構成する前記旧バージョンの処理機能と同等の旧バージョンの処理機能及び当該旧バージョンの処理機能に対応する新バージョンの処理機能を有し情報処理の開始を待機している第2の仮想マシンと、を備え、 In each of the nodes own node, a first virtual machine for performing information processing by pre-previous version of processing functions, the second virtual machine virtually provided to the node by the installation or upgrade process of the operating system waiting for the start of the previous version of processing functions equivalent to previous versions of the processing functions and information processing have a new version of the processing function corresponding to the previous version of the process the ability to configure the first virtual machine a with includes a second virtual machine that is, the,
    前記第2の仮想マシンは、前記インストール処理またはアップグレード処理中に前記第1の仮想マシンとの間で行った前記第1の仮想マシンにおいて更新されたデータであって情報処理に用いるデータが格納されているストレージを指し示す情報の第2の仮想マシンへの複製の完了を当該複製を行う処理部において特定した際、他のノードと自らのノードとが接続するネットワークを用いた通信を前記第1の仮想マシンによる通信から前記第2の仮想マシンによる通信へと切り替える要求と、前記情報処理に用いるデータが格納されているストレージを指し示す情報を記憶する共有記憶部に対する接続を前記第1の仮想マシンから前記第2の仮想マシンへと切り替える要求とを自らのノードが有する切り替え部へ行うと共に、当該切り替え部 The second virtual machine, data used the A data updated in the first virtual machine made in between said during the installation process or upgrade process first virtual machine in the information processing is stored and that when specified in the processing unit that performs the replication of the completion of the replication of the second virtual machine information indicating the storage, communicating the first using the network to be connected is the other node and the own node a request to switch from the communication by the virtual machine to communicate according to the second virtual machine, from the first virtual machine to connect to the shared storage unit for the data used in the information processing stores the information indicating the storage stored performs a request to switch to the second virtual machine to the switching unit which own node has, the switching unit らのその切り替えの完了の通知に基づいて前記複数のノードへ切り替えの完了を通知し、 Notifies completion of switching to the plurality of nodes based on the notification of completion of the switching of the al,
    前記第2の仮想マシンは、前記複数のノードの全てから切り替えの完了の通知を受けたことに基づいて前記複数のノードのうちの1つの調停ノードから、前記新バージョンの処理機能への切り替え指示の通知を受け、前記新バージョンの処理機能による前記情報処理に切り替える ことを特徴とする分散型情報処理システム。 The second virtual machine, switching instruction from one arbitration node of all from the basis to the received notification of completion of the switching of the plurality of nodes of said plurality of nodes, to the new version of the processing functions distributed information processing system of the notified, and switches to the information processing by the new version of the processing function.
  2. 前記第2の仮想マシンは、前記調停ノードへ切り替えの完了を通知した後に、前記第1の仮想マシンを構成する前記旧バージョンの処理機能と同等の前記旧バージョンの処理機能による前記情報処理を行い、 The second virtual machine, after the notification of the completion of switching to the arbitration node performs the processing by the old version of the processing functions equivalent to the previous version of the process the ability to configure the first virtual machine ,
    前記複数のノードの全てから切り替えの完了の通知を受けたことに基づいて前記複数のノードのうちの1つの前記調停ノードから、前記新バージョンの処理機能への切り替え指示の通知を受けたときに、前記第1の仮想マシンを構成する前記旧バージョンの処理機能と同等の前記旧バージョンの処理機能による前記情報処理を、前記新バージョンの処理機能による前記情報処理に切り替える ことを特徴とする請求項1に記載の分散型情報処理システム。 From one of said arbitration node of the plurality of nodes based on receiving the notification of completion of switching from all of the plurality of nodes, in response to notifications of switching instruction of the to a new version of the processing functions , claims, characterized in that switches the information processing by the old version of the processing functions equivalent to the previous version of the process the ability to configure the first virtual machine, the information processing by the new version of the processing functions distributed data processing system according to 1.
  3. 前記第2の仮想マシンは、前記新バージョンの処理機能による前記情報処理への切り替えが完了した後、前記複数のノードの各々に対して前記新バージョンの処理機能による前記情報処理への切り替えが完了したことを通知し、前記複数のノードのうち前記新バージョンの処理機能による前記情報処理への切り替えが完了したことの通知を受けていないノードに対しては、当該新バージョンの処理機能による前記情報処理におけるデータの送信を保留し、そのノードより前記新バージョンの処理機能による前記情報処理への切り替えが完了したことの通知を受けた場合にそのノードに対するデータの送信を行う ことを特徴とする請求項2に記載の分散型情報処理システム。 The second virtual machine, after the switching to the information processing by the new version of the processing function is completed, switching to the information processing by the new version of the processing function for each of said plurality of nodes complete was notified that, for the not received notification that switching to the information processing by the new version of the processing function is complete node among the plurality of nodes, the information by the new version of the processing functions pending transmission of data in processing, and performs transmission of data to the node when receiving the notification of the switch to the information processing by the processing function of the new version from the node has completed claims distributed data processing system according to claim 2.
  4. 前記新バージョンの処理機能はオペレーティングシステムのインストール処理またはアップグレード処理によって前記第2の仮想マシンに備わる処理機能であり、 The new version of the processing function is a processing function provided in the second virtual machine installation process or upgrade process of the operating system,
    前記第2の仮想マシンは、 The second virtual machine,
    前記インストール処理またはアップグレード処理が失敗または取り消された場合、前記他のノードの全てに取り消しを通知すると共に、該失敗または取り消しとなった時点が、前記第1の仮想マシンの前記旧バージョンの処理機能による前記情報処理から前記第2の仮想マシンの前記新バージョンの処理機能による前記情報処理への切り替え前であれば、前記第1の仮想マシンの前記旧バージョンの処理機能による前記情報処理から前記第2の仮想マシンの前記新バージョンの処理機能による前記情報処理への切り替えを中止し、 If the installation or upgrade process is failed or canceled, and notifies the cancellation in all of the other nodes, time point when the failure or cancellation, the old version of the processing functions of the first virtual machine but before switching to the information processing by the new version of the processing function of the second virtual machine from the information processing by the from the information processing by the processing function of the old version of the first virtual machine the said two of the virtual machine to stop switching to the information processing by the new version of the processing function,
    前記インストール処理またはアップグレード処理が取り消された場合、前記他のノードの全てに取り消しを通知すると共に、該取り消しとなった時点が、前記第1の仮想マシンの前記旧バージョンの処理機能による前記情報処理から前記第2の仮想マシンの前記新バージョンの処理機能による前記情報処理への切り替え後であれば、前記第2の仮想マシンの前記新バージョンの処理機能による前記情報処理から前記第1の仮想マシンの前記旧バージョンの処理機能による前記情報処理への切り替えを、前記第1の仮想マシンの前記旧バージョンの処理機能による前記情報処理から前記第2の仮想マシンの前記新バージョンの処理機能による前記情報処理への切り替えと同様に行う ことを特徴とする請求項1乃至3のいずれか1項に記載の分散 If the installation or upgrade process is canceled, and notifies the cancellation in all of the other nodes, time point when the cancellation, the processing by the old version of the processing functions of the first virtual machine said second long after switching to the information processing by the new version of the processing function of the virtual machine, the first virtual machine from the information processing by the processing capabilities of the new version of the second virtual machine from wherein said information by switching the said new version of the processing function of the second virtual machine from the information processing by the processing function of the old version of the first virtual machine to the information processing by the old version of the processing functions dispersion according to any one of claims 1 to 3, characterized in that like the switching to the process 型情報処理システム。 Type information processing system.
  5. 前記新バージョンの処理機能はオペレーティングシステムのインストール処理またはアップグレード処理によって前記第2の仮想マシンに備わった処理機能であり、 The new version of the processing function is a processing function provided in the second virtual machine installation process or upgrade process of the operating system,
    前記第2の仮想マシンは、 The second virtual machine,
    前記インストール処理またはアップグレード処理が失敗または取り消された場合、前記他のノードの全てに取り消しを通知すると共に、 If the installation or upgrade process is failed or canceled, and notifies the cancellation in all of the other nodes,
    前記他のノードより取り消しの情報を受信した時点が、 前記第1の仮想マシンの前記旧バージョンの処理機能による前記情報処理から前記第2の仮想マシンの前記新バージョンの処理機能による前記情報処理への切り替え前であれば、前記第1の仮想マシンの前記旧バージョンの処理機能による前記情報処理から前記第2の仮想マシンの前記新バージョンの処理機能による前記情報処理への切り替えを中止し、 Upon receiving the cancellation information from said other node, to the first of the said information processing by the new version of the processing function of the virtual machine from the information processing by the old version of the processing functions said second virtual machine if before switching, to stop the switching to the information processing by the new version of the processing functions of the second virtual machine from the information processing by the old version of the processing functions of the first virtual machine,
    前記他のノードより取り消しの情報を受信した時点が、前記第1の仮想マシンの前記旧バージョンの処理機能による前記情報処理から前記第2の仮想マシンの前記新バージョンの処理機能による前記情報処理への切り替え後であれば、前記第2の仮想マシンの前記新バージョンの処理機能による前記情報処理から前記第1の仮想マシンの前記旧バージョンの処理機能による前記情報処理への切り替えを、前記第1の仮想マシンの前記旧バージョンの処理機能による前記情報処理から前記第2の仮想マシンの前記新バージョンの処理機能による前記情報処理への切り替えと同様に行う ことを特徴とする請求項1乃至3のいずれか1項に記載の分散型情報処理システム。 Upon receiving the cancellation information from said other node, to the first of the said information processing by the new version of the processing function of the virtual machine from the information processing by the old version of the processing functions said second virtual machine if after the switching, the switching from the information processing by the new version of the processing function of the second virtual machine to the old version of the processing function by the information processing of the first virtual machine, the first the virtual machine from the information processing by the old version of the processing functions of the claims 1 to 3, characterized in that like the switching to the information processing by the processing function of the new version of the second virtual machine distributed data processing system according to any one.
  6. 前記複数のノードに接続された前記ストレージを備え、かつ前記複数のノードの全ての構成を請求項1乃至5のいずれか1項に記載の分散型情報処理システムの構成としたことを特徴とする分散ストレージシステム。 With the storage connected to the plurality of nodes, and is characterized in that a configuration of a distributed processing system according to any one of claims 1 to 5 all configurations of the plurality of nodes distributed storage system.
JP2010032565A 2010-02-17 2010-02-17 Distributed processing system and distributed storage system Active JP5728812B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010032565A JP5728812B2 (en) 2010-02-17 2010-02-17 Distributed processing system and distributed storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010032565A JP5728812B2 (en) 2010-02-17 2010-02-17 Distributed processing system and distributed storage system

Publications (2)

Publication Number Publication Date
JP2011170528A true JP2011170528A (en) 2011-09-01
JP5728812B2 true JP5728812B2 (en) 2015-06-03

Family

ID=44684609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010032565A Active JP5728812B2 (en) 2010-02-17 2010-02-17 Distributed processing system and distributed storage system

Country Status (1)

Country Link
JP (1) JP5728812B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160364226A1 (en) * 2014-03-28 2016-12-15 Ntt Docomo, Inc. Update management system and update management method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1027092A (en) * 1996-07-12 1998-01-27 Oki Electric Ind Co Ltd Managing method for software
DE19810814B4 (en) * 1998-03-12 2004-10-28 Telefonaktiebolaget Lm Ericsson (Publ) Computer system and state copying method for scalable software update
JP4426736B2 (en) * 2001-04-27 2010-03-03 株式会社日立製作所 Program correction method and program

Also Published As

Publication number Publication date Type
JP2011170528A (en) 2011-09-01 application

Similar Documents

Publication Publication Date Title
US8719497B1 (en) Using device spoofing to improve recovery time in a continuous data protection environment
US8219769B1 (en) Discovering cluster resources to efficiently perform cluster backups and restores
US20090328030A1 (en) Installing a management agent with a virtual machine
US7653794B2 (en) Converting physical machines to virtual machines
US20120144391A1 (en) Provisioning a virtual machine
US20100318991A1 (en) Virtual Machine Fault Tolerance
US7941470B2 (en) Synchronization and customization of a clone computer
US20050235281A1 (en) Combined software installation package
US20080005611A1 (en) Providing A Restore Operating System With New Or Updated Software Components
US20120291021A1 (en) Method and system for firmware upgrade of a storage subsystem hosted in a storage virtualization environment
US20030233645A1 (en) Application imaging infrastructure
US20110066786A1 (en) Method of Suspending and Resuming Virtual Machines
US8195774B2 (en) Distributed virtual switch for virtualized computer systems
US6971095B2 (en) Automatic firmware version upgrade system
US20100070870A1 (en) Unified Secure Virtual Machine Player and Remote Desktop Client
US20080104588A1 (en) Creation of temporary virtual machine clones of multiple operating systems
US20070022144A1 (en) System and method for creating an application-consistent remote copy of data using remote mirroring
US20120079474A1 (en) Reimaging a multi-node storage system
US20090113408A1 (en) System synchronization in cluster
US20100211829A1 (en) Failure detection and recovery of host computers in a cluster
US8214686B2 (en) Distributed processing method
US20070244938A1 (en) Creating host-level application-consistent backups of virtual machines
US7673023B1 (en) Method and apparatus for service processor updates
US20070168478A1 (en) System and method for transferring a computing environment between computers of dissimilar configurations
CN101609419A (en) Continuous on-line transferring data backup method of virtual machine and device thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150115

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150323

R150 Certificate of patent or registration of utility model

Ref document number: 5728812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150