JP7240439B2 - アップデート装置、アップデート方法、およびプログラム - Google Patents

アップデート装置、アップデート方法、およびプログラム Download PDF

Info

Publication number
JP7240439B2
JP7240439B2 JP2021077166A JP2021077166A JP7240439B2 JP 7240439 B2 JP7240439 B2 JP 7240439B2 JP 2021077166 A JP2021077166 A JP 2021077166A JP 2021077166 A JP2021077166 A JP 2021077166A JP 7240439 B2 JP7240439 B2 JP 7240439B2
Authority
JP
Japan
Prior art keywords
node
management
cluster
execution
execution node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021077166A
Other languages
English (en)
Other versions
JP2022170887A (ja
Inventor
佳祐 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2021077166A priority Critical patent/JP7240439B2/ja
Priority to US17/689,499 priority patent/US11977876B2/en
Publication of JP2022170887A publication Critical patent/JP2022170887A/ja
Application granted granted Critical
Publication of JP7240439B2 publication Critical patent/JP7240439B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、概して、業務処理に係るノードをアップデートする技術に関する。
コンテナ技術を使用したコンテナ管理基盤では、複数台の管理ノードと、複数台の実行ノードとが含まれて１つのクラスタとする構成が一般的である。こうしたクラスタでは、管理ノードの持つＡＰＩ（Application Programming Interface）にアクセスすることで、クラスタの構成変更、統計情報の採取といった業務処理を行うことができる。
また、コンテナ管理基盤をアップデートする場合には、業務の停止を避けることを目的として、ローリングアップデートが採用される。
ローリングアップデートでは、クラスタ内のマシンが１台ずつアップデートされるが、管理ノードの更新時はＡＰＩが停止するため、運用者は、業務を行うことができない。このため、アップデート中の業務は、同クラスタ中の管理ノードの更新が完了するまで作業を行うことができない。つまり、クラスタにおける高負荷、不具合に対応するための業務としてアプリケーションプログラムの設定変更、リソースの拡充等ができないタイミングが発生することで、サービスの稼働に悪影響を及ぼすリスクがある。
この点、複数の情報処理装置の中から、クラスタの冗長ポリシーに基づき設定される設定台数の情報処理装置を選択してクラスタから切り離し、クラスタから切り離された情報処理装置上で稼働する仮想マシンを、クラスタ内の他の情報処理装置に移管させ、クラスタから切り離された情報処理装置に対してメンテナンス作業を実行する管理装置が開示されている（特許文献１参照）。
特開２０２０－２７５３０号公報
特許文献１に記載の技術では、ローリングアップデートにかかる時間を削減するため、一度にアップデートするノードを適切に選出してアップデート効率を上げることはできる。しかしながら、特許文献１に記載の技術では、管理ノードのアップデート時の業務処理について対策が実施されていないので、管理ノードのアップデート時に、運用者は、業務を行うことができない。
本発明は、以上の点を考慮してなされたもので、業務処理に係るノードを適切にアップデートし得るアップデート装置等を提案しようとするものである。
かかる課題を解決するため本発明においては、ロードバランサにより振り分けられた業務処理を実行可能な第１の実行ノードと前記第１の実行ノードを管理する第１の管理ノードとを含んで構成される第１のクラスタと、前記ロードバランサにより振り分けられた業務処理を実行可能な第２の実行ノードと前記第２の実行ノードを管理する第２の管理ノードとを含んで構成される第２のクラスタと、をアップデートするアップデート装置であって、前記ロードバランサに対して、前記第１のクラスタへの振り分けを停止するように指示する通信制御部と、前記第１の実行ノードを、前記第１の管理ノードにおける管理下から前記第２の管理ノードにおける管理下に移すように、前記第１の管理ノードおよび前記第２の管理ノードに指示する移管部と、前記第１の実行ノードが前記第１の管理ノードにおける管理下から前記第２の管理ノードにおける管理下に移されたことに基づいて、前記第１の管理ノードをアップデートするように前記第１の管理ノードに指示するアップデート部と、を設けるようにした。
上記構成では、第１のクラスタの第１の実行ノードが、第２の管理ノードの管理下に移されるので、第２の管理ノードの管理下において当該第１の実行ノードによる業務処理が可能である。上記構成によれば、例えば、第１の管理ノードのアップデート中であっても、当該第１の実行ノードによる業務処理が実施可能となる。
本発明によれば、利便性の高いアップデート装置を実現することができる。
第１の実施の形態による業務システムに係る構成の一例を示す図である。 第１の実施の形態によるクラスタ管理サーバの機能構成の一例を示す図である。 第１の実施の形態によるクラスタ管理サーバのハードウェア構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタＡおよびクラスタＢに係る構成の一例を示す図である。 第１の実施の形態によるノードクラスタ情報の一例を示す図である。 第１の実施の形態による実行ノード情報の一例を示す図である。 第１の実施の形態によるアップデート処理の一例を示す図である。 第１の実施の形態によるシーケンスの一例を示す図である。 第１の実施の形態によるシーケンスの一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。 第１の実施の形態によるクラスタの構成の一例を示す図である。
（Ｉ）第１の実施の形態
以下、本発明の一実施の形態を詳述する。ただし、本発明は、実施の形態に限定されるものではない。
本実施の形態に係るアップデート装置は、管理ノードおよび実行ノードを含んで構成されるクラスタをアップデートする際、当該クラスタから、実行ノードを別クラスタに分離した上で当該クラスタの管理ノードをアップデートする。例えば、アップデート装置は、アップデートする管理ノードの管理下の実行ノードについて、その管理情報を修正することで、当該実行ノードを別のクラスタの管理下に移す（移管する）。このように、本アップデート装置は、管理ノードをアップデートする際は、実行ノードが管理ノードの管理下にいない状態とし、業務処理とアップデート処理とを分離する。
その後、アップデート装置は、分離した実行ノード上のコンテナを分離先のクラスタにある別の実行ノードに移した上で、分離した実行ノードを１台ずつ分離元のクラスタに戻し、当該実行ノードをアップデートする。例えば、アップデート装置は、管理ノードの管理情報を修正し、分離元のクラスタに実行ノードを移した後に当該実行ノードをアップデートする。このように、アップデート装置は、業務処理が動作している環境からアップデートする実行ノードを切り離すことによって、当該実行ノードが業務処理の対象にならないように制御する。
上記構成では、業務処理とアップデート処理との分離によって、ノードがアップデートされている際の業務処理を可能とする。これによって、管理ノードがアップデートされている際に、運用者が業務を行えない状況が発生する事態を回避するとともに、同機能を使用する業務アプリケーションの停止を避けることができる。
本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、１つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
次に、本発明の実施の形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。
なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。また、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、クラスタを特に区別しないで説明する場合には、「クラスタ１２０」と記載し、個々のクラスタを区別して説明する場合には、「第１のクラスタ１２０－１」、「第２のクラスタ１２０－２」のように記載することがある。
図１において、１００は、全体として第１の実施の形態による業務システムを示す。
業務システム１００は、クラスタ管理サーバ１１０と、２つ以上のクラスタ１２０と、ロードバランサ１３０とを含んで構成される。クラスタ管理サーバ１１０と、クラスタ１２０と、ロードバランサ１３０とは、ネットワーク１０１を介して通信可能に接続されている。業務システム１００では、現用系である２つ以上のクラスタ１２０に対して、ロードバランサ１３０により業務処理のリクエスト（以下、「業務通信」と記す）を振り分けて、クラスタ１２０を動作させている。
クラスタ管理サーバ１１０は、アップデート装置の一例であり、クラスタ１２０を管理する物理マシンまたは仮想マシンである。以下では、クラスタ管理サーバ１１０が物理マシンである場合を例に挙げて説明する。
クラスタ１２０は、ロードバランサ１３０により振り分けられた業務処理を実行可能なノードのセットである。ノードは、Ｌｉｎｕｘ（登録商標）ＯＳ（オペレーティングシステム）等のホストＯＳとコンテナ管理アプリケーション（コンテナエンジン）とを含んで構成される物理マシンまたは仮想マシンである。ノードのセットには、業務処理を行う業務アプリケーションを動作させるコンテナを実行可能な実行ノードと、当該実行ノードを管理する管理アプリケーションを動作させるコンテナを実行可能な管理ノードとが含まれる。以下では、クラスタ１２０として、第１のクラスタ１２０－１（以下、「クラスタＡ」と記す）と、第２のクラスタ１２０－２（以下、「クラスタＢ」と記す）とが設けられている場合を例に挙げて説明する。
ロードバランサ１３０は、各クラスタ１２０における業務処理の負荷が均等になるように、例えば、ラウンドロビン方式により業務処理（業務通信）を振り分ける装置である。
なお、業務システム１００は、上記構成に限らない。例えば、業務システム１００は、現用系のクラスタ１２０を３つ以上含んで構成されていてもよい。
図２Ａは、クラスタ管理サーバ１１０の機能構成の一例を示す図である。
クラスタ管理サーバ１１０は、通信部２１０と、記憶部２２０と、制御部２３０とを備える。
通信部２１０は、クラスタ１２０との通信およびロードバランサ１３０との通信を制御する。記憶部２２０は、クラスタ１２０の構成を管理するための情報として、ノードクラスタ情報２２１および実行ノード情報２２２を記憶する。ノードクラスタ情報２２１は、ノードとクラスタ１２０との関係を示す情報である。実行ノード情報２２２は、実行ノードとコンテナとの関係を示す情報である。ノードクラスタ情報２２１については、図４を用いて後述し、実行ノード情報２２２については、図５を用いて後述する。
制御部２３０は、通信制御部２３１と、アップデート部２３２と、移管部２３３とを備える。通信制御部２３１は、所定のクラスタ１２０をアップデートする運用者からの指示（以下、「動作開始指示」と記す）に基づいて、ロードバランサ１３０に対して、当該クラスタ１２０の切り離し（業務通信の遮断）を指示する。アップデート部２３２は、クラスタ１２０において、ノードがアップデートされている状態（アップデート状態）を監視し、ノードをアップデートする制御を行う。移管部２３３は、アップデート状態に応じて、実行ノードの移管およびコンテナの移管を管理ノードに指示する。
クラスタ管理サーバ１１０は、上記の機能に加えて、オペレーティングシステム、デバイスドライバ、ファイルシステム、ＤＢＭＳ（DataBase Management System）等の機能を更に備えていてもよい。
図２Ｂは、クラスタ管理サーバ１１０のハードウェア構成の一例を示す図である。
クラスタ管理サーバ１１０は、プロセッサ２４１と、主記憶装置２４２と、補助記憶装置２４３と、入力装置２４４と、出力装置２４５と、通信装置２４６と、を備える。
プロセッサ２４１は、演算処理を行う装置である。プロセッサ２４１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＩ（Artificial Intelligence）チップ等である。
主記憶装置２４２は、プログラム、データ等を記憶する装置である。主記憶装置２４２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等である。ＲＯＭは、ＳＲＡＭ（Static Random Access Memory）、ＮＶＲＡＭ（Non Volatile RAM）、マスクＲＯＭ（Mask Read Only Memory）、ＰＲＯＭ（Programmable ROM）等である。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）等である。
補助記憶装置２４３は、ハードディスクドライブ（Hard Disk Drive）、フラッシュメモリ（Flash Memory）、ＳＳＤ（Solid State Drive）、光学式記憶装置等である。光学式記憶装置は、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等である。補助記憶装置２４３に格納されているプログラム、データ等は、主記憶装置２４２に随時読み込まれる。
入力装置２４４は、ユーザから情報を受付けるユーザインターフェースである。入力装置２４４は、例えば、キーボード、マウス、カードリーダ、タッチパネル等である。
出力装置２４５は、各種の情報を出力（表示出力、音声出力、印字出力等）するユーザインターフェースである。出力装置２４５は、例えば、各種情報を可視化する表示装置、音声出力装置（スピーカ）、印字装置等である。表示装置は、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等である。
通信装置２４６は、通信媒体を介して他の装置と通信する通信インターフェースである。通信装置２４６は、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、シリアル通信モジュール等である。通信装置２４６は、通信可能に接続する他の装置から情報を受信する入力装置として機能することもできる。また、通信装置２４６は、通信可能に接続する他の装置に情報を送信する出力装置として機能することもできる。
クラスタ管理サーバ１１０の機能（通信部２１０、記憶部２２０、制御部２３０等）は、例えば、プロセッサ２４１が補助記憶装置２４３に格納されたプログラムを主記憶装置２４２に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。なお、クラスタ管理サーバ１１０の１つの機能は、複数の機能に分けられていてもよいし、複数の機能は、１つの機能にまとめられていてもよい。また、クラスタ管理サーバ１１０の機能の一部は、別の機能として設けられてもよいし、他の機能に含められていてもよい。また、クラスタ管理サーバ１１０の機能の一部は、クラスタ管理サーバ１１０と通信可能な他のマシン（物理マシンまたは仮想マシン）により実現されてもよい。
また、上述したクラスタ管理サーバ１１０の機能を実現するためのプログラムは、ＣＤ－ＲＯＭ２５０等の記録媒体、インターネット等のデータ信号を通じて提供される。例えば、クラスタ管理サーバ１１０は、ＣＤ－ＲＯＭ２５０を介してプログラムの提供を受けてもよい。また、クラスタ管理サーバ１１０は、通信回線２６０との接続機能を備えてもよい。この場合、コンピュータ２７０は、上記プログラムを提供するサーバーコンピュータであり、ストレージ装置２８０等の記録媒体にプログラムを格納している。通信回線２６０は、インターネット、パソコン通信等の通信回線、専用通信回線等である。コンピュータ２７０は、ストレージ装置２８０からプログラムを読み出し、通信回線２６０を介してプログラムをクラスタ管理サーバ１１０に送信する。すなわち、コンピュータ２７０は、プログラムをデータ信号として搬送波を介して、通信回線２６０を介して送信する。このように、記録媒体、データ信号（搬送波）等の種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品としてプログラムを供給できる。
図３Ａは、クラスタ１２０の構成の一例を示す図である。
クラスタ１２０は、１つ以上の管理ノード３１０と、１つ以上の実行ノード３２０を含んで構成される。実行ノード３２０では、業務アプリケーションを動作させるコンテナ３３０が実行可能である。
管理ノード３１０は、ホストＯＳおよびコンテナ管理ソフトウェアを含んで構成される物理マシンまたは仮想マシンである。管理ノード３１０は、コンテナ管理ソフトウェアの管理機能を提供する管理ノード部３４０（例えば、管理コンテナ）を動作させる。クラスタ１２０では、例えば、３台の管理ノード３１０により、クラスタ１２０に耐障害性と高可用性とを提供している。
実行ノード３２０は、ホストＯＳおよびコンテナ管理ソフトウェアを含んで構成される物理マシンまたは仮想マシンである。実行ノード３２０は、業務アプリケーションを動作させるコンテナ３３０（管理コンテナ以外のコンテナ）を実行可能である。
コンテナ３３０は、運用者が利用する業務アプリケーションと、業務アプリケーションの実行に必要なミドルウェアおよびライブラリとを含んで構成される。コンテナ３３０は、管理ノード３１０によって実行ノード３２０に配置され、業務アプリケーションを動作させる。
管理ノード部３４０は、クラスタ１２０全体を管理（スケジューリング等）する。例えば、管理ノード部３４０は、新規にコンテナ３３０を配置したり、既存のコンテナ３３０の設定を変更したり、クラスタ１２０内の管理ノード３１０および実行ノード３２０をアップデートしたりする。より具体的には、管理ノード部３４０は、ＧＵＩ部３４１と、ＡＰＩ部３４２と、リソース管理部３４３と、管理情報記憶部３４４と、を備える。
ＧＵＩ部３４１は、ＷＥＢベースのユーザインターフェースを提供する。ＧＵＩ部３４１によれば、ユーザは、クラスタ１２０およびクラスタ１２０内で実行されているアプリケーションについて、管理、トラブルシューティング等を行うことができる。ＡＰＩ部３４２は、管理ノード部３４０のＡＰＩを外部に提供する。リソース管理部３４３は、管理ノード３１０、実行ノード３２０、コンテナ３３０、ストレージリソース、ネットワークＩＰ（Internet Protocol）等、クラスタ１２０のリソースを管理する。例えば、リソース管理部３４３は、実行ノード３２０の移管、コンテナ３３０の追加、編集、移管といったクラスタ１２０の構成を変更し、変更した構成の管理情報を管理情報記憶部３４４により記憶する。管理情報記憶部３４４は、クラスタ１２０の管理情報を記憶する管理データべース（例えば、一貫性、高可用性を持ったキーバリューストア）である。
ここで、業務処理では、ＧＵＩ部３４１を経由した処理、ＡＰＩ部３４２へのアクセスによってクラスタ１２０内のリソースに対して情報取得、構成変更といった処理等が行われる。つまり、管理ノード３１０をアップデートしている際は、クラスタ１２０では、管理ノード部３４０が提供する機能が使用できなくなる。例えば、ＧＵＩ部３４１が停止され、運用者による操作を受け付けない状態になる。また、例えば、ＡＰＩ部３４２が同様に停止しているため、ＧＵＩ部３４１を介さないアクセスによる処理も実施できなくなる。
図３Ｂは、クラスタＡおよびクラスタＢに係る構成の一例を示す図である。
クラスタＡおよびクラスタＢは、共に現用系であり、ロードバランサ１３０において業務通信が振り分けられて動作する。本実施の形態では、クラスタＡとクラスタＢとは、コンテナ３３０が設けられていない実行ノード３２０－２３（以下、「実行ノードＣ」と記す）がクラスタＢに含まれている点を除いて、クラスタ１２０の構成（ノードのサイズ、設定値等）が同一である。
ここで、クラスタＡおよびクラスタＢにおいて、所定の稼働率（例えば、所定のリソースの使用率が５０％程度）で各実行ノード３２０が動作している場合を想定すると、一方のクラスタ１２０をアップデートするために、当該クラスタ１２０をそのまま停止してしまうと、他方のクラスタ１２０の実行ノード３２０において全ての業務処理を担うことになり、レスポンスが悪くなり、業務への影響が出てしまう。
この点、クラスタ管理サーバ１１０では、一方のクラスタ１２０をアップデートする際、一方のクラスタ１２０の管理情報と他方のクラスタ１２０の管理情報とを更新し、一方のクラスタ１２０の実行ノード３２０を他方のクラスタ１２０に移管して動作させる。上記構成では、実行ノード３２０の管理が一方の管理ノード３１０から他方の管理ノード３１０に移るが、各実行ノード３２０の負荷は変更されないので、レスポンスが悪くなる事態を回避することができる。
以下では、はじめにアップデート対象とする一方のクラスタ１２０をクラスタＡ、他方のクラスタをクラスタＢとして説明する。また、管理ノード３１０－１１、管理ノード３１０－１２、管理ノード３１０－１３からなる管理ノード３１０群を「管理ノードＡ」と記し、管理ノード３１０－２１、管理ノード３１０－２２、管理ノード３１０－２３からなる管理ノード３１０群を「管理ノードＢ」と記すことがある。また、実行ノード３２０―１１および実行ノード３２０―１２を「実行ノードＡ」と記し、実行ノード３２０―２１および実行ノード３２０―２２を「実行ノードＢ」と記すことがある。また、第１のコンテナ３３０―１、第２のコンテナ３３０―２、第３のコンテナ３３０―３、第４のコンテナ３３０―４を「コンテナＡ」と記すことがある。
図４は、ノードクラスタ情報２２１の一例（ノードクラスタテーブル４００）を示す図である。
ノードクラスタテーブル４００は、ノードクラスタ情報２２１を示す複数の項目の値を含むレコードを記憶する。より具体的には、ノードクラスタテーブル４００は、ノード名４０１と、種別４０２と、管理ノード群４０３と、所属クラスタ４０４と、更新状態４０５との情報が対応付けられたレコードを記憶する。
ノード名４０１は、ノードを識別可能なノード名を示す。種別４０２は、当該ノードの種別を示す。管理ノード群４０３は、当該ノードを管理する管理ノード３１０群を示す。所属クラスタ４０４は、当該ノードが現在属しているクラスタ１２０（所属クラスタ）を示す。更新状態４０５は、当該ノードのアップデート状態（更新状態）を示す。
図５は、実行ノード情報２２２の一例（実行ノードテーブル５００）を示す図である。
実行ノードテーブル５００は、実行ノード情報２２２を示す複数の項目の値を含むレコードを記憶する。より具体的には、実行ノードテーブル５００は、コンテナ名５０１と、元のホスト５０２と、現在のホスト５０３との情報が対応付けられたレコードを記憶する。
コンテナ名５０１は、コンテナを識別可能なコンテナ名を示す。元のホスト５０２は、当該コンテナが元々設けられている実行ノード３２０（元のホスト）を識別可能なノード名を示す。現在のホスト５０３は、当該コンテナが現在設けられている実行ノード３２０（現在のホスト）を識別可能なノード名を示す。
図６は、クラスタ管理サーバ１１０がクラスタ１２０をアップデートする処理（アップデート処理）の一例を示す図である。
ステップＳ６０１では、クラスタ管理サーバ１１０は、アップデート対象のクラスタ１２０（例えば、クラスタＡ）を切り離すように、ロードバランサ１３０に指示を送信する。
ステップＳ６０２では、クラスタ管理サーバ１１０は、クラスタ構成を変更する。例えば、クラスタ管理サーバ１１０は、クラスタＡに含まれる２つの実行ノードＡをクラスタＢに移管するように、クラスタＡの管理ノードＡとクラスタＢの管理ノードＢとに指示を送信する。
ステップＳ６０３では、クラスタ管理サーバ１１０は、管理ノード３１０をアップデートする。例えば、クラスタ管理サーバ１１０は、クラスタＡの管理ノードＡをアップデートするように、管理ノードＡに指示を送信する。
ステップＳ６０４では、クラスタ管理サーバ１１０は、実行ノード３２０をアップデートする。例えば、クラスタ管理サーバ１１０は、クラスタＢに移管したアップデートされていない実行ノードＡから１つを任意に選択し、選択した実行ノードＡ上の全てのコンテナＡを実行ノードＣに移した上で、当該実行ノードＡをクラスタＡに移管してアップデートし、アップデートされた実行ノードＡをクラスタＢに戻し、実行ノードＣに移したコンテナＡを全て戻すように、クラスタＡの管理ノードＡとクラスタＢの管理ノードＢとに指示を送信する。
ステップＳ６０５では、クラスタ管理サーバ１１０は、ステップＳ６０２において移管した全ての実行ノード３２０がアップデートされたか否かを判定する。例えば、クラスタ管理サーバ１１０は、全ての実行ノードＡがアップデートされたと判定した場合、ステップＳ６０６に処理を移し、何れかの実行ノードＡがアップデートされていないと判定した場合、ステップＳ６０４に処理を移す。
ステップＳ６０６では、クラスタ管理サーバ１１０は、クラスタ構成を元の状態に戻す。例えば、クラスタ管理サーバ１１０は、クラスタＢに移管した２つの実行ノードＡをクラスタＡに移管するように、クラスタＡの管理ノードＡとクラスタＢの管理ノードＢとに指示を送信する。
ステップＳ６０７では、クラスタ管理サーバ１１０は、アップデート対象のクラスタ１２０（例えば、クラスタＡ）を再接続するように、ロードバランサ１３０に指示を送信する。
なお、上述の説明では、クラスタＡをアップデートする場合を例に挙げて説明したが、クラスタＢについても、基本的には同様であり、クラスタＢをアップデートする場合も、ステップＳ６０１～ステップＳ６０７の処理が行われる。ただし、ステップＳ６０３において、管理ノードＢがアップデートされた場合、実行ノードＣもアップデートされ、アップデートされた実行ノードＣがクラスタＢからクラスタＡに移管される点が異なる。
図７および図８は、アップデート処理に係る一連の処理（シーケンス）の一例を示す図である。
ステップＳ７０１では、運用者７００は、入力装置２４４を介して、動作開始指示を与える。
ステップＳ７０２では、通信制御部２３１は、動作開始指示に基づいて、クラスタ１２０の切り離しをロードバランサ１３０に指示する。以下では、ステップＳ７０２において切り離されるクラスタ１２０がクラスタＡである場合を例に挙げて説明する。
ステップＳ７０３では、ロードバランサ１３０は、ロードバランス先を修正する。例えば、ロードバランサ１３０は、クラスタＡへの業務通信を遮断するように、ロードバランサ１３０の構成情報を更新する。
ステップＳ７０４では、ロードバランサ１３０は、処理結果を通信制御部２３１に送信する。
ここで、ステップＳ７０４の処理が行われた後のクラスタ１２０の構成を図９および図１０を用いて説明する。図９に示すように、アップデート処理では、まず、アップデートされるクラスタＡがロードバランサ１３０から切り離される。そして、図１０に示すように、クラスタ１２０の初期状態は、クラスタＡでは、管理ノードＡの管理下に実行ノードＡが含まれ、クラスタＢでは、管理ノードＢの管理下に実行ノードＢおよび実行ノードＣが含まれる状態である。
ステップＳ７０５では、通信制御部２３１は、動作開始指示をアップデート部２３２に送信する。
ステップＳ７０６では、アップデート部２３２は、アップデート対象のクラスタ１２０のバージョン情報を、当該クラスタ１２０の管理ノード３１０に要求する。本例では、アップデート部２３２は、クラスタＡのバージョン情報を管理ノードＡに要求する。
ステップＳ７０７では、バージョン情報を要求された管理ノード３１０は、バージョン情報をアップデート部２３２に送信する。
ステップＳ７０８では、アップデート部２３２は、アップデート処理の詳細（どのようにクラスタ１２０をアップデートするか）を決定する。例えば、アップデート部２３２は、バージョンを「４．１」から「４．５」に上げる場合に、「４．３」を適用してから「４．５」を適用するか否か等を決定する。
ステップＳ７０９では、アップデート部２３２は、クラスタ１２０のクラスタ構成の修正を移管部２３３に指示する。例えば、アップデート部２３２は、クラスタＡの全ての実行ノードＡをクラスタＢに移管することを移管部２３３に指示する。
ステップＳ７１０では、移管部２３３は、アップデート対象のクラスタ１２０（以下、「対象クラスタ」と記す）の実行ノード３２０の管理を当該クラスタ１２０の管理ノード３１０から他のクラスタ１２０（以下、「他クラスタ」と記す）の管理ノード３１０に移す指示を、対象クラスタの管理ノード３１０と他クラスタの管理ノード３１０とに送信する。例えば、移管部２３３は、クラスタＡ内の全ての実行ノードＡの管理を管理ノードＡからクラスタＢの管理ノードＢに移すように管理情報を修正する指示を、管理ノードＡと管理ノードＢとに送信する。
ステップＳ７１１では、指示を受信した管理ノード３１０は、管理情報を修正し、管理ノード３１０の変更指示を実行ノード３２０に送信する。例えば、管理ノードＡは、クラスタＡ内の全ての実行ノードＡを管理下から外すように管理情報を修正し、管理ノードＢは、クラスタＡ内の全ての実行ノードＡを管理下に加えるように管理情報を修正する。
ステップＳ７１２では、変更指示を受信した実行ノード３２０は、管理ノード３１０の変更に係る処理を行い、処理結果を、変更指示を送信した管理ノード３１０に送信する。例えば、クラスタＡ内の各実行ノードＡは、管理ノードＢの管理下にあり、管理ノードＢと通信すること等を設定する処理を行い、処理結果を、管理ノードＢに送信する。
ステップＳ７１３では、処理結果を受信した管理ノード３１０は、処理結果を移管部２３３に送信する。
ステップＳ７１４では、移管部２３３は、受信した処理結果を、アップデート部２３２に送信する。
ステップＳ７１５では、アップデート部２３２は、ノードクラスタ情報２２１を更新する。例えば、アップデート部２３２は、ノードクラスタテーブル４００のレコードのうち、種別４０２が「実行ノード」であり、管理ノード群４０３が「管理ノードＡ」であるレコードを特定し、特定したレコードの所属クラスタ４０４の値を「クラスタＡ」から「クラスタＢ」に更新する。
ここで、ステップＳ７１５の処理が行われた後のクラスタ１２０の構成を、図１１を用いて説明する。図１１に示すように、クラスタ１２０の状態は、クラスタＡでは、管理ノードＡの管理下に実行ノード３２０が存在せず、クラスタＢでは、管理ノードＢの管理下に実行ノードＡ、実行ノードＢ、および実行ノードＣが含まれる状態となる。これにより、実行ノードＡは、管理ノードＢの管理下において、業務処理を行う業務アプリケーションを動作させるコンテナＡを実行可能になる。
ステップＳ７１６では、アップデート部２３２は、アップデート対象の管理ノード３１０をアップデートするように当該管理ノード３１０に指示する。
ステップＳ７１７では、指示を受信した管理ノード３１０は、アップデート処理を行う。例えば、管理ノードＡは、ステップＳ７０８で決定された詳細に従って、インターネットを介して管理ノードＡのアップデート情報を取得し、取得したアップデート情報を適用する。
ステップＳ７１８では、アップデート処理を行った管理ノード３１０は、処理結果をアップデート部２３２に送信する。
ステップＳ７１９では、アップデート部２３２は、処理結果を受信すると、ノードクラスタ情報２２１を更新する。例えば、アップデート部２３２は、ノードクラスタテーブル４００のレコードのうち、種別４０２が「管理ノード」であり、管理ノード群４０３が「管理ノードＡ」であるレコードを特定し、特定したレコードの更新状態４０５の値を「未」から「済」に更新する。
ここで、ステップＳ７１９の処理が行われた後のクラスタ１２０の構成を、図１２を用いて説明する。図１２に示すように、クラスタ１２０の状態は、クラスタＡにおいて、管理ノードＡがアップデートされた状態となる。
ステップＳ７２０では、実行ノードアップデート処理が、実行ノード３２０の数分、繰り返し行われる。例えば、実行ノードＡは、実行ノード３２０－１１および実行ノード３２０－１２であるので、実行ノードアップデート処理が２回行われる。
図８は、実行ノードアップデート処理に係る一連の処理（シーケンス）の一例を示す図である。
ステップＳ８０１では、アップデート部２３２は、アップデート対象の実行ノード３２０の移管（クラスタ構成の修正）を移管部２３３に指示する。例えば、アップデート部２３２は、実行ノードＡのうち、未だアップデートされていない実行ノードＡの管理をクラスタＢからクラスタＡに移す指示を移管部２３３に送信する。ステップＳ８０１では、未だアップデートされていない実行ノードＡとして、実行ノード３２０－１１が選択されたとして説明する。
ステップＳ８０２では、移管部２３３は、アップデート対象の実行ノード３２０の管理を当該実行ノード３２０が含まれるクラスタ１２０（移管元）の管理ノード３１０から他のクラスタ１２０（移管先）の管理ノード３１０に移す指示を、移管元の管理ノード３１０と移管先の管理ノード３１０とに指示する。例えば、移管部２３３は、実行ノードＡの管理を管理ノードＢから管理ノードＡに移すように管理情報を修正する指示を、管理ノードＡと管理ノードＢとに指示する。
ステップＳ８０３では、移管元の管理ノード３１０は、アップデート対象の実行ノード３２０上のコンテナ３３０を他の実行ノード３２０に移す処理を行う。例えば、管理ノードＢは、実行ノードＡ上のコンテナＡを実行ノードＣに移すために、コンテナＡの処理を一時停止し処理データの保存を完了した後にコンテナＡを停止する。その後、管理ノードＢは、コンテナＡの動作定義情報に実行ノードＣ上でのみ動作する制限を加え、事前に各ノード間で共有されているコンテナイメージを利用して実行ノードＣで同様のコンテナ３３０を起動する。
ステップＳ８０４では、移管が行われたコンテナ３３０は、処理結果を移管元の管理ノード３１０に送信する。
ここで、ステップＳ８０４の処理が行われた後のクラスタ１２０の構成を、図１３を用いて説明する。図１３に示すように、クラスタ１２０の状態は、クラスタＢでは、管理ノードＢの管理下に実行ノードＡ、実行ノードＢ、および実行ノードＣが含まれ、実行ノードＡ（実行ノード３２０－１１）上のコンテナＡ（第１のコンテナ３３０－１および第２のコンテナ３３０－２）が実行ノードＣ（実行ノード３２０－２３）に移されて実行されている状態となる。これにより、実行ノードＣは、管理ノードＢの管理下においてコンテナＡを実行可能になる。
ステップＳ８０５では、移管元の管理ノード３１０および移管先の管理ノード３１０は、管理情報を修正し、管理ノード３１０の変更指示をアップデート対象の実行ノード３２０に送信する。例えば、管理ノードＢは、実行ノードＡを管理下から外すように管理情報を修正し、管理ノードＡは、実行ノードＡを管理下に加えるように管理情報を修正する。
ステップＳ８０６では、変更指示を受信した実行ノード３２０は、管理ノード３１０の変更に係る処理を行い、処理結果を、変更指示を送信した管理ノード３１０に送信する。
ステップＳ８０７では、処理結果を受信した管理ノード３１０は、処理結果を移管部２３３に送信する。
ステップＳ８０８では、移管部２３３は、処理結果をアップデート部２３２に送信する。
ステップＳ８０９では、アップデート部２３２は、ノードクラスタ情報２２１および実行ノード情報２２２を更新する。例えば、アップデート部２３２は、ノードクラスタテーブル４００のレコードのうち、ノード名４０１が、アップデート対象の実行ノード３２０のノード名と一致するレコードを特定し、特定したレコードの所属クラスタ４０４の値を「クラスタＢ」から「クラスタＡ」に更新する。また、例えば、アップデート部２３２は、実行ノードテーブル５００のレコードのうち、コンテナ名５０１が、ステップＳ８０３において実行ノードＣに移されたコンテナＡのコンテナ名と一致するレコードを特定し、特定したレコードの現在のホスト５０３の値を「実行ノードＣ」に更新する。
ここで、ステップＳ８０９の処理が行われた後のクラスタ１２０の構成を、図１４を用いて説明する。図１４に示すように、クラスタ１２０の状態は、クラスタＡでは、管理ノードＡの管理下に、コンテナＡ（第１のコンテナ３３０－１および第２のコンテナ３３０－２）が実行ノードＣ（実行ノード３２０－２３）に移されている実行ノードＡ（実行ノード３２０－１１）が含まれる状態となる。
ステップＳ８１０では、アップデート部２３２は、アップデート対象の実行ノード３２０をアップデートするように移管先の管理ノード３１０に指示する。
ステップＳ８１１では、移管先の管理ノード３１０は、アップデート対象の実行ノード３２０をアップデートするように当該実行ノード３２０に指示する。
ステップＳ８１２では、指示を受信した実行ノード３２０は、アップデート処理を行う。例えば、実行ノードＡは、ステップＳ７０８で決定された詳細に従って、インターネットを介して実行ノードＡのアップデート情報を取得し、取得したアップデート情報を適用する。
ステップＳ８１３では、アップデート処理を行った実行ノード３２０は、処理結果を管理ノード３１０に送信する。
ステップＳ８１４では、処理結果を受信した管理ノード３１０は、処理結果をアップデート部２３２に送信する。
ステップＳ８１５では、アップデート部２３２は、処理結果を受信すると、ノードクラスタ情報２２１を更新する。例えば、アップデート部２３２は、ノードクラスタテーブル４００のレコードのうち、ノード名４０１が、ステップＳ８１２においてアップデートされた実行ノード３０２のノード名と一致するレコードを特定し、特定したレコードの更新状態４０５の値を「未」から「済」に更新する。
ここで、ステップＳ８１５の処理が行われた後のクラスタ１２０の構成を、図１５を用いて説明する。図１５に示すように、クラスタ１２０の状態は、クラスタＡでは、アップデートされた管理ノードＡの管理下にアップデートされた実行ノードＡ（実行ノード３２０－１１）が含まれる状態となる。
ステップＳ８１６では、アップデート部２３２は、アップデートされた実行ノード３２０の移管（クラスタ構成の修正）を移管部２３３に指示する。例えば、アップデート部２３２は、アップデートされた実行ノードＡの管理をクラスタＡからクラスタＢに移す指示を移管部２３３に送信する。
ステップＳ８１７では、移管部２３３は、アップデートされた実行ノード３２０の管理を移管先のクラスタ１２０の管理ノード３１０から移管元のクラスタ１２０の管理ノード３１０に移す指示を、移管元の管理ノード３１０と移管先の管理ノード３１０とに送信する。例えば、移管部２３３は、アップデートされた実行ノードＡの管理を管理ノードＡから管理ノードＢに移すように管理情報を修正する指示を、管理ノードＡと管理ノードＢとに指示する。
ステップＳ８１８では、移管元の管理ノード３１０および移管先の管理ノード３１０は、管理情報を修正し、管理ノード３１０の変更指示を、アップデートされた実行ノード３２０に送信する。例えば、管理ノードＡは、アップデートされた実行ノードＡを管理下から外すように管理情報を修正し、管理ノードＢは、アップデートされた実行ノードＡを管理下に加えるように管理情報を修正する。
ステップＳ８１９では、変更指示を受信した実行ノード３２０は、管理ノード３１０の変更に係る処理を行い、処理結果を、変更指示を送信した管理ノード３１０に送信する。
ここで、ステップＳ８１９の処理が行われた後のクラスタ１２０の構成を、図１６を用いて説明する。図１６に示すように、クラスタ１２０の状態は、クラスタＡでは、アップデートされた管理ノードＡの管理下に実行ノード３２０が存在せず、クラスタＢでは、管理ノードＢの管理下に、アップデートされた実行ノードＡ（実行ノード３２０－１１）と、アップデートされていない実行ノードＡ（実行ノード３２０－１２）と、実行ノードＢと、実行ノードＣとが含まれる状態となる。
ステップＳ８２０では、移管元の管理ノード３１０は、アップデートされた実行ノード３２０に元々設けられていたコンテナ３３０を当該コンテナ３３０が現在設けられている実行ノード３２０から移す処理を行う。例えば、管理ノードＢは、実行ノードＣに設けられているコンテナＡを実行ノードＡに移す。
ステップＳ８２１では、移管が行われたコンテナ３３０は、処理結果を移管元の管理ノード３１０に送信する。
ステップＳ８２２では、処理結果を受信した管理ノード３１０は、処理結果を移管部２３３に送信する。
ステップＳ８２３では、移管部２３３は、処理結果をアップデート部２３２に送信する。
ステップＳ８２４では、アップデート部２３２は、ノードクラスタ情報２２１および実行ノード情報２２２を更新する。例えば、アップデート部２３２は、ノードクラスタテーブル４００のレコードのうち、ノード名４０１が、ステップＳ８１２においてアップデートされた実行ノード３２０のノード名と一致するレコードを特定し、特定したレコードの所属クラスタ４０４の値を「クラスタＡ」から「クラスタＢ」に更新する。また、例えば、アップデート部２３２は、実行ノードテーブル５００のレコードのうち、コンテナ名５０１が、ステップＳ８２０において実行ノードＡに移されたコンテナＡのコンテナ名と一致するレコードを特定し、特定したレコードの現在のホスト５０３の値を「実行ノードＡ」に更新する。
なお、実行ノードアップデート処理は、全ての実行ノード３２０についてアップデートされるまで、繰り返し実行される。本例では、実行ノード３２０－１１に続いて、同様に、実行ノード３２０－１２がアップデートされる。この場合、ステップＳ８０４の処理が行われた後は、クラスタ１２０の構成は、図１７に示す態様となる。また、ステップＳ８０９の処理が行われた後は、クラスタ１２０の構成は、図１８に示す態様となる。また、ステップＳ８１５の処理が行われた後は、クラスタ１２０の構成は、図１９に示す態様となる。また、ステップＳ８１９の処理が行われた後は、クラスタ１２０の構成は、図２０に示す態様となる。また、ステップＳ８２４の処理が行われた後は、クラスタ１２０の構成は、図２１に示す態様となる。
ステップＳ７２１では、アップデート部２３２は、アップデートされた全ての実行ノード３２０の移管（クラスタ構成の修正）を移管部２３３に指示する。例えば、アップデート部２３２は、アップデートされた全ての実行ノードＡの管理をクラスタＢからクラスタＡに移す指示を移管部２３３に送信する。
ステップＳ７２２では、移管部２３３は、アップデートされた全ての実行ノード３２０の管理を対象クラスタの管理ノード３１０から他クラスタの管理ノード３１０に移す指示を、対象クラスタの管理ノード３１０と他クラスタの管理ノード３１０とに送信する。例えば、移管部２３３は、アップデートされた全ての実行ノードＡの管理を管理ノードＢから管理ノードＡに移すように管理情報を修正する指示を、管理ノードＡと管理ノードＢとに送信する。
ステップＳ７２３では、対象クラスタの管理ノード３１０および他クラスタの管理ノード３１０は、管理情報を修正し、管理ノード３１０の変更指示を、アップデートされた全ての実行ノード３２０に送信する。例えば、管理ノードＢは、アップデートされた全ての実行ノードＡを管理下から外すように管理情報を修正し、管理ノードＡは、アップデートされた全ての実行ノードＡを管理下に加えるように管理情報を修正する。
ステップＳ７２４では、変更指示を受信した実行ノード３２０は、管理ノード３１０の変更に係る処理を行い、処理結果を、変更指示を送信した管理ノード３１０に送信する。
ステップＳ７２５では、処理結果を受信した管理ノード３１０は、処理結果を移管部２３３に送信する。
ステップＳ７２６では、移管部２３３は、処理結果をアップデート部２３２に送信する。
ステップＳ７２７では、アップデート部２３２は、ノードクラスタ情報２２１を更新する。例えば、アップデート部２３２は、ノードクラスタテーブル４００のレコードのうち、種別４０２が「実行ノード」であり、管理ノード群４０３が「管理ノードＡ」であるレコードを特定し、特定したレコードの所属クラスタ４０４の値を「クラスタＢ」から「クラスタＡ」に更新する。
ここで、ステップＳ７２７の処理が行われた後のクラスタ１２０の構成を、図２２を用いて説明する。図２２に示すように、クラスタ１２０の状態は、クラスタＡでは、アップデートされた管理ノードＡの管理下にアップデートされた実行ノードＡが含まれ、クラスタＢでは、管理ノードＢの管理下に、実行ノードＢと、実行ノードＣとが含まれる状態となる。
なお、ステップＳ７２１～ステップＳ７２７の処理は、実行ノードアップデート処理において行われてもよい。この場合、実行ノード３２０がアップデートされるたびに、アップデートされた実行ノード３２０が対象クラスタに戻される。
ステップＳ７２８では、アップデート部２３２は、処理結果を通信制御部２３１に送信する。
ステップＳ７２９では、通信制御部２３１は、ステップＳ７０３で切り離しが行われたクラスタ１２０の接続指示をロードバランサ１３０に送信する。
ステップＳ７３０では、ロードバランサ１３０は、ロードバランス先を修正する。例えば、ロードバランサ１３０は、クラスタＡに業務通信を振り分けるように、ロードバランサ１３０の構成情報を更新する。
ステップＳ７３１では、ロードバランサ１３０は、処理結果を通信制御部２３１に送信する。
ステップＳ７３２では、通信制御部２３１は、処理結果を出力装置２４５に送信する。運用者７００は、出力装置２４５を介して、処理結果を把握する。
また、業務システム１００では、続けて、同様に、自動で、または、運用者７００からの操作に応じて、他方のクラスタ１２０（本例では、クラスタＢ）がアップデートされてもよい。
この場合、実行ノードＣについては、ステップＳ７１９の処理が行われた後に、アップデートされてからクラスタＡに移管される。このときのクラスタ１２０の構成を、図２３を用いて説明する。図２３に示すように、クラスタ１２０の状態は、クラスタＡでは、アップデートされた管理ノードＡの管理下にアップデートされた実行ノードＡと、アップデートされていない実行ノードＢと、アップデートされた実行ノードＣが含まれ、クラスタＢでは、アップデートされた管理ノードＢの管理下に、実行ノード３２０が存在しない状態となる。
なお、実行ノードＣのアップデートのタイミングは、上記に限らない。例えば、実行ノードＣは、アップデートされる前にクラスタＡに移管され、ステップＳ７２０の処理が行われた後に、クラスタＢに移管されてアップデートされてもよい。
本実施の形態によれば、クラスタをアップデートすることによる業務への影響を低減することができる。
（ＩＩ）付記
上述の実施の形態には、例えば、以下のような内容が含まれる。
上述の実施の形態においては、本発明をアップデート装置に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。
また、上述の実施の形態においては、ステップＳ７０２において切り離されるクラスタ１２０がクラスタＡである場合について述べたが、本発明はこれに限らない。例えば、ステップＳ７０２において切り離されるクラスタ１２０がクラスタＢであってもよい。この場合、実行ノードＣは、クラスタＢからクラスタＡに移管される。
また、上述の実施の形態においては、実行ノードＡのコンテナＡを実行ノードＣに移す場合について述べたが、本発明はこれに限らない。例えば、実行ノードＡのコンテナＡを、リソースに余裕がある実行ノードＢに移すようにしてもよい。この場合、コンテナＡが複数ある場合は、複数の実行ノードＢに分散して移すようにしてもよい。
また、上述の実施の形態においては、実行ノード３２０を１つずつアップデートする場合について述べたが、本発明はこれに限らない。例えば、複数の実行ノード３２０をまとめてアップデートするようにしてもよい。
また、上述の実施の形態においては、クラスタＢにおいて実行ノードＣをアップデートする場合について述べたが、本発明はこれに限らない。例えば、クラスタＡにおいて実行ノードＣをアップデートするようにしてもよい。この場合、実行ノードＣは、初期状態において、クラスタＢではなく、クラスタＡに設けられていてもよい。
また、上述の実施の形態において、プログラムの一部またはすべては、プログラムソースから、アップデート装置を実現するコンピュータのような装置にインストールされてもよい。プログラムソースは、例えば、ネットワークで接続されたプログラム配布サーバまたはコンピュータが読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。また、上述の説明において、２つ以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２つ以上のプログラムとして実現されてもよい。
また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。
また、上述の実施の形態において、情報の出力は、ディスプレイへの表示に限るものではない。情報の出力は、スピーカによる音声出力であってもよいし、ファイルへの出力であってもよいし、印刷装置による紙媒体等への印刷であってもよいし、プロジェクタによるスクリーン等への投影であってもよいし、その他の態様であってもよい。
また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
上述した実施の形態は、例えば、以下の特徴的な構成を有する。
（１）
ロードバランサ（例えば、ロードバランサ１３０）により振り分けられた業務処理を実行可能な第１の実行ノード（例えば、実行ノードＡ、実行ノード３２０－１１，３２０－１２）と上記第１の実行ノードを管理する第１の管理ノード（例えば、管理ノードＡ、管理ノード３１０－１１～３１０－１３）とを含んで構成される第１のクラスタ（例えば、クラスタＡ、第１のクラスタ１２０－１）と、上記ロードバランサにより振り分けられた業務処理を実行可能な第２の実行ノード（例えば、実行ノードＢ、実行ノード３２０－２１～３２０－２３）と上記第２の実行ノードを管理する第２の管理ノード（例えば、管理ノードＢ、管理ノード３１０－２１～３１０－２３）とを含んで構成される第２のクラスタ（例えば、クラスタＢ、第２のクラスタ１２０－２）と、をアップデートするアップデート装置（例えば、アップデート装置、クラスタ管理サーバ１１０）であって、上記ロードバランサに対して、上記第１のクラスタへの振り分けを停止するように指示する通信制御部（例えば、通信制御部２３１、回路）と、上記第１の実行ノードを、上記第１の管理ノードにおける管理下から上記第２の管理ノードにおける管理下に移すように、上記第１の管理ノードおよび上記第２の管理ノードに指示する移管部（例えば、移管部２３３、回路）と、上記第１の実行ノードが上記第１の管理ノードにおける管理下から上記第２の管理ノードにおける管理下に移されたことに基づいて、上記第１の管理ノードをアップデートするように上記第１の管理ノードに指示するアップデート部（例えば、アップデート部２３２）と、を備える。
上記構成では、第１のクラスタの第１の実行ノードが、第２の管理ノードの管理下に移されるので、第２の管理ノードの管理下において当該第１の実行ノードによる業務処理が可能である。上記構成によれば、例えば、第１の管理ノードのアップデート中であっても、当該第１の実行ノードによる業務処理が実施可能となる。
（２）
上記第１の実行ノードには、上記ロードバランサにより振り分けられた業務処理を行う業務アプリケーションを動作させるコンテナ（例えば、コンテナＡ、第１のコンテナ３３０－１～第４のコンテナ３３０－４）が設けられ、上記第２の管理ノードは、上記コンテナを、上記第２の実行ノードに移し（例えば、図１３参照）、上記移管部は、上記第１の管理ノードがアップデートされたことに基づいて、上記コンテナが上記第２の実行ノードに移された後の上記第１の実行ノードを、上記第２の管理ノードの管理下から上記第１の管理ノードの管理下に移すように、上記第１の管理ノードおよび上記第２の管理ノードに指示し（例えば、図１４参照）、上記アップデート部は、上記第２の管理ノードにおける管理下から上記第１の管理ノードにおける管理下に上記第１の実行ノードが移されたことに基づいて、上記第１の実行ノードをアップデートするように上記第１の管理ノードに指示する（例えば、図１５参照）。
上記コンテナが第２の実行ノードに移されるタイミングは、上記第１の管理ノードがアップデートされたタイミングであってもよいし、上記第１の管理ノードがアップデートされているタイミングであってもよいし、上記第１の管理ノードがアップデートされる前のタイミングであってもよい。
上記構成では、アップデート対象の第１の実行ノードに設けられているコンテナが第２の管理ノードの管理下の第２の実行ノードに移され、第２の実行ノード上で当該コンテナによる業務処理が可能である。上記構成によれば、例えば、運用者は、第１の実行ノードのアップデート中であっても当該コンテナに係る業務を行うことができる。
（３）
上記移管部は、上記第１の実行ノードがアップデートされたことに基づいて、上記第１の実行ノードを、上記第１の管理ノードの管理下から上記第２の管理ノードの管理下に移すように、上記第１の管理ノードおよび上記第２の管理ノードに指示し（例えば、図１６参照）、上記第２の管理ノードは、上記第１の実行ノードが上記第２の管理ノードの管理下に移されたことに基づいて、上記コンテナを上記第１の実行ノードに移し、上記移管部は、上記第１の実行ノードに上記コンテナが移されたことに基づいて、上記第１の実行ノードと上記第２の実行ノードとを、上記第２の管理ノードの管理下から上記第１の管理ノードの管理下に移すように、上記第１の管理ノードおよび上記第２の管理ノードに指示する（例えば、図２３参照）。
上記構成では、第２の実行ノードの管理が第２の管理ノードから第１の第１の管理ノードに移されるので、例えば、第２のクラスタについても第１のクラスタと同様に、アップデートすることができる。
（４）
上記第２の実行ノードには、上記ロードバランサにより振り分けられた業務処理を行う業務アプリケーションを動作させるコンテナが設けられている特定の実行ノード（例えば、実行ノード３２０－２１，３２０－２２）と、上記ロードバランサにより振り分けられた業務処理を行う業務アプリケーションを動作させるコンテナが設けられていない所定の実行ノード（例えば、実行ノードＣ、実行ノード３２０－２３）とが含まれ、上記移管部は、上記コンテナを、上記第２の実行ノードのうちの上記所定の実行ノードに移す（例えば、図１３参照）。
上記構成では、アップデート対象の第１の実行ノードのコンテナが所定の実行ノードに移されるので、例えば、第２のクラスタにおいて業務処理を行っている特定の実行ノードに影響を与えることなく、当該コンテナを動作させることができる。
（５）
上記移管部は、上記第１の実行ノードがアップデートされたことに基づいて、上記第１の実行ノードを、上記第１の管理ノードの管理下から上記第２の管理ノードの管理下に移すように、上記第１の管理ノードおよび上記第２の管理ノードに指示し（例えば、図１６参照）、上記第２の管理ノードは、上記第１の実行ノードが上記第２の管理ノードの管理下に移されたことに基づいて、上記コンテナを上記第１の実行ノードに移し、上記移管部は、上記第１の実行ノードに上記コンテナが移されたことに基づいて、上記第１の実行ノードと上記特定の実行ノードと上記所定の実行ノードとを、上記第２の管理ノードの管理下から上記第１の管理ノードの管理下に移すように、上記第１の管理ノードおよび上記第２の管理ノードに指示する（例えば、図２３参照）。
上記構成では、所定の実行ノードがアップデートされた後に、所定の実行ノードが第１のクラスタに移される。上記構成によれば、例えば、第１のクラスタに移された特定の実行ノードのコンテナを所定の実行ノードに移すことで、第１のクラスタにおいて業務処理を行っている第１の実行ノードに影響を与えることなく、当該コンテナを動作させることができる。
なお、上記アップデート部は、上記第１の実行ノードと上記特定の実行ノードとが上記第２の管理ノードにおける管理下から上記第１の管理ノードにおける管理下に移されたことに基づいて、上記第２の管理ノードのアップデートと、上記所定の実行ノードのアップデートとを実行するように上記第２の管理ノードに指示し、上記移管部は、上記所定の実行ノードがアップデートされたことに基づいて、上記所定の実行ノードを、上記第２の管理ノードの管理下から上記第１の管理ノードの管理下に移すように、上記第１の管理ノードおよび上記第２の管理ノードに指示するようにしてもよい。
上記構成によれば、所定の実行ノードを効率よくアップデートすることができる。
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
「Ａ、Ｂ、およびＣのうちの少なくとも１つ」という形式におけるリストに含まれる項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができると理解されたい。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の形式においてリストされた項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができる。
１１０……クラスタ管理サーバ（アップデート装置）、１２０……クラスタ、１３０……ロードバランサ。

Claims (7)

  1. ロードバランサにより振り分けられた業務処理を実行可能な第１の実行ノードと前記第１の実行ノードを管理する第１の管理ノードとを含んで構成される第１のクラスタと、前記ロードバランサにより振り分けられた業務処理を実行可能な第２の実行ノードと前記第２の実行ノードを管理する第２の管理ノードとを含んで構成される第２のクラスタと、をアップデートするアップデート装置であって、
    前記ロードバランサに対して、前記第１のクラスタへの振り分けを停止するように指示する通信制御部と、
    前記第１の実行ノードを、前記第１の管理ノードにおける管理下から前記第２の管理ノードにおける管理下に移すように、前記第１の管理ノードおよび前記第２の管理ノードに指示する移管部と、
    前記第１の実行ノードが前記第１の管理ノードにおける管理下から前記第２の管理ノードにおける管理下に移されたことに基づいて、前記第１の管理ノードをアップデートするように前記第１の管理ノードに指示するアップデート部と、
    を備えるアップデート装置。
  2. 前記第１の実行ノードには、前記ロードバランサにより振り分けられた業務処理を行う業務アプリケーションを動作させるコンテナが設けられ、
    前記第２の管理ノードは、前記コンテナを、前記第２の実行ノードに移し、
    前記移管部は、前記第１の管理ノードがアップデートされたことに基づいて、前記コンテナが前記第２の実行ノードに移された後の前記第１の実行ノードを、前記第２の管理ノードの管理下から前記第１の管理ノードの管理下に移すように、前記第１の管理ノードおよび前記第２の管理ノードに指示し、
    前記アップデート部は、前記第２の管理ノードにおける管理下から前記第１の管理ノードにおける管理下に前記第１の実行ノードが移されたことに基づいて、前記第１の実行ノードをアップデートするように前記第１の管理ノードに指示する、
    請求項１に記載のアップデート装置。
  3. 前記移管部は、前記第１の実行ノードがアップデートされたことに基づいて、前記第１の実行ノードを、前記第１の管理ノードの管理下から前記第２の管理ノードの管理下に移すように、前記第１の管理ノードおよび前記第２の管理ノードに指示し、
    前記第２の管理ノードは、前記第１の実行ノードが前記第２の管理ノードの管理下に移されたことに基づいて、前記コンテナを前記第１の実行ノードに移し、
    前記移管部は、前記第１の実行ノードに前記コンテナが移されたことに基づいて、前記第１の実行ノードと前記第２の実行ノードとを、前記第２の管理ノードの管理下から前記第１の管理ノードの管理下に移すように、前記第１の管理ノードおよび前記第２の管理ノードに指示する、
    請求項２に記載のアップデート装置。
  4. 前記第２の実行ノードには、前記ロードバランサにより振り分けられた業務処理を行う業務アプリケーションを動作させるコンテナが設けられている特定の実行ノードと、前記ロードバランサにより振り分けられた業務処理を行う業務アプリケーションを動作させるコンテナが設けられていない所定の実行ノードとが含まれ、
    前記移管部は、前記コンテナを、前記第２の実行ノードのうちの前記所定の実行ノードに移す、
    請求項２に記載のアップデート装置。
  5. 前記移管部は、前記第１の実行ノードがアップデートされたことに基づいて、前記第１の実行ノードを、前記第１の管理ノードの管理下から前記第２の管理ノードの管理下に移すように、前記第１の管理ノードおよび前記第２の管理ノードに指示し、
    前記第２の管理ノードは、前記第１の実行ノードが前記第２の管理ノードの管理下に移されたことに基づいて、前記コンテナを前記第１の実行ノードに移し、
    前記移管部は、前記第１の実行ノードに前記コンテナが移されたことに基づいて、前記第１の実行ノードと前記特定の実行ノードと前記所定の実行ノードとを、前記第２の管理ノードの管理下から前記第１の管理ノードの管理下に移すように、前記第１の管理ノードおよび前記第２の管理ノードに指示する、
    請求項４に記載のアップデート装置。
  6. ロードバランサにより振り分けられた業務処理を実行可能な第１の実行ノードと前記第１の実行ノードを管理する第１の管理ノードとを含んで構成される第１のクラスタと、前記ロードバランサにより振り分けられた業務処理を実行可能な第２の実行ノードと前記第２の実行ノードを管理する第２の管理ノードとを含んで構成される第２のクラスタと、をアップデートするアップデート方法であって、
    通信制御部が、前記ロードバランサに対して、前記第１のクラスタへの振り分けを停止するように指示することと、
    移管部が、前記第１の実行ノードを、前記第１の管理ノードにおける管理下から前記第２の管理ノードにおける管理下に移すように、前記第１の管理ノードおよび前記第２の管理ノードに指示することと、
    アップデート部が、前記第１の実行ノードが前記第１の管理ノードにおける管理下から前記第２の管理ノードにおける管理下に移されたことに基づいて、前記第１の管理ノードをアップデートするように前記第１の管理ノードに指示することと、
    を含むアップデート方法。
  7. ロードバランサにより振り分けられた業務処理を実行可能な第１の実行ノードと前記第１の実行ノードを管理する第１の管理ノードとを含んで構成される第１のクラスタと、前記ロードバランサにより振り分けられた業務処理を実行可能な第２の実行ノードと前記第２の実行ノードを管理する第２の管理ノードとを含んで構成される第２のクラスタと、をアップデートするためのプログラムであって、
    前記ロードバランサに対して、前記第１のクラスタへの振り分けを停止するように指示する通信制御部と、
    前記第１の実行ノードを、前記第１の管理ノードにおける管理下から前記第２の管理ノードにおける管理下に移すように、前記第１の管理ノードおよび前記第２の管理ノードに指示する移管部と、
    前記第１の実行ノードが前記第１の管理ノードにおける管理下から前記第２の管理ノードにおける管理下に移されたことに基づいて、前記第１の管理ノードをアップデートするように前記第１の管理ノードに指示するアップデート部と、
    してコンピュータを機能させるプログラム。
JP2021077166A 2021-04-30 2021-04-30 アップデート装置、アップデート方法、およびプログラム Active JP7240439B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021077166A JP7240439B2 (ja) 2021-04-30 2021-04-30 アップデート装置、アップデート方法、およびプログラム
US17/689,499 US11977876B2 (en) 2021-04-30 2022-03-08 Update device, update method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021077166A JP7240439B2 (ja) 2021-04-30 2021-04-30 アップデート装置、アップデート方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2022170887A JP2022170887A (ja) 2022-11-11
JP7240439B2 true JP7240439B2 (ja) 2023-03-15

Family

ID=83808466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021077166A Active JP7240439B2 (ja) 2021-04-30 2021-04-30 アップデート装置、アップデート方法、およびプログラム

Country Status (2)

Country Link
US (1) US11977876B2 (ja)
JP (1) JP7240439B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230171A (ja) 2008-03-19 2009-10-08 Fujitsu Ltd アップデート管理プログラム、管理ノード、アップデート管理方法、およびクラスタシステム
JP2017004502A (ja) 2015-06-15 2017-01-05 株式会社リコー 情報システムおよびアップデート方法
JP2017529628A (ja) 2014-09-24 2017-10-05 オラクル・インターナショナル・コーポレイション マルチテナントアプリケーションサーバ環境においてパッチングをサポートするためのシステムおよび方法
CN109873714A (zh) 2019-01-04 2019-06-11 平安科技（深圳）有限公司 云计算节点配置更新方法及终端设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526534B2 (en) * 2004-07-16 2009-04-28 Cassatt Corporation Unified system services layer for a distributed processing system
US8370514B2 (en) * 2005-04-28 2013-02-05 DISH Digital L.L.C. System and method of minimizing network bandwidth retrieved from an external network
US10177994B2 (en) * 2014-08-13 2019-01-08 Microsoft Technology Licensing, Llc Fault tolerant federation of computing clusters
US11316775B2 (en) * 2016-12-21 2022-04-26 Juniper Networks, Inc. Maintaining coherency in distributed operating systems for network devices
US10237346B2 (en) * 2017-02-08 2019-03-19 Vmware, Inc. Maintaining partition-tolerant distributed metadata
US10341438B2 (en) * 2017-03-17 2019-07-02 Verizon Patent ad Licensing Inc. Deploying and managing containers to provide a highly available distributed file system
CN110716788B (zh) * 2018-07-13 2022-07-26 华为技术有限公司 管理虚拟化资源的方法和装置
JP2020027530A (ja) 2018-08-16 2020-02-20 富士通株式会社 管理装置、管理プログラムおよび情報処理システム
KR102147310B1 (ko) * 2018-09-05 2020-10-14 주식회사 나눔기술 컨테이너 클러스터 기반의 무중단 소프트웨어 업데이트 시스템
US20210157655A1 (en) * 2019-11-25 2021-05-27 International Business Machines Corporation Container load balancing and availability
US11336567B2 (en) * 2020-04-20 2022-05-17 Cisco Technology, Inc. Service aware virtual private network for optimized forwarding in cloud native environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230171A (ja) 2008-03-19 2009-10-08 Fujitsu Ltd アップデート管理プログラム、管理ノード、アップデート管理方法、およびクラスタシステム
JP2017529628A (ja) 2014-09-24 2017-10-05 オラクル・インターナショナル・コーポレイション マルチテナントアプリケーションサーバ環境においてパッチングをサポートするためのシステムおよび方法
JP2017004502A (ja) 2015-06-15 2017-01-05 株式会社リコー 情報システムおよびアップデート方法
CN109873714A (zh) 2019-01-04 2019-06-11 平安科技（深圳）有限公司 云计算节点配置更新方法及终端设备

Also Published As

Publication number Publication date
JP2022170887A (ja) 2022-11-11
US20220350589A1 (en) 2022-11-03
US11977876B2 (en) 2024-05-07

Similar Documents

Publication Publication Date Title
US11074143B2 (en) Data backup and disaster recovery between environments
US10503612B1 (en) Application migration between environments
US11663085B2 (en) Application backup and management
US8904139B2 (en) Migrating virtual machines across sites
US10628273B2 (en) Node system, server apparatus, scaling control method, and program
US9075659B2 (en) Task allocation in a computer network
CN101118521B (zh) 跨越多个逻辑分区分布虚拟输入/输出操作的系统和方法
CN112099918A (zh) 容器化环境中的集群的实时迁移
US20210019162A1 (en) Enhanced migration of clusters based on data accessibility
US20120278574A1 (en) Method of constructing replication environment and storage system
US9424096B2 (en) Task allocation in a computer network
CN110720091A (zh) 用于与托管的应用/虚拟网络功能(vnf)协调基础设施升级的方法
US20100131728A1 (en) Computer-readable recording medium storing data migration program, data migration method, and data migration apparatus
US20160103744A1 (en) System and method for selectively utilizing memory available in a redundant host in a cluster for virtual machines
CN110413369B (zh) 用于虚拟化环境中的备份的系统和方法
US10887382B2 (en) Methods, apparatuses and systems for cloud-based disaster recovery
JP7240439B2 (ja) アップデート装置、アップデート方法、およびプログラム
US11467924B2 (en) Instant recovery of databases
US7802253B2 (en) System for session management of resources and tasks having records in the lookup table for the session
JP6254963B2 (ja) 分散処理システム、および、分散処理方法
US10929168B2 (en) Enhanced data storage and versioning of virtual nodes in a data processing environment
WO2018173300A1 (ja) Ｉ／ｏ制御方法およびｉ／ｏ制御システム
US11347675B2 (en) System and method for dynamically configuring storage mapping
US20240061698A1 (en) Managing the assignment of virtual machines to non-uniform memory access nodes
WO2020145242A1 (ja) ネットワーク機能仮想化システム及びオペレーティングシステム更新方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230303

R150 Certificate of patent or registration of utility model

Ref document number: 7240439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150