JP6562093B2 - システム管理装置 - Google Patents

Description

本発明は、システム管理装置、制御方法、およびプログラムに関する。

複数の計算ノードを有する計算機システムが各種提案ないし実用化されている。例えば、複数の計算ノードが協調して動作することによって並列処理アプリケーションプログラムを高速に実行する高速処理コンピューティング（ＨＰＣ）クラスタがある。

また、複数の計算ノードを有する計算機システムにおける各計算ノードにインストールされたソフトウェアを更新（修正）する方法の一例が特許文献１に記載されている。特許文献１に記載されたソフトウェア更新方法では、修正データが入力されると、ジョブを実行していない計算ノードから順に運用を停止してソフトウェアの修正を適用することにより、計算機システム全体の運用を継続しながらソフトウェアのアップデータを行っている。

また、複数の計算ノードを有する計算機システム全体の省電力化を図る方法の一例が特許文献２に記載されている。特許文献２に記載された省電力化方法では、計算ノードがアイドル状態のときに当該計算ノードの動作を停止させている。

特許第４５４５２２５号公報 特開２００３−１６２５１５号公報

上述したように複数の計算ノードを有する計算機システムにおいて、一部の計算ノードの運用を順に停止させてソフトウェア更新を行う仕組み、および一部の計算ノードを停止させてシステム全体の省電力化を図る仕組みが提案されている。しかしながら、それら２つの仕組みは互いに独立しており、互いに関連するものではなかった。そのため、それら２つの仕組みを兼ね備えた計算機システムでは、省電力化のために一部の計算ノードが停止している状態において、ソフトウェア更新のために更に一部の計算ノードが停止する状態が発生する恐れがあった。このような状態が発生すると、最悪時にはジョブを割当可能な計算ノードが極端に不足し、計算機システムのジョブ運用が停止する恐れがあった。

本発明の目的は、上述した課題を解決するシステム管理装置を提供することにある。

本発明の一形態に係るシステム管理装置は、
複数の計算ノードを有する計算機システムを管理するシステム管理装置であって、
前記計算ノードのソフトウェア更新要求があると、前記ソフトウェア更新要求を記憶するソフトウェア更新管理部と、
省電力運用要求があると、前記複数の計算ノードのうち省電力化の条件を満たすアイドル状態の計算ノードを前記ソフトウェア更新管理部に通知する省電力管理部と、を含み、
前記ソフトウェア更新管理部は、前記ソフトウェア更新要求に基づいて、前記通知された前記計算ノードのソフトウェアを更新し、
前記省電力管理部は、前記ソフトウェア更新後の前記計算ノードを停止させる。

また本発明の他の形態に係る制御方法は、
ソフトウェア更新管理部と省電力管理部とを有し、複数の計算ノードを有する計算機システムを管理するシステム管理装置が実行する制御方法であって、
前記ソフトウェア更新管理部が、前記計算ノードのソフトウェア更新要求があると、前記ソフトウェア更新要求を記憶し、
前記省電力管理部が、省電力運用要求があると、前記複数の計算ノードのうち省電力化の条件を満たすアイドル状態の計算ノードを前記ソフトウェア更新管理部に通知し、
前記ソフトウェア更新管理部が、前記ソフトウェア更新要求に基づいて、前記通知された前記計算ノードのソフトウェアを更新し、
前記省電力管理部が、前記ソフトウェア更新後の前記計算ノードを停止させる。

また本発明の他の形態に係るプログラムは、
複数の計算ノードを有する計算機システムを管理するコンピュータを、
前記計算ノードのソフトウェア更新要求があると、前記ソフトウェア更新要求を記憶するソフトウェア更新管理部と、
省電力運用要求があると、前記複数の計算ノードのうち省電力化の条件を満たすアイドル状態の計算ノードを前記ソフトウェア更新管理部に通知する省電力管理部と、して機能させ、
前記ソフトウェア更新管理部は、前記ソフトウェア更新要求に基づいて、前記通知された前記計算ノードのソフトウェアを更新し、
前記省電力管理部は、前記ソフトウェア更新後の前記計算ノードを停止させる。

本発明は上述した構成を有することにより、計算機システムのジョブ運用を停止させることなく、省電力化を実現することができると共に計算ノードのソフトウェア更新を実施することができる。

本発明の第１の実施形態に係る計算機システムのブロック図である。 本発明の第１の実施形態における計算ノード状態テーブルの一例を示す図である。 本発明の第１の実施形態における省電力管理部の処理の一例を示すフローチャートである。 本発明の第１の実施形態におけるソフトウェア更新管理部の処理の一例を示すフローチャートである。 本発明の第１の実施形態における計算ノードの状態遷移の一例を示す図である。 本発明の第２の実施形態の構成図である。 本発明の第２の実施形態におけるノード起動停止情報の一例を示す図である。 本発明の第２の実施形態におけるジョブスケジューリング状況とソフトウェア更新、省電力停止の具体例を示した図である。 本発明の第３の実施形態に係る計算機システムのブロック図である。

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施形態に係る計算機システム１は、複数の計算ノード２−１〜２−Ｎと、システム管理装置３とを含んで構成されている。

計算ノード２−１〜２−Ｎは、プロセッサとメモリとを少なくとも有する計算機である。計算ノード２−１〜２−Ｎは、他の計算ノードおよびシステム管理装置３とバス４を通じて接続されている。計算ノード２−１〜２−Ｎは、互い協調して動作することにより、並列処理アプリケーションプログラムを実行するように構成されている。計算ノード２−１〜２−Ｎには、オペレーティングシステム（ＯＳ）および各種のアプリケーションプログラムがインストールされている。計算ノード２−１〜２−Ｎは、停止状態、アイドル状態、ジョブ実行状態、ソフトウェア更新状態の何れかをとる。停止状態は、電源断されて計算ノードが動作していない状態である。アイドル状態は、計算ノードが正常に動作し、ジョブ投入可能であるが、ジョブが動作していない状態である。ジョブ実行状態は、計算ノードがジョブを実行している状態である。ソフトウェア更新状態は、電源が投入され計算ノードは動作しているが、ソフトウェア更新中であるためジョブを投入できない状態である。

システム管理装置３は、計算機システム１全体の制御を司るように構成されている。システム管理装置３は、通信Ｉ／Ｆ（インターフェース）部３１、操作入力部３２、画面表示部３３、通信Ｉ／Ｆ部３４、記憶部４０、および演算処理部５０を含んで構成されている。

通信Ｉ／Ｆ部３１は、専用のデータ通信回路から構成され、有線または無線による通信回線を介して接続された外部端末などの各種装置との間でデータ通信を行うように構成されている。操作入力部３２は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部５０に出力するように構成されている。画面表示部３３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの画面表示装置から構成され、演算処理部５０からの指示に応じて、操作メニューなどの各種情報を画面表示するように構成されている。通信Ｉ／Ｆ部３４は、専用のデータ通信回路から構成され、バス４を介して接続された計算ノード２−１〜２−Ｎとの間でデータ通信を行うように構成されている。

記憶部４０は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部５０における各種処理に必要な処理情報およびプログラム４１を記憶するように構成されている。プログラム４１は、演算処理部５０に読み込まれて実行されることにより各種処理部を実現するように構成されている。プログラム４１は、通信Ｉ／Ｆ部３１などのデータ入出力機能を介して外部装置や記憶媒体から予め読み込まれて記憶部４０に保存される。記憶部４０に記憶される主な処理情報には、省電力運用要求４２、ソフトウェア更新要求４３、計算ノードのリスト４４、ジョブキュー４５、計算ノード状態テーブル４６がある。

省電力運用要求４２は、省電力化を図ることを要求するメッセージである。省電力運用要求４２には、省電力化の条件が含まれていてもよい。例えば、省電力化の条件としては、停止させる計算ノードの条件および停止させる台数の上限値などが考えられる。停止させる計算ノードの条件としては、所定時間以上アイドル状態が継続していること、割当可能なジョブが無いことなどが考えられる。省電力運用要求４２に省電力化の条件が含まれていない場合、事前に設定された省電力化の条件を適用するようにしてよい。

ソフトウェア更新要求４３は、ソフトウェア更新の対象となる計算ノードの識別情報、ソフトウェアの識別情報とその版数（バージョン）、更新後ソフトウェアとその版数を含んで構成されている。

計算ノードのリスト４４は、ソフトウェアを更新する必要がある計算ノードの一覧である。

ジョブキュー４５は、投入されたジョブを蓄積する記憶部である。

計算ノード状態テーブル４６は、計算ノード２−１〜２−Ｎの状態を記憶するテーブルである。図２は、計算ノード状態テーブル４６の一例を示す。この例の計算ノード状態テーブル４６は、計算ノード２−１〜２−Ｎに１対１に対応する行から構成されている。１つの計算ノードに対応する行は、ノードＩＤ、状態、経過時間、ソフトウェアＩＤ、版数の各欄を有する。ノードＩＤの欄には、計算ノードの識別情報が記録される。状態の欄には、停止状態、アイドル状態、ジョブ実行状態、ソフトウェア更新状態の何れかが記録される。経過時間の欄には、状態の欄に記載された状態が継続している時間が記載される。ソフトウェアＩＤの欄と版数の欄とは組になっており、複数の組を記載できるようになっている。ソフトウェアＩＤの欄には、計算ノードにインストールされているソフトウェアの識別情報が記録され、対応する版数の欄にインストールされているソフトウェアの版数が記録される。

演算処理部５０は、ＭＰＵなどのマイクロプロセッサとその周辺回路から構成されている。演算処理部５０は、記憶部４０からプログラム４１を読み込んで実行することにより、上記ハードウェアとプログラム４１とを協働させて各種処理部を実現するように構成されている。演算処理部５０で実現される主な処理部として、省電力管理部５１とソフトウェア更新管理部５２とジョブ管理部５３とがある。

省電力管理部５１は、複数の計算ノード２−１〜２−Ｎのうちのアイドル状態の計算ノードを停止させることにより、計算機システム１全体の省電力化を図るように構成されている。具体的には、省電力管理部５１は、以下のように動作するように構成されている。

省電力管理部５１は、通信Ｉ／Ｆ部３１または操作入力部３２から省電力運用要求４２が入力されると、その省電力運用要求４２を記憶部４０に記憶するように構成されている。

また、省電力管理部５１は、省電力運用要求４２を記憶した後、省電力化の条件を満たすアイドル状態の計算ノードを検出するように構成されている。そして省電力管理部５１は、省電力化の条件を満たすアイドル状態の計算ノードを検出すると、検出した計算ノードの状態をソフトウェア更新状態に変更するように構成されている。また省電力管理部５１は、検出した計算ノードの識別情報をソフトウェア更新管理部５２に通知するように構成されている。また、省電力管理部５１は、上記通知後に、ソフトウェア更新管理部５２からソフトウェア更新処理を完了した計算ノードの識別情報の通知を受けると、通知された計算ノードを停止させ、計算ノードの状態を停止状態に変更するように構成されている。

また、省電力管理部５１は、省電力化のために一部の計算ノードを停止させている状態において、ジョブ実行中の計算ノードでジョブの実行が終了したことを検出するように構成されている。そして、省電力管理部５１は、ジョブの実行が終了した計算ノードを検出すると、検出した計算ノードの状態をソフトウェア更新状態に変更すると共にその計算ノードの識別情報をソフトウェア更新管理部５２に通知するように構成されている。また、１台の計算ノードの状態をソフトウェア更新状態に変更する毎に、省電力化のために停止させている１台の計算ノードを起動し、アイドル状態に変更するように構成されている。また、省電力管理部５１は、上記通知後に、ソフトウェア更新管理部５２からソフトウェア更新処理の完了した計算ノードの識別情報の通知を受けると、通知された計算ノードを停止させ、計算ノードの状態を停止状態に変更するように構成されている。省電力管理部５１は、ソフトウェア更新管理部５２からソフトウェア更新が全て完了した旨の通知を受けると、ジョブの実行が終了した計算ノードの検出動作を停止する。また、省電力管理部５１は、省電力運用を停止する要求が操作入力部３２または通信Ｉ／Ｆ部３１から入力されると、省電力化の運用を停止する。このとき、省電力化のために停止させていた計算ノードがあれば、起動してアイドル状態へ変更する。

ソフトウェア更新管理部５２は、計算ノード２−１〜２−Ｎのソフトウェアを更新するように構成されている。具体的には、ソフトウェア更新管理部５２は、以下のように動作するように構成されている。

ソフトウェア更新管理部５２は、通信Ｉ／Ｆ部３１または操作入力部３２からソフトウェア更新要求４３が入力されると、そのソフトウェア更新要求４３を記憶部４０に記憶するように構成されている。

ソフトウェア更新管理部５２は、ソフトウェア更新要求４３を記憶部４０に記憶した後、ソフトウェア更新要求４３と計算ノード状態テーブル４６に記載されている計算ノード２−１〜２−Ｎの現在のソフトウェア状態とを照合することにより、ソフトウェアを更新する必要がある計算ノードのリスト４４を作成し、記憶部４０に記憶するように構成されている。次に、ソフトウェア更新管理部５２は、リスト４４が空でなければ、省電力管理部５１から計算ノードの識別情報が通知されるのを待ち合わせる。そして、ソフトウェア更新管理部５２は、計算ノードの識別情報が通知されると、通知された識別情報がリスト４４に記載されているか否かを調べる。この調査の結果、リスト４４に記載されていれば、ソフトウェア更新管理部５２は、当該計算ノードに対してバス４を介してアクセスし、ソフトウェア更新要求４３に基づいて、当該計算ノードの現在のソフトウェアを更新後ソフトウェアに更新する処理を起動する。例えば計算機ノード側に設けられたソフトウェア更新を行うプログラムを起動する。計算ノードのソフトウェア更新には更新量に応じた時間がかかる。ソフトウェア更新管理部５２は、ソフトウェアを更新する処理を起動してから所定の時間が経過したとき、ソフトウェア更新が終了したと判断する。或いはソフトウェア更新管理部５２は、起動したソフトウェア更新の進捗状況を監視し、その終了を判定してもよい。次にソフトウェア更新管理部５２は、ソフトウェア更新を終了した計算ノードの識別情報をリスト４４から削除し、またその識別情報を、ソフトウェア更新を完了した計算ノードの識別情報として省電力管理部５１に通知する。他方、ソフトウェア更新管理部５２は、省電力管理部５１から通知された計算ノードの識別情報がリスト４４に記載されていなければ、当該計算ノードはソフトウェア更新を既に完了しているか、或いはもともと必要がなかったので、当該計算ノードの識別情報を、ソフトウェア更新を完了した計算ノードの識別情報として省電力管理部５１に速やかに通知する。ソフトウェア更新管理部５２は、以上のような処理を行って、リスト４４が空になると、ソフトウェア更新要求４３に係るソフトウェア更新が全て完了した旨を、画面表示部３３に表示し、または／および通信Ｉ／Ｆ部３１を通じて外部端末へ送信する。また、ソフトウェア更新管理部５２は、ソフトウェア更新が全て完了した旨を省電力管理部５１に通知する。

ジョブ管理部５３は、ジョブ運用を管理するように構成されている。ジョブ管理部５３は、操作入力部３２または通信Ｉ／Ｆ部３１からジョブが投入されると、投入されたジョブをジョブキュー４５に格納するように構成されている。またジョブ管理部５３は、ジョブキュー４５から実行待ちのジョブを検出し、検出したジョブを割当可能な計算ノードに投入する。ジョブには、所定版数のソフトウェアに更新済みの計算ノードを必要とするジョブとそうでないジョブとがある。ジョブ管理部５３は、所定版数のソフトウェアに更新済みの計算ノードを必要とするジョブの場合、計算ノード状態テーブル４６から所定版数のソフトウェアに更新済み且つアイドル状態の計算ノードを必要個数検索し、この検索した計算ノードにジョブを投入する。ジョブを投入された計算ノードは、アイドル状態からジョブ実行状態に遷移し、ジョブの実行が終了するとアイドル状態に遷移する。このような計算ノードの状態は、ジョブ管理部５３によって検出され、計算ノード状態テーブル４６に反映される。

次に本実施形態に係る計算機システム１の動作を説明する。

図３は省電力管理部５１の処理の一例を示すフローチャートである。また、図４はソフトウェア更新管理部５２の処理の一例を示すフローチャートである。以下、図３および図４を参照して、省電力運用中に計算ノードのソフトウェアを更新する動作を説明する。

省電力管理部５１は、通信Ｉ／Ｆ部３１または操作入力部３２から省電力運用要求４２が入力されると（ステップＳ１）、その省電力運用要求４２を記憶部４０に記憶する（ステップＳ２）。次に省電力管理部５１は、省電力化の条件を満たすアイドル状態の計算ノードを検出する（ステップＳ３）。例えば、図２の計算ノード状態テーブル４６における状態の欄がアイドルであり、経過時間の欄が一定時間以上である計算ノードであって、且つ割当可能なジョブがジョブキュー４５にない計算ノードを、所定台数を上限に検出する。このとき、省電力管理部５１は、記憶部４０に記憶されている計算ノードのリスト４４に記載されている計算ノードのうちから、省電力化の条件を満たすアイドル状態の計算ノードを検出するようにしてもよい。次に省電力管理部５１は、省電力化の条件を満たすアイドル状態の計算ノードを検出すると、計算ノード状態テーブル４６中の上記検出した計算ノードの状態の欄をソフトウェア更新状態に変更し、その計算ノードの識別情報をソフトウェア更新管理部５２に通知する（ステップＳ４）。

他方、ソフトウェア更新管理部５２は、通信Ｉ／Ｆ部３１または操作入力部３２からソフトウェア更新要求４３が入力されると（ステップＳ２１）、そのソフトウェア更新要求４３を記憶部４０に記憶する（ステップＳ２２）。次にソフトウェア更新管理部５２は、ソフトウェア更新要求４３に記載されている更新対象となるソフトウェアの識別子およびその版数と、計算ノード状態テーブル４６に記載されている計算ノード２−１〜２−Ｎにインストールされているソフトウェアの識別子およびその版数とを照合することにより、ソフトウェアを更新する必要がある計算ノードのリスト４４を作成し、記憶部４０に記憶する（ステップＳ２３）。次にソフトウェア更新管理部５２は、リスト４４が空でなければ（ステップＳ２４）、省電力管理部５１から計算ノードの識別情報が通知されるのを待ち合わせる（ステップＳ２５）。

上述したように省電力管理部５１が省電力化の条件を満たすアイドル状態の計算ノードの識別情報をソフトウェア更新管理部５２に通知すると、省電力管理部５１はこの通知をステップＳ２５で検出することになる。ソフトウェア更新管理部５２は、計算ノードの識別情報が通知されると、通知された識別情報がリスト４４に記載されているか否かを調べる（ステップＳ２６）。ソフトウェア更新管理部５２は、リスト４４に該当する記載があれば、ソフトウェア更新要求４３に含まれる更新後ソフトウェアに基づいて、当該計算ノードの現在のソフトウェアを更新後ソフトウェアに更新する処理を開始する（ステップＳ２７）。そして、当該計算ノードのソフトウェア更新を開始した旨をリスト４４に記録する（ステップＳ２８）。この記録では、ソフトウェア更新が終了する予定時刻を記載するようにしてもよい。一方、ソフトウェア更新管理部５２は、省電力管理部５１から通知された計算ノードの識別情報がリスト４４に記載されていなければ、当該計算ノードはソフトウェア更新を既に完了しているか、或いはもともと必要がなかったので、当該計算ノードの識別情報を省電力管理部５１に通知する（ステップＳ２９）。そして、ステップＳ２４に戻る。

またソフトウェア更新管理部５２は、ソフトウェアを更新する処理を起動してから所定の時間が経過するか否かによって、或いは起動したソフトウェア更新の進捗状況を監視することによって、計算ノードのソフトウェア更新が完了したか否かを検出する（ステップＳ３０）。そして、ソフトウェア更新管理部５２は、計算ノードのソフトウェア更新が完了すると、計算ノード状態テーブル４６における当該計算ノードにインストールされているソフトウェアの版数を更新後ソフトウェアに基づいて更新し、またリスト４４から当該計算ノードの識別情報を削除する（ステップＳ３１）。そして、ソフトウェア更新管理部５２は、ソフトウェア更新が完了した計算ノードの識別情報を省電力管理部５１に通知する（ステップＳ３２）。そして、ステップＳ２４に戻る。

ソフトウェア更新管理部５２は、ステップＳ２４に戻ると、計算ノードのリスト４４が空か否かを再度判断する。そして、空でなければ、上述したステップＳ２５〜Ｓ３２の動作を繰り返す。また、空であれば、ソフトウェア更新要求４３に基づくソフトウェア更新が全て完了した旨を画面表示部３３に表示し、または／および、通信Ｉ／Ｆ部３１を通じて外部端末へ送信すると共に、省電力管理部５１に通知する（ステップＳ３３）。

省電力管理部５１は、ソフトウェア更新管理部５２のステップＳ２９、Ｓ３２で出された上記の通知を図３のステップＳ５で検知すると、通知された識別情報の計算ノードを停止させる処理を行い、また計算ノード状態テーブル４６の当該計算ノードの状態を停止状態に変更する（ステップＳ６）。計算機システム１の一部の計算ノードが停止状態になることによって、計算機システム全体の消費電力が低減される。

省電力管理部５１は、省電力化のために計算ノードを停止させている場合（ステップＳ７）、ソフトウェア更新管理部５２のステップＳ３３で出された通知、即ちソフトウェア更新が全て完了した旨の通知を受けていなければ（ステップＳ８）、計算ノード状態テーブル４６に基づいてジョブの実行が終了した計算ノードを検出する（ステップＳ９）。例えば省電力管理部５１は、計算ノード状態テーブル４６においてジョブ実行状態からアイドル状態に書き換えられた計算ノードを検出する。このとき、省電力管理部５１は、記憶部４０に記憶されている計算ノードのリスト４４に記載されている計算ノードのうちから、ジョブ実行を終了した計算ノードを検出するようにしてもよい。次に、省電力管理部５１は、ジョブ実行を終了した計算ノードの状態をソフトウェア更新状態に変更し、その識別情報をソフトウェア更新管理部５２に通知する（ステップＳ１０）。また省電力管理部５１は、ステップＳ１０によってソフトウェア更新状態とした１つの計算ノードの代わりに、省電力化のために停止させている１つの計算ノードを起動し、アイドル状態とする（ステップＳ１１）。

省電力管理部５１のステップＳ１０で出された通知は、ソフトウェア更新管理部５２の図４のステップＳ２５で受信され、前述したように、ソフトウェア更新が必要であればソフトウェア更新の処理が開始され（ステップＳ２６〜Ｓ２８）、その完了時にその旨が省電力管理部５１へ通知される（ステップＳ３０〜Ｓ３２）。またソフトウェア更新が必要なければ、速やかに同様の通知が出される（ステップＳ２９）。これらの通知は省電力管理部５１のステップＳ５で受信され、当該計算ノードが停止されることになる。このように省電力化のために停止させる計算ノードを動的に変更し、その停止前にソフトウェア更新を実施することで、最終的には全ての計算ノードが少なくとも一度は省電力化のために停止させられることになり、その結果、全ての計算ノードに対するソフトウェア更新が完了することになる。

そして、全ての計算ノードに対するソフトウェア更新が完了すると、ソフトウェア更新管理部５２はその旨を省電力管理部５１に通知する（ステップＳ３３）。そして、ソフトウェア更新管理部５２は、ステップＳ２１の処理へと戻る。上記通知を受けると、省電力管理部５１は、ステップＳ９〜Ｓ１１の処理を実行しないため、省電力化のために停止する計算ノードを無駄に切り替えることがなくなる。

その後、省電力運用の停止要求が入力されると（ステップＳ１２）、省電力管理部５１は、省電力のために停止させていた全ての計算ノードを起動し、アイドル状態に変更する（ステップＳ１３）。そして、省電力管理部５１は、ステップＳ１の処理へと戻る。

図５は、計算ノードの状態遷移の一例を示す図である。縦軸は計算ノードを示し、横軸は時間の経過を示す。この例では、計算ノードの総数は１６である。計算ノード２−１〜２−４がジョブＪ１を実行し、計算ノード２−５〜２−１２がジョブＪ２を実行し、計算ノード２−１３〜２−１４がジョブＪ３を実行し、計算ノード２−１５〜２−１６がジョブＪ４を実行しているときに、省電力運用要求とソフトウェア更新要求とが入力されている。入力されたソフトウェア要求は全ての計算ノード２−１〜２−Ｎを対象にソフトウェアを更新するように要求している。

図５では、時刻Ｔ１の時点で、既にジョブＪ１の実行を終了し所定時間にわたってアイドル状態にあった計算ノード２−１〜２−４が省電力化の停止対象として選択され、時刻Ｔ２までソフトウェア更新処理が実施され、その後に省電力化のために停止している。その後、時刻Ｔ３の時点で、計算ノード２−１５〜２−１６でジョブＪ５が終了したため、停止させていた計算ノード２−１〜２−４を起動し、代わりに計算ノード２−１３〜２−１６を省電力化の停止対象として選択している。計算ノード２−１３〜２−１６は、時刻Ｔ４までソフトウェア更新処理が実施され、その後に省電力化のために停止している。その後、時刻Ｔ５の時点で、計算ノード２−５〜２−１０でジョブｊ８が終了したため、停止させていた計算ノード２−１３〜２−１６を起動し、代わりに計算ノード２−５〜２−８を省電力化の停止対象として選択している。計算ノード２−５〜２−８は、時刻Ｔ６までソフトウェア更新処理が実施され、その後に省電力化のために停止している。その後、時刻Ｔ７で計算ノード２−１〜２−４でジョブＪ８が終了しているが、これらの計算ノード２−１〜２−４は既にソフトウェア更新が完了しているため、省電力化の停止対象から除外されている。その後、時刻Ｔ８の時点で、計算ノード２−９〜２−１２でジョブＪ９が終了したため、停止させていた計算ノード２−５〜２−８を起動し、代わりに計算ノード２−９〜２−１２を省電力化の停止対象として選択している。計算ノード２−９〜２−１２は、時刻Ｔ９までソフトウェア更新処理が実施され、その後に省電力化のために停止している。この時点で全ての計算ノード２−１〜２−１６のソフトウェア更新が完了したので、以後、省電力化の停止対象は計算ノード２−９〜２−１２を維持している。

このように本実施形態によれば、計算機システムのジョブ運用を停止させることなく、省電力化を実現することができると共に計算ノードのソフトウェア更新を実施することができる。その理由は、省電力化のために計算ノードを停止させる前にソフトウェア更新を実施しているためである。即ち、省電力化のために一部の計算ノードが停止している状態において、ソフトウェア更新のために更に他の一部の計算ノードが停止する状態が発生しないため、ジョブを割当可能な計算ノードが極端に不足して計算機システムのジョブ運用が停止する恐れがないためである。

[第２の実施形態]
次に本発明の第２の実施形態について説明する。

＜本実施形態の背景＞
従来のＨＰＣ領域の大規模計算機システムでは、システム全体のソフトウェア更新として半期に一度のメンテナンス期間にまとめて実施するような運用が主流であった。しかし、最近では汎用のＬｉｎｕｘベースのシステムが使用されるようになり、頻繁な更新が増えた。また、外部システムと連携する使用方法も増え、セキュリティに関わる更新はメンテナンス日を待たずに早急に実施したいというユーザの要求が増えた。それらに対して、ジョブ運用を継続しながらメンテナンス期間を設けることなくソフトウェア更新を実施可能な方法が必要であった。また、昨今の計算機システムでは、システム全体での省電力運用が実施されており、それと協調したノードのソフトウェア更新が求められる。

＜本実施形態が解決しようとする課題＞
大規模な計算機システムにおいて、計算を実行するノード群のＯＳやアプリケーションプログラムの更新が必要な場合、通常はメンテナンス時間を設けて対応する。メンテナンス時間中は、計算機システムの全ノードを停止するか、部分的にメンテナンス対象ノードをジョブ運用管理から外したうえで、縮退したシステムでジョブ運用を継続していた。部分的にノードを更新した場合、該当する更新済みノードのみを使用したジョブを実行するためには、更新済みノードと未更新ノードを別のノード群として管理するなどの対策が必要であった。

また、ジョブ運用中に順次ジョブ実行ノードを更新していく場合、それらの情報を管理する処理をジョブスケジューラ内に持つか、もしくは、そのような機能を持つ運用管理ソフトウェアとの連携が必要であった。とくに、システム全体で省電力なジョブ実行をおこなう場合に、省電力機能によるノードの起動停止とソフトウェア更新実施をお互いに阻害することなく管理する必要があった。

＜本実施形態の特徴＞
本実施形態は、計算機システムのバッチジョブスケジューリング運用において、バッチジョブスケジューリングシステムの省電力機能による計算ノードの停止・起動処理と、計算ノードのＯＳやＩＳＶソフトウェアの更新タイミングを連携することにより、計算機システムのジョブ運用を停止することなく計算ノードのソフトウェア更新を実施する。また、一部の計算ノードのＯＳやＩＳＶソフトウェアは更新済みであるが他の計算ノードのＯＳやＩＳＶソフトウェアは未更新である等の、ＯＳやＩＳＶソフトウェアのバージョンが揃っていない状況でも、ＯＳ、ＩＳＶ環境を要求するジョブに対して適切な計算ノードを割り当てる。

そのため、本実施形態では、ジョブ管理システムが、省電力機能によるノード停止・起動指示と合わせてノードの更新処理を実施し、更新済みのノードを優先的にアサインし、未更新のノードにジョブを割り当てず、省電力でのノード停止状態にすることにより、ジョブ運用を停止することなく、効率よくノード更新を実施する。

＜本実施形態の構成＞
図６は本実施形態の構成図である。図６を参照すると、本実施形態は、ジョブ管理システム１００とジョブ実行クラスタ２００から構成されている。また、ジョブ管理システム１００は、ジョブ管理部１１０と、省電力停止ノード数情報１１１と、クラスタ省電力管理手段１１２と、ノード起動停止情報１１３と、ノード起動停止手段１１４と、ノード更新状況判別手段１１５と、ソフトウェア更新手段１１６と、ジョブ実行手段１２１と、ジョブ実行ノード決定手段１２２と、ジョブ実行情報１２３を含んで構成されている。また、ジョブ実行クラスタ２００は、多数のノード２１０から構成される。ジョブ管理システム１００は、システム管理装置とも呼ぶ。ノード２１０は、計算ノードとも呼ぶ。ここで、省電力停止ノード数情報１１１、クラスタ省電力管理手段１１２、ノード起動停止情報１１３、および、ノード起動停止手段１１４は、図１の省電力管理部５１に対応する。また、ノード更新状況判別手段１１５、および、ソフトウェア更新手段１１６は、図１のソフトウェア更新管理部５２に対応する。また、ジョブ管理部１１０、ジョブ実行手段１２１、および、ジョブ実行情報１２３は、図１のジョブ管理部５３に対応する。

このように構成された本実施形態は、以下のように動作する。
＜本実施形態の動作＞

ソフトウェア更新要求が発生した場合、ソフトウェア更新手段１１６は、そのソフトウェア更新要求をノード更新状況判別手段１１５に記憶しておく。ソフトウェア更新要求は、更新対象となるノードおよびソフトウェア、並びに更新後ソフトウェアを含む。

省電力運用要求が発生した場合、ジョブ管理部１１０は、省電力停止ノード数情報１１１を設定する。省電力停止ノード数情報１１１は、省電力化のために同時に停止させるノードの最大値を表す。省電力停止ノード数情報１１１は、省電力運用要求に含まれていてもよいし、予め設定されていてもよい。

次にジョブ管理部１１０は、クラスタ省電力管理手段１１２を呼び出し、ノード起動停止情報１１３を初期化する。ノード起動停止情報１１３は、各ノード２１に対応するエントリを有する。初期化では、各エントリに「停止時刻なし」を設定する。次に、ジョブ管理システム１００は、以下の（１）〜（３）の動作を行う。

（１）クラスタ省電力管理手段１１２は、ノード起動停止情報１１３とジョブ実行情報１２３から、省電力停止ノード数情報１１１の台数までのノード２１を選び、それぞれ停止させるノード２１に対しノード起動停止手段１１４を呼び出す。
（２）ノード起動停止手段１１４は、ノード更新状況判別手段１１５により、停止するノード２１にソフトウェア更新処理が必要かどうかのチェックを行い、ソフトウェア更新処理が必要な場合、ソフトウェア更新手段１１６を呼び出し、ソフトウェア更新処理を実施する。
（３）ソフトウェア更新手段１１６により、ソフトウェア更新処理終了後、ノード起動停止手段１１４は、ノード起動停止情報１１３の該当ノード２１の情報に停止時刻を設定し、ノード２１を停止させる。図７はノード起動停止情報１１３の例を示す図である。

上記（１）から（３）の処理により、省電力停止ノード数情報１１１の台数のノード２１が停止する前に、必要なソフトウェア更新を実施した後にノード起動停止情報１１３が更新され、それらのノード２１が停止状態となる。

次に、ジョブが投入された場合、ジョブ管理部１１０はジョブ実行ノード決定手段１２２を呼び出す。ジョブ実行ノード決定手段１２２は、ノード起動停止情報１１３を参照し、停止時刻が設定されているノード２１を検索し、検索に成功したノード２１があれば、ノード起動停止手段１１４により、当該ノード２１の起動処理を実施する。

ノード起動停止手段１１４により、ノード２１を起動後、ジョブ実行手段１２１により、ジョブ実行情報１２３を更新し、ジョブを起動する。同時に、クラスタ省電力管理手段１１２を呼び出し、上記（１）から（３）までの処理により省電力停止ノード数情報１１１の台数までのノード２１を停止させる。このとき、ノード起動停止手段１１４に停止済みのノード２１以外のノード２１を優先的に停止させる。

次に、ソフトウェア更新済みを要求するジョブが投入された場合、ジョブ管理部１１０は、ジョブ実行ノード決定手段１２２を呼び出し、ノード起動停止情報１１３から、既にソフトウェア更新済みノード２１を判断して割り当て、ジョブ実行手段１２１により、ジョブを実行する。もし必要とするソフトウェア更新済みノード２１が、要求するジョブ実行に足りない場合は、そのジョブは資源待ちとなり、実行されない。ノード２１が空き状態となり、ジョブ実行情報１２３でも空き状態となる。

クラスタ省電力管理手段１１２は、ジョブ実行情報１２３とノード起動停止情報１１３から、これらのノード２１を停止とするよう選び、上記（１）から（３）のようにソフトウェア更新手段１１６とノード起動停止手段１１４を実施する。

図８は、ジョブスケジューリング状況とソフトウェア更新、省電力停止の具体例を示した図である。ジョブＣとジョブＤの実行終了後、ノード群Ａはソフトウェア更新後に停止する。その後、ソフトウェア更新済みを要求するジョブＪが投入されたときに、ソフトウェア更新済みノードとしてノード群Ａを選択し、起動し、ジョブＪを実行する。省電力停止ノード情報から、ノード群Ａを起動するタイミングで同数のノード群Ｂを選択し、ノード群Ａの代わりに停止することで省電力停止ノード数を維持する。

このようにして、ジョブ運用を継続したままソフトウェアを更新する。

＜本実施形態の効果＞
第１の効果は、ジョブ管理システムによる省電力機能でのノード停止・起動のタイミングと連携してノード上のソフトウェア更新の処理を実施することで、特別な更新ノード管理を必要とせずに、システムの全ノードの更新を完了できることである。

第２の効果は、ジョブ運用を継続しながら、ソフトウェアの更新が各ノードで一様でない場合でも、ソフトウェアの更新が実施されたノードのみを使用したジョブを実行できることである。

[第３の実施形態]
次に本発明の第３の実施形態について説明する。

図９は本発明の第３の実施形態に係る計算機システムのブロック図である。図９を参照すると、本実施形態に係る計算機システム３００は、システム管理装置３０１と複数の計算ノード３０２とを有する。また、システム管理装置３０１は、ソフトウェア更新管理部３１１と省電力管理部３１２とを含んで構成されている。

ソフトウェア更新管理部３１１は、計算ノード３０２のソフトウェア更新要求があると、そのソフトウェア更新要求を記憶するように構成されている。また、ソフトウェア更新管理部３１１は、省電力管理部３１２から、省電力化の条件を満たすアイドル状態の計算ノード３０２が通知されると、上記ソフトウェア更新要求に基づいて、通知された計算ノード３０２のソフトウェアを更新するように構成されている。ソフトウェア更新管理部３１１は、図１のソフトウェア更新管理部５２と同様に構成することができるが、それに限定されない。

省電力管理部３１２は、省電力運用要求があると、複数の計算ノード３０２のうち省電力化の条件を満たすアイドル状態の計算ノードをソフトウェア更新管理部３１１に通知するように構成されている。また、省電力管理部３１２は、ソフトウェア更新管理部３１１によるソフトウェア更新後の計算ノード３０２を停止させるように構成されている。省電力管理部３１２は、図１の省電力管理部５１と同様に構成することができるが、それに限定されない。

このように構成された本実施形態に係る計算機システム３００は、以下のように動作する。即ち、ソフトウェア更新管理部３１１は、計算ノード３０２のソフトウェア更新要求があると、そのソフトウェア更新要求を記憶する。また、省電力管理部３１２は、省電力運用要求があると、複数の計算ノード３０２のうち省電力化の条件を満たすアイドル状態の計算ノードをソフトウェア更新管理部３１１に通知する。ソフトウェア更新管理部３１１は、ソフトウェア更新要求に基づいて、上記通知された計算ノード３０２のソフトウェアを更新する。そして省電力管理部３１２は、上記ソフトウェア更新後の計算ノード３０２を停止させる。

このように本実施形態によれば、計算機システムのジョブ運用を停止させることなく、省電力化を実現することができると共に計算ノードのソフトウェア更新を実施することができる。その理由は、省電力化のために計算ノードを停止させる前にソフトウェア更新を実施するためである。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

本発明は、複数の計算ノードを有する計算機システムの省電力化およびソフトウェア更新に利用できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
複数の計算ノードを有する計算機システムを管理するシステム管理装置であって、
前記計算ノードのソフトウェア更新要求があると、前記ソフトウェア更新要求を記憶するソフトウェア更新管理部と、
省電力運用要求があると、前記複数の計算ノードのうち省電力化の条件を満たすアイドル状態の計算ノードを前記ソフトウェア更新管理部に通知する省電力管理部と、を含み、
前記ソフトウェア更新管理部は、前記ソフトウェア更新要求に基づいて、前記通知された前記計算ノードのソフトウェアを更新し、
前記省電力管理部は、前記ソフトウェア更新後の前記計算ノードを停止させる、
システム管理装置。
［付記２］
前記省電力管理部は、ジョブ実行中の前記計算ノードでジョブの実行が終了すると、前記ジョブの実行が終了した前記計算ノードを前記ソフトウェア更新管理部に通知すると共に、前記停止させていた前記計算ノードを起動し、
前記ソフトウェア更新管理部は、前記ソフトウェア更新要求に基づいて前記通知された計算ノードのソフトウェアを更新し、
前記省電力管理部は、前記ソフトウェア更新後の前記計算ノードを停止させる、
付記１に記載のシステム管理装置。
［付記３］
前記省電力管理部は、前記ジョブの実行が終了した前記計算ノードのうち未だ前記ソフトウェア更新管理部によるソフトウェア更新が実施されていない前記計算ノードを前記ソフトウェア更新管理部に通知する、
付記２に記載のシステム管理装置。
［付記４］
ソフトウェア更新管理部と省電力管理部とを有し、複数の計算ノードを有する計算機システムを管理するシステム管理装置が実行する制御方法であって、
前記ソフトウェア更新管理部が、前記計算ノードのソフトウェア更新要求があると、前記ソフトウェア更新要求を記憶し、
前記省電力管理部が、省電力運用要求があると、前記複数の計算ノードのうち省電力化の条件を満たすアイドル状態の計算ノードを前記ソフトウェア更新管理部に通知し、
前記ソフトウェア更新管理部が、前記ソフトウェア更新要求に基づいて、前記通知された前記計算ノードのソフトウェアを更新し、
前記省電力管理部が、前記ソフトウェア更新後の前記計算ノードを停止させる、
制御方法。
［付記５］
前記省電力管理部が、ジョブ実行中の前記計算ノードでジョブの実行が終了すると、前記ジョブの実行が終了した前記計算ノードを前記ソフトウェア更新管理部に通知すると共に、前記停止させていた前記計算ノードを起動し、
前記ソフトウェア更新管理部が、前記ソフトウェア更新要求に基づいて前記通知された計算ノードのソフトウェアを更新し、
前記省電力管理部が、前記ソフトウェア更新後の前記計算ノードを停止させる、
付記４に記載の制御方法。
［付記６］
前記省電力管理部が、前記ジョブの実行が終了した前記計算ノードのうち未だ前記ソフトウェア更新管理部によるソフトウェア更新が実施されていない前記計算ノードを前記ソフトウェア更新管理部に通知する、
付記５に記載の制御方法。
［付記７］
複数の計算ノードを有する計算機システムを管理するコンピュータを、
前記計算ノードのソフトウェア更新要求があると、前記ソフトウェア更新要求を記憶するソフトウェア更新管理部と、
省電力運用要求があると、前記複数の計算ノードのうち省電力化の条件を満たすアイドル状態の計算ノードを前記ソフトウェア更新管理部に通知する省電力管理部と、して機能させ、
前記ソフトウェア更新管理部は、前記ソフトウェア更新要求に基づいて、前記通知された前記計算ノードのソフトウェアを更新し、
前記省電力管理部は、前記ソフトウェア更新後の前記計算ノードを停止させる、
プログラム。
［付記８］
前記省電力管理部は、ジョブ実行中の前記計算ノードでジョブの実行が終了すると、前記ジョブの実行が終了した前記計算ノードを前記ソフトウェア更新管理部に通知すると共に、前記停止させていた前記計算ノードを起動し、
前記ソフトウェア更新管理部は、前記ソフトウェア更新要求に基づいて前記通知された計算ノードのソフトウェアを更新し、
前記省電力管理部は、前記ソフトウェア更新後の前記計算ノードを停止させる、
付記７に記載のプログラム。
［付記９］
前記省電力管理部は、前記ジョブの実行が終了した前記計算ノードのうち未だ前記ソフトウェア更新管理部によるソフトウェア更新が実施されていない前記計算ノードを前記ソフトウェア更新管理部に通知する、
付記８に記載のプログラム。

１…計算機システム
２−１〜２−Ｎ…計算ノード
３…システム管理装置
４…バス
３１…通信Ｉ／Ｆ部
３２…操作入力部
３３…画面表示部
３４…通信Ｉ／Ｆ部
４０…記憶部
４１…プログラム
４２…省電力運用要求
４３…ソフトウェア更新要求
４４…計算ノードのリスト
４５…ジョブキュー
４６…計算ノード状態テーブル
５０…演算処理部
５１…省電力管理部
５２…ソフトウェア更新管理部
５３…ジョブ管理部
１００…ジョブ管理システム
１１０…ジョブ管理部
１１１…省電力停止ノード数情報
１１２…クラスタ省電力管理手段
１１３…ノード起動停止情報
１１４…ノード起動停止手段
１１５…ノード更新状況判別手段
１１６…ソフトウェア更新手段
１２１…ジョブ実行手段
１２２…ジョブ実行ノード決定手段
１２３…ジョブ実行情報
２００…ジョブ実行クラスタ
２１０…ノード
３００…計算機システム
３０１…システム管理装置
３０２…計算ノード
３１１…ソフトウェア更新管理部
３１２…省電力管理部

Claims (3)

1. 複数の計算ノードを有する計算機システムを管理するシステム管理装置であって、
   入力されたソフトウェア更新要求に従って、ソフトウェアの更新を行う必要のある前記計算ノードのリストを作成するソフトウェア更新管理部と、
   入力された省電力運用要求に従って、前記複数の計算ノードのうち省電力化の条件を満たすアイドル状態の第１の計算ノードを前記ソフトウェア更新管理部に通知する省電力管理部と、を含み、
   前記ソフトウェア更新管理部は、前記ソフトウェア更新要求に基づいて、前記第１の計算ノードのソフトウェアを更新し、前記リストから前記第１の計算ノードを削除し、
   前記省電力管理部は、前記第１の計算ノードを省電力化のために停止させ、前記第１の計算ノードを省電力化のために停止させているときに、前記リストに記載されている第２の計算ノードでジョブの実行が終了したことを検出すると、前記第２の計算ノードを前記ソフトウェア更新管理部に通知し、前記第１の計算ノードを起動し、
   前記ソフトウェア更新管理部は、前記ソフトウェア更新要求に基づいて、前記第２の計算ノードのソフトウェアを更新し、前記リストから前記第２の計算ノードを削除し、
   前記省電力管理部は、省電力化のために停止させる前記計算ノードの台数を維持するために前記第１の計算ノードの起動に応じて前記第２の計算ノードを停止させる、ように構成されている
   システム管理装置。
2. ソフトウェア更新管理部と省電力管理部とを有し、複数の計算ノードを有する計算機システムを管理するシステム管理装置が実行する制御方法であって、
   前記ソフトウェア更新管理部が、入力されたソフトウェア更新要求に従って、ソフトウェアの更新を行う必要のある前記計算ノードのリストを作成し、
   前記省電力管理部が、入力された省電力運用要求に従って、前記複数の計算ノードのうち省電力化の条件を満たすアイドル状態の第１の計算ノードを前記ソフトウェア更新管理部に通知し、
   前記ソフトウェア更新管理部が、前記ソフトウェア更新要求に基づいて、前記第１の計算ノードのソフトウェアを更新し、前記リストから前記第１の計算ノードを削除し、
   前記省電力管理部が、前記第１の計算ノードを省電力化のために停止させ、前記第１の計算ノードを省電力化のために停止させているときに、前記リストに記載されている第２の計算ノードでジョブの実行が終了したことを検出すると、前記第２の計算ノードを前記ソフトウェア更新管理部に通知し、前記第１の計算ノードを起動し、
   前記ソフトウェア更新管理部が、前記ソフトウェア更新要求に基づいて、前記第２の計算ノードのソフトウェアを更新し、前記リストから前記第２の計算ノードを削除し、
   前記省電力管理部が、省電力化のために停止させる前記計算ノードの台数を維持するために前記第１の計算ノードの起動に応じて前記第２の計算ノードを停止させる、
   システム管理方法。
3. 複数の計算ノードを有する計算機システムを管理するコンピュータに、
   入力されたソフトウェア更新要求に従って、ソフトウェアの更新を行う必要のある前記計算ノードのリストを作成する処理と、
   入力された省電力運用要求に従って、前記複数の計算ノードのうち省電力化の条件を満たすアイドル状態の第１の計算ノードを検出する処理と、
   前記ソフトウェア更新要求に基づいて、前記第１の計算ノードのソフトウェアを更新し、前記リストから前記第１の計算ノードを削除する処理と、
   前記第１の計算ノードを省電力化のために停止させ、前記第１の計算ノードを省電力化のために停止させているときに、前記リストに記載されている第２の計算ノードでジョブの実行が終了したことを検出する処理と、
   前記ソフトウェア更新要求に基づいて、前記第２の計算ノードのソフトウェアを更新し、前記リストから前記第２の計算ノードを削除する処理と、
   省電力化のために停止させる前記計算ノードの台数を維持するために前記第１の計算ノードを起動し、前記第２の計算ノードを停止させる処理と、
   を行わせるためのプログラム。

Images