JP4887837B2 - マルチノードコンピュータシステム、統合サービスプロセッサ及びそれらに用いる多重化制御方法 - Google Patents

Description

本発明はマルチノードコンピュータシステム、統合サービスプロセッサ及びそれらに用いる多重化制御方法並びにそのプログラムに関し、特にマルチノードコンピュータシステムにおいてノード間の接続を行うノード間クロスバスイッチに関する。

近年、科学技術計算の分野において計算性能の向上の要求が高まっている。そこでスーパーコンピュータ等の高速計算機は複数のＣＰＵ（中央処理装置）と共有メモリとで構成される高性能のノードを更に複数接続し、マルチノード構成をとることでシステム全体としての計算性能の向上を実現している。

ノード間の接続はＩＸＳ（Ｉｎｔｅｒｎｏｄｅ Ｃｒｏｓｓｂａｒ Ｓｗｉｔｃｈ：ノード間クロスバスイッチ）を介して行われるが、ＩＸＳに障害が発生するとシステムがダウンする、つまりＩＸＳがシステムのＳＰＯＦ（Ｓｉｎｇｌｅ Ｐｏｉｎｔ Ｏｆ Ｆａｉｌｕｒｅ）になってしまうという問題がある。

この問題を解決するため、ＩＸＳを多重化して運用系のＩＸＳに障害が発生した場合に、障害が発生したＩＸＳを待機系のＩＸＳに切替えることで（例えば、特許文献１参照）、システムダウンを防止することができるマルチノードコンピュータシステムが提案されている。
特開２００６−０３９８９７号公報

しかし、上述した従来のマルチノードコンピュータシステムでは、ＩＸＳ障害発生時にシステムダウンを防止することができるが、図８に示すように、ＩＸＳ切替え時にＩＸＳ−ノード間で論理パスの切替えをするため、ＩＸＳを介したノード間のデータ転送を一旦停止する必要があり、ノード間通信を用いて複数ノードで実行していたマルチノードＪＯＢがアボートしてしまうという問題点がある。

また、従来のマルチノードコンピュータシステムでは、上記の問題点によって、ＩＸＳの切替えが発生した場合に、ユーザがアボートしたマルチノードＪＯＢを再実行しなければならず、復旧に人手を要し、手間がかかってしまうという問題点がある。

そこで、本発明の目的は上記の問題点を解消し、ＩＸＳの切替えが発生した時にユーザによるマルチノードＪＯＢの再実行を不要とすることができるマルチノードコンピュータシステム、統合サービスプロセッサ及びそれらに用いる多重化制御方法並びにそのプログラムを提供することにある。

本発明によるマルチノードコンピュータシステムは、複数のノードが、多重化された複数のノード間クロスバスイッチを介して相互に接続され、運用系のノード間クロスバスイッチに訂正不可能障害が発生した場合に待機系のノード間クロスバスイッチを運用系に切替えるマルチノードコンピュータシステムであって、
前記複数のノード間クロスバスイッチを制御する統合サービスプロセッサと、前記複数のノード各々を制御する複数のノードサービスプロセッサとを備え、
前記統合サービスプロセッサは、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した場合に前記ノードサービスプロセッサを介して前記ノード間クロスバスイッチの運用系／待機系の切替えを「運用系／待機系」の状態から「運用系／運用系」の状態に変更した後に「待機系／運用系」の状態に変更し、
前記運用系のノード間クロスバスイッチに訂正可能障害が発生した段階で前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行い、前記訂正可能障害が発生したノード間クロスバスイッチの保守を行っている。

本発明による統合サービスプロセッサは、複数のノードが、多重化された複数のノード間クロスバスイッチを介して相互に接続され、運用系のノード間クロスバスイッチに訂正不可能障害が発生した場合に待機系のノード間クロスバスイッチを運用系に切替えるマルチノードコンピュータシステムにおいて前記複数のノード間クロスバスイッチを制御する統合サービスプロセッサであって、
前記運用系のノード間クロスバスイッチに訂正可能障害が発生した場合に前記複数のノード各々を制御する複数のノードサービスプロセッサを介して前記ノード間クロスバスイッチの運用系／待機系の切替えを「運用系／待機系」の状態から「運用系／運用系」の状態に変更した後に「待機系／運用系」の状態に変更する制御手段を備え、
前記制御手段は、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した段階で前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行っている。

本発明による多重化制御方法は、複数のノードが、多重化された複数のノード間クロスバスイッチを介して相互に接続され、運用系のノード間クロスバスイッチに訂正不可能障害が発生した場合に待機系のノード間クロスバスイッチを運用系に切替えるマルチノードコンピュータシステムに用いる多重化制御方法であって、
前記複数のノード間クロスバスイッチを制御する統合サービスプロセッサが、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した場合に前記複数のノード各々を制御する複数のノードサービスプロセッサを介して前記ノード間クロスバスイッチの運用系／待機系の切替えを「運用系／待機系」の状態から「運用系／運用系」の状態に変更した後に「待機系／運用系」の状態に変更する処理を実行し、
前記統合サービスプロセッサが、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した段階で前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行っている。

本発明によるプログラムは、複数のノードが、多重化された複数のノード間クロスバスイッチを介して相互に接続され、運用系のノード間クロスバスイッチに訂正不可能障害が発生した場合に待機系のノード間クロスバスイッチを運用系に切替えるマルチノードコンピュータシステムにおいて前記複数のノード間クロスバスイッチを制御する統合サービスプロセッサに実行させるプログラムであって、
前記運用系のノード間クロスバスイッチに訂正可能障害が発生した場合に前記複数のノード各々を制御する複数のノードサービスプロセッサを介して前記ノード間クロスバスイッチの運用系／待機系の切替えを「運用系／待機系」の状態から「運用系／運用系」の状態に変更した後に「待機系／運用系」の状態に変更する処理を含み、
前記統合サービスプロセッサが、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した段階で前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行わせることを特徴とする。

すなわち、本発明の多重化ノード間クロスバスイッチの多重化制御方法は、複数のノードが、多重化された複数のノード間クロスバスイッチ［以下、ＩＸＳ（Ｉｎｔｅｒｎｏｄｅ Ｃｒｏｓｓｂａｒ Ｓｗｉｔｃｈ）とする］を介して相互に接続される大規模マルチノードコンピュータシステム（例えば、スーパーコンピュータ等）において、ＩＸＳを制御する統合サービスプロセッサ［以下、統合ＳＶＰ（ＳｅｒＶｉｃｅ Ｐｒｏｃｅｓｓｏｒ）とする］と各ノードを制御する複数のノードサービスプロセッサ（以下、ノードＳＶＰとする）とを有し、運用状態のＩＸＳ（以下、この状態を運用系とする）以外に、待機状態のＩＸＳ（以下、この状態を待機系とする）を設けることでＩＸＳを多重化し、運用系のＩＸＳに障害が発生した場合に待機系のＩＸＳを運用系に切替えてシステムダウンを防止する、ＩＸＳの多重化制御方法に関するものである。

本発明の多重化ノード間クロスバスイッチの多重化制御方法では、運用系のＩＸＳに訂正可能障害（軽障害）が発生した段階で、ＩＸＳの状態を切替え、保守することによって、訂正可能障害に続いて発生する可能性が高い、重障害の発生を未然に防止することが可能となる（これを特長１とする）。

また、本発明の多重化ノード間クロスバスイッチの多重化制御方法では、統合ＳＶＰ、ノードＳＶＰを介して、ＩＸＳの運用系／待機系の切替えを「運用系／待機系」の状態から一旦、「運用系／運用系」の状態に変更し、その後「待機系／運用系」の状態に変更する、二段階の状態変更で行うことによって、従来のシステムに存在していた、ＩＸＳ切替え時に運用中のマルチノードＪＯＢがアボートしてしまい、ＩＸＳ切替え後にユーザによるＪＯＢの再実行が必要であるという問題点を解決することが可能となる（これを特長２とする）。

尚、本発明の多重化ノード間クロスバスイッチの多重化制御方法では、従来のシステムが、運用系のＩＸＳに訂正不可能障害（重障害）が発生した場合のみを対象としたものであるのに対し、運用系のＩＸＳに訂正可能障害（軽障害）が発生した場合を対象とすることによって、上記の特長１及び特長２によって、ＩＸＳ障害に対して、より安定した運用が可能なマルチノードシステムを提供することが可能となる。よって、本発明の多重化ノード間クロスバスイッチの制御方法では、運用系のＩＸＳに訂正可能障害が発生した場合において、上述した問題点を解決することが可能となる。

本発明は、上記のような構成及び動作とすることで、ＩＸＳの切替えが発生した時にユーザによるマルチノードＪＯＢの再実行を不要とすることができるという効果が得られる。

次に、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態によるマルチノードコンピュータシステムの構成例を示すブロック図である。図１において、本発明の実施の形態によるマルチノードコンピュータシステムでは、ＩＸＳ（Ｉｎｔｅｒｎｏｄｅ Ｃｒｏｓｓｂａｒ Ｓｗｉｔｃｈ：ノード間クロスバスイッチ）を二重化しているが、ＩＸＳの数を２つに限定するものではなく、同様の原理・方法に基づくものであれば、より冗長性を持たせたＩＸＳの数が３つ以上の構成にも適用することが可能である。

本発明の実施の形態によるマルチノードコンピュータシステムでは、ＩＸＳ（＃０）４０とＩＸＳ（＃１）４１との二重化されたＩＸＳを介して、ノード（＃０〜＃ｍ）３０〜３ｍの複数のノードがデータ転送パス６００によって接続されている。また、ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１にはＩＸＳを管理・制御する統合ＳＶＰ（ＳｅｒＶｉｃｅ Ｐｒｏｃｅｓｓｏｒ：サービスプロセッサ）２が接続され、ノード（＃０〜＃ｍ）３０〜３ｍにはノードを管理・制御するためのＳＶＰであるノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎが接続されている。ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎと統合ＳＶＰ２とはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）５００を介して接続され、互いに通信することが可能である。

ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１は障害通知手段４０１，４１１を備え、統合ＳＶＰ２はＳＶＰ−ＳＶＰ間通信手段２１と、ＩＸＳ制御手段２２と、ＩＸＳ正常性判定手段２３と、障害判別手段２４とを備えている。ノード（＃０〜＃ｍ）３０〜３ｍはＩＸＳ接続ポート部３０１〜３ｍ１と、ＩＸＳ診断手段３０２〜３ｍ２とを備え、ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎはノード制御手段１０１〜１ｎ１と、ＳＶＰ−ＳＶＰ間通信手段１０２〜１ｎ２とを備えている。

統合ＳＶＰ２のＳＶＰ−ＳＶＰ間通信手段２１及びノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎのＳＶＰ−ＳＶＰ間通信手段１０２〜１ｎ２によって、統合ＳＶＰ２とノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎはＬＡＮ５００を介して互いに通信することができる。また、統合ＳＶＰ２はＩＸＳ制御手段２２によってＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１を制御することができ、運用系／待機系の状態変更やシステムへの組み込み／縮退の操作等、様々な制御を行うことができる。

ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎはノード制御手段１０１〜１ｎ１によって、それぞれのノードＳＶＰが制御対象とするノードを制御することができ、システムの資源［ＣＰＵ（中央処理装置）やメモリ等］の制御やＩＸＳとの接続の接点であるＩＸＳ接続ポート部３０１〜３ｍ１を制御し、各ノード（＃０〜＃ｍ）３０〜３ｍとＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１との接続を個別に有効／無効に変更することができる。

ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１は障害通知手段４０１，４１１によって、障害発生時に統合ＳＶＰ２に通知を行う。統合ＳＶＰ２の障害判別手段２４はＩＸＳで発生し、通知された障害が訂正可能障害（軽障害）なのか、訂正不可能障害（重障害）なのかを判別するための手段である。ＩＸＳ正常性判定手段２３、ＩＸＳ診断手段３０２〜３ｍ２はＩＸＳの切替えにおいて、正常性の確認の取れていない待機系から運用系に変更したＩＸＳの正常性を診断するための手段である。

各ノード（＃０〜＃ｍ）３０〜３ｍでＩＸＳ診断手段３０２〜３ｍ２によって、当該ＩＸＳの診断を行い、ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎを介して統合ＳＶＰ２に通知し、当該ＩＸＳの正常性を統合ＳＶＰ２のＩＸＳ正常性判定手段２３が判断するものである。

図２は本発明の実施の形態によるＩＸＳの状態変更の概念を示す図である。これら図１及び図２を参照して本発明の実施の形態によるマルチノードコンピュータシステムの動作について説明する。以下の説明では、はじめ、ＩＸＳ（＃０）４０が運用系、ＩＸＳ（＃１）４１が待機系として運用中に、運用系のＩＸＳ（＃０）４０に訂正可能障害が発生したものとする。また、ノード（＃０〜＃ｍ）３０〜３ｍのＩＸＳ接続ポート部３０１〜３ｍ１は運用系のＩＸＳのみとの接続が有効になるように制御されており、はじめ、運用系のＩＸＳ（＃０）４０との接続が有効、待機系のＩＸＳ（＃１）４１との接続が無効になっているものとする。尚、ＩＸＳ（＃１）４１が運用系、ＩＸＳ（＃０）４０が待機系で、運用系のＩＸＳ（＃１）４１に訂正可能障害が発生した場合にはＩＸＳ（＃０）４０とＩＸＳ（＃１）４１とが逆になるが、同様の動作となるため、その説明を省略する。

訂正可能障害が発生したＩＸＳ（＃０）４０は障害通知手段４０１によって、発生した障害を統合ＳＶＰ２に通知する。ＩＸＳ（＃０）４０からの障害通知を受けた統合ＳＶＰ２は障害判別手段２４によって、ＩＸＳ（＃０）で発生した障害が訂正可能障害（軽障害）か、訂正不可能障害（重障害）かを判別する。統合ＳＶＰ２は発生した障害が訂正可能障害の場合に以下に示す２段階の状態変更によるＩＸＳの切替え動作を行う。このＩＸＳの状態変更の概念を図２に示す。

統合ＳＶＰ２はＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１の状態を（ＩＸＳ＃０：運用系、ＩＸＳ＃１：待機系）から（ＩＸＳ＃０：運用系、ＩＸＳ＃１：運用系）に一時的に変更する。そして、統合ＳＶＰ２はＩＸＳ（＃１）４１の正常性を確認した後、接続しているノードとの同期をとりながらＩＸＳの状態を（ＩＸＳ＃０：待機系，ＩＸＳ＃１：運用系）の状態に変更する。

本発明の実施の形態では、上記の状態変更を次のように実現する。統合ＳＶＰ２はＩＸＳ制御手段２２によって、ＩＸＳ（＃１）４１を待機系から運用系に状態変更をさせる。また、統合ＳＶＰ２はＳＶＰ−ＳＶＰ間通信手段２１を用いて、全ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎに対して、各ノード（＃０〜＃ｍ）３０〜３ｍのＩＸＳ（＃１）４１との接続を無効から有効に変更するように指示を出す。

ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎはその指示をＳＶＰ−ＳＶＰ間通信手段１０２〜１ｎ２によって受けると、それぞれの制御対象のノード（＃０〜＃ｍ）３０〜３ｍに対して、ノード制御手段１０１〜１ｎ１によって各ノード（＃０〜＃ｍ）３０〜３ｍのＩＸＳ接続ポート部３０１〜３ｍ１のＩＸＳ（＃１）４１の接続を無効から有効に変更する。この時点で、本発明の実施の形態によるマルチノードコンピュータシステムは（ＩＸＳ＃０：運用系，ＩＸＳ＃１：運用系）に状態変更し、ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１の両ＩＸＳを使用しての運用となる。

ところで、ＩＸＳ（＃１）４１はもともと待機系であったため、使用されておらず、ケーブルを含むノード間通信の正常性の確認ができていない。そこで、各ノード（＃０〜＃ｍ）３０〜３ｍはＩＸＳ診断手段３０２〜３ｍ２によって、ＩＸＳ（＃１）４１の正常性を診断する。診断の結果は各ノード（＃０〜＃ｍ）３０〜３ｍから統合ＳＶＰ２にノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎを介して報告される。

統合ＳＶＰ２はＩＸＳ正常性判定手段２３によって、各ノード（＃０〜＃ｍ）３０〜３ｍから報告されたＩＸＳ（＃１）４１の診断結果を確認し、ＩＸＳ（＃１）４１が正常か否かを判断する。ＩＸＳ（＃１）４１が正常と判断できる場合、統合ＳＶＰ２はＩＸＳ制御手段２２によって、ＩＸＳ（＃０）４０を運用系から待機系に変更するとともに、ＳＶＰ−ＳＶＰ間通信手段２１を用いて、全ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎに対して、各ノード（＃０〜＃ｍ）３０〜３ｍのＩＸＳ（＃０）４０への接続を有効から無効に変更するように指示する。

この指示を受けたノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎはノード制御手段１０１〜１ｎ１によって、各ノード（＃０〜＃ｍ）３０〜３ｍのＩＸＳ接続ポート部３０１〜３ｍ１におけるＩＸＳ（＃０）４０との接続を有効から無効に変更する。

上記の処理によって、本発明の実施の形態によるマルチノードコンピュータシステムは（ＩＸＳ＃０：待機系、ＩＸＳ＃１：運用系）に変更される。尚、診断の結果、ＩＸＳ（＃１）４１に異常が見つかった場合にはＩＸＳの切替えを中止し、初期の状態（ＩＸＳ＃０：運用系、ＩＸＳ＃１：待機系）に戻す。この場合、ＩＸＳ（＃０）４０で発生した障害は訂正可能障害のため、システムの運用は継続可能である。

このように、本発明の実施の形態では、上述した２段階の状態変更を介して、ノード（＃０〜＃ｍ）３０〜３ｍとＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１との同期を取りながら、ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１の切替えを行うことによって、ノード（＃０〜＃ｍ）３０〜３ｍとＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１との間の接続（論理パス）を保ったまま、ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１の切替えを行うことができる。その結果、ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１を介したノード（＃０〜＃ｍ）３０〜３ｍ間のデータ転送をＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１の切替え時に停止する必要がなくなり、従来の課題であったＩＸＳ切替え時に実行中のマルチノードＪＯＢがアボートしてしまい、マルチノードＪＯＢを再実行しなければならないという問題を解決することができる（上記の特長２）。

また、訂正不可能障害（重障害）の発生は訂正可能障害（軽障害）を兆候として発生する傾向があり、本発明の実施の形態によって訂正可能障害（軽障害）発生の段階でＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１の切替えを行い、切替え後のＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１を保守することによって、訂正可能障害（軽障害）に続いて発生する可能性のある訂正不可能障害（重障害）の発生を未然に防止することができる（上記の特長１）。

尚、ＩＸＳ（＃０）４０で発生した障害が訂正不可能障害（重障害）の場合には、別途、従来の技術によるＩＸＳ切替えが行われ、システムダウンとなるのを回避する動作を行うが、本発明の実施の形態ではＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１に訂正可能障害が発生した場合を対象としているので、そのＩＸＳ切替えについての説明は省略する。

また、各ノード（＃０〜＃ｍ）３０〜３ｍのＩＸＳ診断手段３０２〜３ｍ２は、上述したＩＸＳ切替えの際でのみ動作するものである。これは本発明の実施の形態の対象であるスーパーコンピュータ等のマルチノードシステムにおいてシステムの高速性が要求されるため、運用中に性能のオーバーヘッドとなるような処理を極力行わないようにするためである。

図３は本発明の一実施例によるマルチノードコンピュータシステムの構成を示すブロック図である。図１において、本発明の一実施例によるマルチノードコンピュータシステムは、２重化されたＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１を介して複数のノード（＃０〜＃ｍ）３０〜３ｍがデータ転送パス６００で接続された大規模マルチノードコンピュータシステムであり、ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１を管理・制御する統合ＳＶＰ２と、ノード（＃０〜＃ｍ）３０〜３ｍを管理・制御する複数のノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎとを備えており、統合ＳＶＰ２とノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎとはＬＡＮ５００によって接続されている。

ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１は障害通知手段４０１，４１１を備え、統合ＳＶＰ２はＳＶＰ−ＳＶＰ間通信手段２１と、ＩＸＳ制御手段２２と、ＩＸＳ正常性判定手段２３と、障害判別手段２４とを備えている。また、ノード（＃０〜＃ｍ）３０〜３ｍはＩＸＳ接続ポート部３０１〜３ｍ１と、ポートデータ検証手段３０３〜３ｍ３とを備え、ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎはノード制御手段１０１〜１ｍ１と、ＳＶＰ−ＳＶＰ間通信手段１０２〜１ｎ２とを備えている。

ポートデータ検証手段３０３〜３ｍ３は正常性の確認ができていない待機系から運用系に変更するＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１の正常性を確認するための手段であり、上述した本発明の実施の形態におけるＩＸＳ診断手段３０２〜３ｍ２（図１参照）を具体化したものである。尚、図３に示す他の構成手段については、上述した図１に示す本発明の実施の形態と同様であるため、それらの動作についての説明は省略する。

ＩＸＳに訂正可能障害が発生した際に、本実施例ではＩＸＳの切替えを「運用系／待機系」状態から一旦「運用系／運用系」の状態に遷移させ、その後「待機系／運用系」の状態に遷移させることで行うが、はじめ待機系であったＩＸＳは使用されておらず、ケーブルを含むノード間通信の正常性が確認できていない。

一方、訂正可能障害が発生した運用系のＩＸＳはハードウェア（ＨＷ）によってエラーが訂正されるため、ノードに伝送されるデータは正しいものとなる。そこで、「運用系／運用系」の状態において、各ノード（＃０〜＃ｍ）３０〜３ｍはポートデータ検証手段３０３〜３ｍ３によって、ＩＸＳ接続ポート部３０１〜３ｍ１に接続されたＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１の両方から受け取るデータを一定時間比較し、同一かどうかを確認する。データが一致する場合には待機系であったＩＸＳが正常であり、不一致が発生した場合には異常があると判断することができる。

一定時間の間に異常を検出した場合、異常を検出したノード（＃０〜＃ｍ）３０〜３ｍはノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎを経由して統合ＳＶＰ２へアラームをあげる。統合ＳＶＰ２はＩＸＳ正常性判定手段２３によって、ＩＸＳを「運用系／運用系」の状態に遷移させてから一定時間内に上記のアラームを受信していないかどうかによって、待機系から運用系に遷移させたＩＸＳの正常性を判断する。

そして、正常性が確認できた場合、統合ＳＶＰ２は訂正可能障害が発生した運用系のＩＸＳを待機系に変更することで、ＩＸＳの状態を「待機系／運用系」の状態に遷移させ、はじめ待機系であったＩＸＳのみに切替えての運用に移る。また、待機系であったＩＸＳに異常があると判断できた場合、統合ＳＶＰ２はＩＸＳの状態を初期の「運用系／待機系」の状態に戻し、ＩＸＳの切替えを中止する。ポートデータ検証手段３０３〜３ｍ３は運用中に動作してしまうと性能面でのオーバーヘッドとなってしまうため、上述したＩＸＳの状態が「運用系／運用系」の状態での待機系から運用系に変更したＩＸＳの正常性を確認する一定時間のみ動作するものである。

図４〜図７は本発明の一実施例によるマルチノードコンピュータシステムの動作を示すシーケンスチャートである。これら図３〜図７を参照して本発明の一実施例によるマルチノードコンピュータシステムの動作について説明する。尚、図４及び図６における統合ＳＶＰ２の処理は、統合ＳＶＰ２が図示せぬ記録媒体に格納されたプログラムを実行することで実現される。

以下の説明では、はじめ、ＩＸＳ（＃０）４０が運用系、ＩＸＳ（＃１）４１が待機系として運用中に、運用系のＩＸＳ（＃０）４０に訂正可能障害が発生したものとする。また、ノード（＃０〜＃ｍ）３０〜３ｍのＩＸＳ接続ポート部３０１〜３ｍ１は運用系のＩＸＳのみとの接続が有効になるように制御されており、はじめ、運用系のＩＸＳ（＃０）４０との接続が有効、待機系のＩＸＳ（＃１）４１との接続が無効になっているものとする。尚、ＩＸＳ（＃１）４１が運用系、ＩＸＳ（＃０）４０が待機系で、運用系のＩＸＳ（＃１）４１に訂正可能障害が発生した場合、上記とはＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１の関係が逆になるが、同様の動作となるため、それらの動作についての説明は省略する。

訂正可能障害が発生したＩＸＳ（＃０）４０は障害通知手段４０１によって、統合ＳＶＰ２に訂正可能障害の発生を通知する（図４のステップｂ１）。その通知を受けた統合ＳＶＰ２は障害判定手段２４によって、ＩＸＳ（＃０）４０で発生した障害が訂正可能障害であると認識し、以降のＩＸＳの切替え処理を開始する（図４のステップａ１）。

統合ＳＶＰ２はＩＸＳ制御手段２２によって、ＩＸＳ（＃１）４１の状態を待機系から運用系に変更する（図４のステップａ２，ステップｃ１）。次に、統合ＳＶＰ２はＳＶＰ−ＳＶＰ間通信手段２１によって、全ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎに各ノード（＃０〜＃ｍ）３０〜３ｍのＩＸＳ接続状態の変更［ＩＸＳ（＃１）４１との接続状態を無効から有効とする］を指示する（図５のステップａ３）。

ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎはＳＶＰ−ＳＶＰ間通信手段１０２〜１ｎ２によって、統合ＳＶＰ２からの前記指示を受信すると（図５のステップｄ１）、ノード制御手段１０１〜１ｎ１によって、それぞれが制御対象としているノード（＃０〜＃ｍ）３０〜３ｍに対してＩＸＳ接続状態の変更［ＩＸＳ（＃１）４１との接続状態を無効から有効とする］を指示する（図５のステップｄ２）。

各ノード（＃０〜＃ｍ）３０〜３ｍはノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎからの指示によって、ＩＸＳ接続ポート部３０１〜３ｍ１におけるＩＸＳとの接続状態を変更する［ＩＸＳ（＃１）４１との接続状態を無効から有効とする］（図５のステップｅ１）。この時点で、ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１は共に運用系となり、各ノード間の通信はＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１の両方から同じデータを受信して行われるようになる。

この状態で、各ノード（＃０〜＃ｍ）３０〜３ｍはポートデータ検証手段３０２〜３ｍ２によって、一定時間、ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１からの受信データを比較する（図５のステップｅ２）。データの不一致があった場合には（図５のステップｅ３でＹＥＳ）、ＩＸＳ（＃１）４１に異常が認められたことになり、データの不一致を検出したノードが当該ノードを制御しているノードＳＶＰにアラームを送信する（図５のステップｅ４）。データの不一致が発生しなかった場合には（図５のステップｅ３でＮＯ）、ＩＸＳ（＃１）４１の正常性が確認されたことになり、特にノードはここでは何もしない。

ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎは自身が制御しているノードより、ＩＸＳ（＃１）４１の異常を示すアラームを受信した場合には（図５のステップｄ３でＹＥＳ）、そのアラームをノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎのＳＶＰ−ＳＶＰ間通信手段１０２〜１ｎ２によって、統合ＳＶＰ２に送信する（図５のステップｄ４）。ノードからアラームを受信しない場合（図５のステップｄ３でＮＯ）、ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎは特に何もしない。

統合ＳＶＰ２は上記のステップａ３の処理の後、ＩＸＳ正常性判定手段２３によって、ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎ経由で上がってくるノードからのアラームの受信待ちを行う（図４のステップａ４）。アラームを受信した場合（図４のステップａ５でＹＥＳ）、統合ＳＶＰ２はＩＸＳ正常性判定手段２３によって、ＩＸＳ（＃１）４１に異常があると判断し、ＩＸＳの状態とノードにおけるＩＸＳとの接続状態を初期状態に戻す状態戻し処理を行う。この状態戻し処理については後述する。

ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎ経由でノードからのアラームを受信しなかった場合（図４のステップａ５でＮＯ）、統合ＳＶＰ２はＩＸＳ正常性判定手段２３によって、ＩＸＳ（＃１）４１はケーブルを含むノード間通信の正常性が確認できたと判断し、以降でＩＸＳ（＃１）４１のみの運用に切替える。統合ＳＶＰ２はＩＸＳ制御手段２２によって、ＩＸＳ（＃０）４０の状態を運用系から待機系に変更する（図６のステップａ６、ステップｂ２）。

また、統合ＳＶＰ２はＳＶＰ−ＳＶＰ間通信手段２１によって、全ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎへ各ノード（＃０〜＃ｍ）３０〜３ｍのＩＸＳ接続状態の変更［ＩＸＳ（＃０）４０の接続を有効から無効に変更］を指示する（図６のステップａ７）。各ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎはＳＶＰ−ＳＶＰ間通信手段１０２〜１ｎ２によって、統合ＳＶＰ２からの指示を受信すると（図７のステップｄ５）、ノード制御手段１０１〜１ｎ１によって、制御対象の全ノード（＃０〜＃ｍ）３０〜３ｍにおけるＩＸＳ（＃０）４０の接続状態を有効から無効に変更するよう制御する（図７のステップｄ６）。

上記の処理によって、全ノード（＃０〜＃ｍ）３０〜３ｍはＩＸＳ接続ポート部３０１〜３ｍ１のＩＸＳ（＃０）４０の接続状態を無効に変更する（図７のステップｅ５）。

上述した処理によって、ＩＸＳ（＃０）４０及びＩＸＳ（＃１）４１の切替えが完了し、以後、各ノード（＃０〜＃ｍ）３０〜３ｍは、はじめ待機系であったＩＸＳ（＃１）４１を使用してノード間通信を行う。また、待機系に変更されたＩＸＳ（＃０）４０に対しては予防保守を行う。これによって、本実施例では、訂正可能障害に続いて発生する可能性がある訂正不可能障害が発生するのを未然に防止することができる。

次に、図４のステップａ５において、統合ＳＶＰ２がノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎ経由でノードからアラームを受信した場合（図４のステップａ５でＹＥＳ）に実行される、状態戻し処理について説明する。統合ＳＶＰ２はＩＸＳ正常性判定手段２３によって、受信したアラームからＩＸＳ（＃１）４１に異常があると判断し、ＩＸＳ（＃１）４１単独での運用ができないことを認識する。そして、統合ＳＶＰ２はＩＸＳの切替えを中止し、ＩＸＳの状態を元の状態（ＩＸＳ＃０：運用系、ＩＸＳ＃１：待機系）に戻す処理を行う。この場合、ＩＸＳ（＃０）４０で発生した障害は訂正可能障害であり、ＩＸＳ（＃０）４０のエラーは訂正されるため、ＩＸＳ（＃０）４０を使用した継続運用は可能である。

統合ＳＶＰ２はＩＸＳ制御手段２２によって、ＩＸＳ（＃１）４１の状態を運用系から待機系に戻す（図６のステップａ８、ステップｃ２）。次に、統合ＳＶＰ２はＳＶＰ−ＳＶＰ間通信手段２１によって、全ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎへ全ノード（＃０〜＃ｍ）３０〜３ｍのＩＸＳとの接続状態の変更［ＩＸＳ（＃１）４１との接続状態を有効から無効に変更］を指示する（図６のステップａ９）。

各ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎはＳＶＰ−ＳＶＰ間通信手段１０２〜１ｎ２によって、統合ＳＶＰ２からの指示を受信すると（図７のステップｄ７）、ノード制御手段１０１〜１ｎ１によって、制御対象の全ノード（＃０〜＃ｍ）３０〜３ｍのＩＸＳ接続状態を変更［ＩＸＳ（＃１）４１との接続状態を有効から無効に変更］するように各ノード（＃０〜＃ｍ）３０〜３ｍに指示する（図７のステップｄ８）。

ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎからの指示によって、各ノード（＃０〜＃ｍ）３０〜３ｍはＩＸＳ接続ポート部３０１〜３ｍ１におけるＩＸＳ（＃１）４１との接続状態を有効から無効に変更する（図７のステップｅ６）。

上記の処理によって、本実施例では、初期状態への状態戻し処理が完了し、各ノード（＃０〜＃ｍ）３０〜３ｍが、訂正可能障害が発生したが、エラー訂正によって継続運用可能なＩＸＳ（＃０）４０を使用してノード間通信を行うようになる。尚、異常を検出して切替えができなかった待機系のＩＸＳ（＃１）４１は速やかに保守・修理を行い、次回のＩＸＳ切替えが発生した場合に正常に動作できるようにしておく。

このように、本実施例では、多重化されているＩＸＳ切替え時に実行中のマルチノードＪＯＢがアボートしてしまい、ＩＸＳ切替え後にユーザによるＪＯＢの再実行が必要であるという従来のシステムの問題を解決し、ＩＸＳの切替えが発生した時にユーザによるマルチノードＪＯＢの再実行を不要とすることができる。

これは、ＩＸＳの切替えを訂正不可能障害（重障害）が発生する兆候として、事前に発生する可能性の高い、訂正可能障害（軽障害）が発生した段階で行い、統合ＳＶＰ２、ノードＳＶＰ（＃０〜＃ｎ）１０〜１ｎを介して、ＩＸＳの状態の切替えを「運用系／待機系」の状態から一旦、「運用系／運用系」の状態に変更し、その後「待機系／運用系」の状態に変更するという二段階の状態変更で行うことによって、ＩＸＳ切替え時にマルチノードＪＯＢがアボートすることを防ぐことができるためである。

但し、本実施例は訂正不可能障害（重障害）の兆候として発生する可能性の高い、訂正可能障害（軽障害）を対象としたものであるため、訂正可能障害が発生せずに、突然、訂正不可能障害（重障害）が発生するようなケースにおいては上記の処理方法を適用することができない。しかしながら、訂正不可能障害（重障害）の兆候として訂正可能障害（軽障害）が発生する可能性は高く、本実施例の効果によって、十分にユーザの手間を削減し、システムの稼働率を向上させることができる。

また、本実施例では、システムに訂正不可能障害（重障害）が発生することを未然に防止することができ、ＩＸＳ障害に対してより安定した運用が可能なマルチノードシステムを提供することができる。

これは、運用系のＩＸＳに訂正可能障害（軽障害）が発生した段階で、ＩＸＳの状態を切替えて保守することによって、訂正可能障害に続いて発生する可能性が高い、訂正不可能障害（重障害）の発生を未然に防止することができるためである。

本発明は、科学技術計算分野等で計算性能が要求されるスーパーコンピュータ等のノード間クロスバスイッチを用いて実現される大規模マルチノード構成のコンピュータシステムに適用可能である。

本発明の実施の形態によるマルチノードコンピュータシステムの構成例を示すブロック図である。 本発明の実施の形態によるＩＸＳの状態変更の概念を示す図である。 本発明の一実施例によるマルチノードコンピュータシステムの構成を示すブロック図である。 本発明の一実施例によるマルチノードコンピュータシステムの動作を示すシーケンスチャートである。 本発明の一実施例によるマルチノードコンピュータシステムの動作を示すシーケンスチャートである。 本発明の一実施例によるマルチノードコンピュータシステムの動作を示すシーケンスチャートである。 本発明の一実施例によるマルチノードコンピュータシステムの動作を示すシーケンスチャートである。 従来のシステムの問題点の概念を示す図である。

符号の説明

２ 統合ＳＶＰ
１０〜１ｎ ノードＳＶＰ（＃０〜＃ｎ）
２１，１０２〜１ｎ２ ＳＶＰ−ＳＶＰ間通信手段
２２ ＩＸＳ制御手段
２３ ＩＸＳ正常性判定手段
２４ 障害判別手段
３０〜３ｍ ノード（＃０〜＃ｍ）
４０ ＩＸＳ（＃０）
４１ ＩＸＳ（＃１）
１０１〜１ｎ１ ノード制御手段
３０１〜３ｍ１ ＩＸＳ接続ポート部
３０２〜３ｍ２ ＩＸＳ診断手段
３０３〜３ｍ３ ポートデータ検証手段
４０１，４１１ 障害通知手段
５００ ＬＡＮ
６００ データ転送パス

Claims (13)

1. 複数のノードが、多重化された複数のノード間クロスバスイッチを介して相互に接続され、運用系のノード間クロスバスイッチに訂正不可能障害が発生した場合に待機系のノード間クロスバスイッチを運用系に切替えるマルチノードコンピュータシステムであって、
   前記複数のノード間クロスバスイッチを制御する統合サービスプロセッサと、前記複数のノード各々を制御する複数のノードサービスプロセッサとを有し、
   前記統合サービスプロセッサは、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した場合に前記ノードサービスプロセッサを介して前記ノード間クロスバスイッチの運用系／待機系の切替えを「運用系／待機系」の状態から「運用系／運用系」の状態に変更した後に「待機系／運用系」の状態に変更し、
   前記運用系のノード間クロスバスイッチに訂正可能障害が発生した段階で前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行い、前記訂正可能障害が発生したノード間クロスバスイッチの保守を行うことを特徴とするマルチノードコンピュータシステム。
2. 前記統合サービスプロセッサは、前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行う際に、前記ノードサービスプロセッサを介して前記複数のノード各々の前記複数のノード間クロスバスイッチとの接続情報の有効／無効を制御することを特徴とする請求項１記載のマルチノードコンピュータシステム。
3. 前記統合サービスプロセッサは、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した際に前記待機系のノード間クロスバスイッチの正常性を確認し、前記待機系のノード間クロスバスイッチを正常と判定した時に前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行うことを特徴とする請求項１または請求項２記載のマルチノードコンピュータシステム。
4. 前記統合サービスプロセッサは、前記待機系のノード間クロスバスイッチを正常と判定した時に前記ノード間クロスバスイッチを前記訂正可能障害の発生前の状態に戻すことを特徴とする請求項３記載のマルチノードコンピュータシステム。
5. 複数のノードが、多重化された複数のノード間クロスバスイッチを介して相互に接続され、運用系のノード間クロスバスイッチに訂正不可能障害が発生した場合に待機系のノード間クロスバスイッチを運用系に切替えるマルチノードコンピュータシステムにおいて前記複数のノード間クロスバスイッチを制御する統合サービスプロセッサであって、
   前記運用系のノード間クロスバスイッチに訂正可能障害が発生した場合に前記複数のノード各々を制御する複数のノードサービスプロセッサを介して前記ノード間クロスバスイッチの運用系／待機系の切替えを「運用系／待機系」の状態から「運用系／運用系」の状態に変更した後に「待機系／運用系」の状態に変更する制御手段を有し、
   前記制御手段は、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した段階で前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行うことを特徴とする統合サービスプロセッサ。
6. 前記制御手段は、前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行う際に、前記ノードサービスプロセッサを介して前記複数のノード各々の前記複数のノード間クロスバスイッチとの接続情報の有効／無効を制御することを特徴とする請求項５記載の統合サービスプロセッサ。
7. 前記運用系のノード間クロスバスイッチに訂正可能障害が発生した際に前記待機系のノード間クロスバスイッチの正常性を確認する手段を含み、
   前記制御手段は、前記待機系のノード間クロスバスイッチが正常と判定された時に前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行うことを特徴とする請求項５または請求項６記載の統合サービスプロセッサ。
8. 前記制御手段は、前記待機系のノード間クロスバスイッチが正常と判定された時に前記ノード間クロスバスイッチを前記訂正可能障害の発生前の状態に戻すことを特徴とする請求項７記載の統合サービスプロセッサ。
9. 複数のノードが、多重化された複数のノード間クロスバスイッチを介して相互に接続され、運用系のノード間クロスバスイッチに訂正不可能障害が発生した場合に待機系のノード間クロスバスイッチを運用系に切替えるマルチノードコンピュータシステムに用いる多重化制御方法であって、
   前記複数のノード間クロスバスイッチを制御する統合サービスプロセッサが、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した場合に前記複数のノード各々を制御する複数のノードサービスプロセッサを介して前記ノード間クロスバスイッチの運用系／待機系の切替えを「運用系／待機系」の状態から「運用系／運用系」の状態に変更した後に「待機系／運用系」の状態に変更する処理を実行し、
   前記統合サービスプロセッサが、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した段階で前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行うことを特徴とする多重化制御方法。
10. 前記統合サービスプロセッサが、前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行う際に、前記ノードサービスプロセッサを介して前記複数のノード各々の前記複数のノード間クロスバスイッチとの接続情報の有効／無効を制御することを特徴とする請求項９記載の多重化制御方法。
11. 前記統合サービスプロセッサが、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した際に前記待機系のノード間クロスバスイッチの正常性を確認し、前記待機系のノード間クロスバスイッチを正常と判定した時に前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行うことを特徴とする請求項９または請求項１０記載の多重化制御方法。
12. 前記統合サービスプロセッサが、前記待機系のノード間クロスバスイッチを正常と判定した時に前記ノード間クロスバスイッチを前記訂正可能障害の発生前の状態に戻すことを特徴とする請求項１１記載の多重化制御方法。
13. 複数のノードが、多重化された複数のノード間クロスバスイッチを介して相互に接続され、運用系のノード間クロスバスイッチに訂正不可能障害が発生した場合に待機系のノード間クロスバスイッチを運用系に切替えるマルチノードコンピュータシステムにおいて前記複数のノード間クロスバスイッチを制御する統合サービスプロセッサに実行させるプログラムであって、
    前記運用系のノード間クロスバスイッチに訂正可能障害が発生した場合に前記複数のノード各々を制御する複数のノードサービスプロセッサを介して前記ノード間クロスバスイッチの運用系／待機系の切替えを「運用系／待機系」の状態から「運用系／運用系」の状態に変更した後に「待機系／運用系」の状態に変更する処理を含み、
    前記統合サービスプロセッサが、前記運用系のノード間クロスバスイッチに訂正可能障害が発生した段階で前記ノード間クロスバスイッチにおける前記運用系と前記待機系との切替えを行わせることを特徴とするプログラム。

Images