JPH0460750A - クラスタ停止装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 プロセッサを有する複数のクラスタと、入出力バスを介
して各クラスタに接続される共用メモリとを備えた複合
計算機システムにおけるクラスタ停止装置に関し ダウンと認識されたクラスタの誤動作による共用データ
の破壊を防ぎ、クラスタのダウン処理を確実かつ部品に
行う手段を提供することを目的とし 共用メモリとクラスタとを結ぶ入出力バスを物理的に切
断する入出力バス切断機構を備えるとともに、各クラス
タは、他のクラスタを停止させる場合に、入出力バス切
断機構により、共用メモリと停止させるクラスタ間の入
出力バスを切断する処理を行う入出力バス切断処理部と
、切断された入出力バスを使用することにより、アクセ
スが異常終了した場合に、自クラスタがダウンさせられ
たと認識し、自クラスタの回収処理を行うダウン認識処
理部とを備えるように構成する。

〔産業上の利用分野］ 本発明は、プロセッサを有する複数のクラスタと、入出
力バスを介して各クラスタに接続される共用メモリとを
備えた複合計算機システムにおけるクラスタ停止装置に
関し、特に、あるクラスタが他のクラスタをダウンと認
識した場合に、ダウンと認識されたクラスタと共用メモ
リとの入出力バスを強制的に切断することにより、共用
メモリのデータ保全を可能としたクラスタ停止装置に関
する。

近年のコンビエータシステムでは、単一プロセッサの能
力の伸びが鈍化していることや、信幀性向上の強いニー
ズがあることなどの理由から、ｉＪ数ツクラスタ共用メ
モリで接続した複合計算機システムを構築することが一
般的になりつつある。

共用メモリには、複数のクラスタで共用される重要なデ
ータが置かれることが多い。

このようなシステムにおいて、一つのクラスタのダウン
を他のクラスタが検出すると、検出したクラスタは、ダ
ウン時のリカバリ処理を行い、ダウンと認識されたクラ
スタの誤動作によって共用メモリのデータが破壊される
ことを防ぐ必要がある。

また、運用中のクラスタが、他のクラスタのダウンを検
出したり、または使用者から、あるクラスタをダウンさ
せる指示があった場合には、他のクラスタとの整合性を
保ちながらクラスタ停止処理を行う必要がある。

〔従来の技術〕

第５図は従来技術の例を示す。

従来、共用メモリ１０に接続された複数のクラスタ１２
ａ、１２ｂからなる複合計算機システムでは１例えば第
５図に示すように、共用メモリ１０内にクラスタ監視用
制御表５０を設け、各クラスタ間で相互に他のクラスタ
の動作中を示す情報を設定し、管理するようにしていた
。

各クラスタ１２ａ、１２ｂは、共用メモリ１０をアクセ
スする際に、クラスタ監視用制御表５０を参照し、自ク
ラスタが動作中であることを確認した上で、必要なメモ
リへのアクセスを行う。

例えば、クラスタ１２ｂが、クラスタ１２ａのダウンを
検出すると、ダウンを検出したクラスタ１２ｂは共用メ
モリ１０内のクラスタ監視用制御表５０に、クラスタ１
２ａがダウンした旨の情報を設定する。

これにより、ダウンと認識されたクラスタ１２ａは９次
回のメモリアクセス時に、自クラスタがダウンさせられ
たことを認識し、自クラスタのＣＰＵを停止させるよう
にしていた。

〔発明が解決しようとする課題〕

第５図に示すような方式には、以下の問題がある。

（６）ダウンと認識されたクラスタ１２ａが、アクセス
時に自クラスタがダウンさせられたか否かを確認しなか
った場合、共用メモリ１０のデータを破壊をする危険が
ある。

（ハ）　クラスタ監視用制御表５０のデータが破壊され
た場合、クラスタが誤動作する危険がある。

（Ｃ）　　各クラスタから共用メモリ１０をアクセスす
る際に、−旦、クラスタ監視用制御表５０を参照し、自
クラスタがダウンしていないかを判断する処理が必要に
なり、−回のアクセスに時間がかかるとともに、制御表
５０に対する複雑な排他制御などが必要になる。

（ｄ）　　クラスタのダウンを検出してから、ダウンさ
せられたクラスタが自クラスタのＣＰＵを停止するまで
に長時間要する。

本発明は１以上のようなりラスタ誤動作による共用メモ
リのデータ破壊９適常のメモリアクセス性能の低下１通
常のメモリアクセス時の排他制御等における処理の複雑
化、ＣＰＵ停止までの長期化という問題点の解決を図る
ことを目的としている。

〔課題を解決するための手段〕

第１図は本発明の原理説明図である。

第１図において、１０は共用メモリ、１１は入出力バス
切断機構、１２ａ〜１２ｃは各々プロセッサを備えたク
ラスタ、１３は入出力バスの物理的な切断処理を行う入
出力バス切断処理部、１４は共用メモリ１０に対する一
般的なアクセスを行う共用メモリアクセス部、１５は自
クラスタのダウンを認識し回収処理を行うダウン認識処
理部。

ＰＩ−Ｐ３は各クラスタと共用メモリ間のデータ転送に
用いられる入出力バスを表す。

本発明では、各クラスタ１２ａ〜１２ｃと、その各クラ
スタ１２ａ〜１２ｃが共用するデータを格納する共用メ
モリ１０とを結ぶ入出力バスＰＩ〜Ｐ３について、物理
的に切断するハードウェアによる入出力バス切断機構１
１が設けられる。

入出力バス切断機構１１によって切り離された共用メモ
リ１０にアクセスすると、入出力バス切断機構１１を含
むハードウェアによる制御部は回復可能なエラーを発生
させ、その事象をアクセス元クラスタのソフトウェアに
、プログラムチエツク割込みなどにより通知する。

各クラスタ１２ａ−１２ｃは、入出力バス切断処理部１
３およびダウン認識処理部１５を備える。

入出力バス切断処理部１３は、他のクラスタのダウンを
検出した場合、またはオペレータコマンドなどにより、
クラスタの停止を依願された場合に、入出力バス切断機
構１１により、共用メモリ１０と停止させるクラスタ間
の入出力バスＰＩ〜Ｐ３を切断する処理を行うものであ
る。

他のクラスタによりダウンと認識されたクラスタが、共
用メモリアクセス部１４によって共用メモリ１０にアク
セスすると、入出力バスが物理的に切断され、存在しな
いため、プログラムチエツクが発生する。

ダウン認識処理部１５は、共用メモリ１０のアクセス時
にプログラムチエツクが発生すると、自クラスタがダウ
ンさせられたと認識し、自クラスタの回収処理を行い、
自クラスタのＣＰＵを停止させる。

〔作用］ 例えば、クラスタ１２ａがクラスタ１２ｂのダウンを検
出したとする（第１図■）、クラスタ１２ａの入出力バ
ス切断処理部１３は、入出力バス切断機構１１により、
共用メモリ１０とクラスタ１２ｂとを結ぶ入出力バスＰ
２を物理的に切断する（第１図■）。

ダウンさせられたクラスタ１２ｂが、共用メモリｌＯに
アクセス（第１図■）すると、入出力バスＰ２が存在し
ないため、プログラムチエツクが発生する（第１図■）
。

クラスタ１２ｂは、プログラムチエツクが発生すること
で、ダウン認識処理部１５により、ダウンさせられたこ
とを認識し、ロギング処理や必要なエラー処理などの自
クラスタの回収処理を行って、自クラスタのＣＰＵを停
止させる。

クラスタ１２ｂが２例えば暴走により誤動作した場合で
も、共用メモリ１０との間の入出力バスＰ２が存在しな
いため、共用メモリｌＯのデータを破壊することはない
。

また１通常の共用メモリ１０へのアクセス時に自クラス
タがダウンさせられていないかどうかを常に確認する必
要がないので、共用メモリｌＯに対するアクセスを高速
化することができ、また制御情報に関する複雑な排他制
御等を行う必要がなくなる。

〔実施例〕

第２図は本発明の一実施例による状態遷移の例。

第３図は本発明の一実施例処理フロー、第４図は本発明
の一実施例で用いる入出力バス切断機構の説明図を示す
。

以下、説明を簡単にするために、クラスタが２つの場合
を例に説明するが、３以上の場合にも同様に適用できる
。

第２図（イ）は、クラスタ１２ａ、１２ｂによるシステ
ムの通常時の運用状態を示している。クラスタ１２ａ、
１２ｂは、随時、入出力バスＰＩ。

Ｐ２を介して、共用メモリ１０にアクセスし、必要な業
務処理を実行する。

第２図（ロ）に示すように、クラスタ１２ｂがクラスタ
１２ａのダウンを検出したとする。またはコマンド等に
より、クラスタ１２ａのダウンを指示されたとする。

クラスタ１２ｂは、第２図（ハ）に示すようにダウン対
象のクラスタ１２ａと共用メモリ１０との間の入出力バ
スＰＩを物理的に切断する。なお共用メモリ１０が複数
存在し、入出力バスも複数ある場合には、クラスタ１２
ａのすべての入出力バスを切断する。

その後、クラスタ１２ａが、何らかの処理のために、第
２図（ニ）に示すように、入出力バスＰ１を介して共用
メモリ１０にアクセスしたとする。

そうすると入出力バスＰ１が切断されているため、第２
図（ホ）に示すように、プログラムチエツクの割込みが
発生する。クラスタ１２ａは、プログラムチエツクによ
り、自クラスタがダウンさせられたことを認識し１回収
処理を行う。

クラスタ１２ａは５回収処理により最終的にＣＰＵを停
止させる。それ以後は、第２図（へ）に示すように、ク
ラスタ１２ａを除いたクラスタ１２ｂだけによる運用状
態に移行することになる。

あるクラスタが他のクラスタのダウンを検出する方法と
しては５例えば相互に自クラスタが正常であることを示
すためのメツセージを送受信する方法や、共用メモリ１
０に設けた各クラスタ対応のカウンタを、所定の時間内
に更新し、各クラスタが他のクラスタのカウンタが更新
されていることを確認する方法などがある。

第３図は９本発明の一寞施例による処理の流れを示して
いる。以下、第３図に示す■〜■に従って説明する。

■　クラスタ１２ｂは、定期的にクラスタ１２ａが正常
に動作しているかを監視する０例えば。

クラスタ１２ａからある時間内に応答があった場合に、
クラスタ１２ａは正常に動作していると判断する。

■〜■　クラスタ１２ａは、クラスタ１２ｂに応答する
とともに、同様にクラスタ１２ｂの監視を行う。

■　クラスタ１２ｂ側も定期的に自クラスタが正常に動
作していることを、クラスタ１２ａに応答する。

■〜■　クラスタ１２ｂは、クラスタ１２ａを監視し、
所定の時間内に応答がなかった場合、クラスタ１２ａが
ダウンしたと判断し、クラスタ１２ａにそのダウンを認
識させるため、クラスタＬ２ａの入出力バスを切断する
。

■〜■　クラスタ１２ａでは、共用メモリの領域をアク
セスすると、入出力バスが存在しないため、プログラム
チエツクが発生する。

［相］〜■　プログラムチエツクの要因を調べ、自クラ
スタの入出力バスが切断されたことがわかった場合、自
クラスタがダウンさせられたと認識し、必要な回収処理
を行い、自クラスタを停止させる。

第１図に示す入出力バス切断機構ＩＩは、スイッチその
他により、各クラスタから共用メモリに対するアクセス
を物理的に不可能にすることができるものであれば、ど
のようなものでもよい。

本実施例で用いている入出力バス切断機構等は第４図に
示すような構造になっている。

共用メモリ１０ば、第４図に示すように、データを格納
する記憶機構４０と、共用メモリ全体の制御または各ク
ラスタ１２との通信を司る制ｍｔｍ構４１に分かれてい
る。

各クラスタ１２との通信は、制御機構４１にあるボート
４３を介して行われる。各クラスタ１２ごとに、１つの
ボート４３が固定的に割り当てられる。

ボート４３には、有効と無効の２つの状態が存在し、そ
の状態制御のために５各ポート４３と１対１に対応する
１ボートにつき１ビツトの制御メモリ４２が、制ｍｓ構
４１内に存在する。この制御メモリ４２は、記憶機構４
０内のメモリとは別のものである。

この制御メモリ４２のと／トが“１”のとき対応するボ
ート４３の状態は有効であり、そのボ−ト４３に割り当
てられているクラスタ１２は。

共用メモリ１０との通信が可能である。この状態では、
クラスタ１２が共用メモリ１０とのデータ転送を行なえ
るだけでなく、制御メモリ全体の内容の変更も可能であ
る。すなわち、有効状態のボート４３につながっている
クラスタ１２は、他のボート４３の状態を変更すること
も可能である。

無効状態のボート４３につながっているクラスタ１２は
、データ転送を行えないばかりでなく。

制御メモリ４２の変更も行えない。

以上の機構により、ダウン対象のクラスタ１２のボート
４３を無効状態とすることで、そのクラスタ１２からデ
ータ転送を行うことを物理的に抑止することができる。

これにより、クラスタ１２の誤動作によるデータの破壊
を防止できる。

この共用メモリ１０の入出力バス切断機構は他の目的に
使用することも可能である。例えば。

共用メモリ１０が二重化され、その一方が要害になった
場合、入出力バス切断機構を利用し、ｌ［害になった共
用メモリｌＯと他の全クラスタとの入出力バスを切断す
る。これにより、いわゆる片肺運転の状態に移行するこ
とができる。この場合にも、切断された入出力バスを利
用したアクセスに対しては、プログラムチエツクが発生
するが、二重化された共用メモリ１０の正常側はアクセ
ス可能であるので１本発明によるクラスタのダウン処理
のための入出力バスの切断と区別することが可能である
。すなわち、二重化共用メモリの場合には、二重化され
た共用メモリ１０の両方に対してプログラムチエツクが
発生した場合に、自クラスタがダウンさせられたと判断
する。

〔発明の効果〕

以上説明したように３本発明によれば、以下の効果があ
る。

（ａ）　　データを保証した状態で、ダウンしたクラス
タの切り離しを、高速かつ簡単に実現できる。

伽）　共用メモリにダウンを認識させるための制御表な
どを持たなくてよいので、その破壊によるシステムの誤
動作の危険がない。

（Ｃ）　　ダウンさせられたクラスタが誤動作した場合
でも、共用メモリに物理的にアクセスできない状態にな
るので、共用メモリのデータが破壊される危険がない。

（ｄ）　　通常の共用メモリに対するアクセス時に、自
クラスタがダウンさせられていないことを事前に確認す
る必要がないので、アクセスの高速化が可能である。

（ｅ）　　ダウンさせられたクラスタの回収処理を、そ
のクラスタが自分で行うことができる。

カバス切断処理部、１４は共用メモリアクセス部。

１５はダウン認識処理部、ＰＩ〜Ｐ３は入出力バスを表
す。

Claims (1)

1. 【特許請求の範囲】 プロセッサを有する複数のクラスタ（１２ａ、１２ｂ、
   ・・・）と、入出力バス（Ｐ１、Ｐ２、・・・）を介し
   て各クラスタに接続される共用メモリ（１０）とを備え
   た複合計算機システムにおいて、 共用メモリとクラスタとを結ぶ入出力バスを物理的に切
   断する入出力バス切断機構（１１）を備えるとともに、 前記各クラスタは、 他のクラスタを停止させる場合に、前記入出力バス切断
   機構により、共用メモリと停止させるクラスタ間の入出
   力バスを切断する処理を行う入出力バス切断処理部（１
   ３）と、 切断された入出力バスを使用することにより、アクセス
   が異常終了した場合に、自クラスタがダウンさせられた
   と認識し、自クラスタの回収処理を行うダウン認識処理
   部（１５）とを備えたことを特徴とするクラスタ停止装
   置。