JP2716571B2 - 二重化データ保全装置 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 プロセッサを有する複数のクラスタと，入出力パスを
介して各クラスタに接続される二重化された共用メモリ
とを備えた複合計算機システムにおける二重化データ保
全装置に関し， 一方の共用メモリで障害が発生した場合に，高速かつ
確実に二重化運用状態から片肺運用状態に移行できるよ
うにすることを目的とし， 共用メモリとクラスタとを結ぶ入出力パスを物理的に
切断する入出力パス切断機構を備えるとともに，各クラ
スタは，二重化された共用メモリの各領域の有効／無効
を管理する制御情報部と，共用メモリ上の領域を切り離
すときに，制御情報部にその領域が無効であることを設
定し，その領域と各クラスタとを結ぶ全入出力パスを切
断する処理を行う入出力パス切断処理部と，入出力パス
の切断により，アクセスが異常終了した場合に，制御情
報部にその領域が無効であることを設定し，以後，その
領域に対するアクセスを禁止するアクセス禁止処理部と
を備えるように構成する。

〔産業上の利用分野〕

本発明は，二重化された共用メモリを持つ複合計算機
システムにおいて，障害発生または使用者からの指定に
より，一方のクラスタの切り離しを行うクラスタが，切
り離す側のメモリと全クラスタとの入出力パスを切断す
ることにより，二重化データの保全を行うようにした二
重化データ保全装置に関するものである。

近年のコンピュータシステムでは，単一プロセッサの
能力の伸びが鈍化していることや，信頼性向上の強いニ
ーズがあることなどの理由から，複数クラスタを共用メ
モリで接続した複合計算機システムを構築することが一
般的になりつつある。

共用メモリには，複数のクラスタで共用される重要な
データが置かれるため，信頼性を高める目的で，共用メ
モリの二重化を行うことが多い。

このような二重化された共用メモリの一方に障害が発
生した場合や，使用者からの切り離しの指示があった場
合には，全クラスタとの整合性を保ちながら，高速に他
の共用メモリのみを使用する片肺運転に移行する必要が
ある。

〔従来の技術〕

第５図は従来技術の例を示す。

従来，二重化された共用メモリ10−1,10−２の一方を
切り離す場合に，第５図（イ）または第５図（ロ）に示
すような方式が用いられている。

第５図（イ）に示す方式では，二重化された共用メモ
リ10−1,10−２へのアクセスを，共用メモリ内の制御表
50を用いて制御する。すなわち，制御表50内には，リー
ドするとき，どちらの共用メモリから読み込むのか，ま
たライトするときには，どちらの共用メモリに書き込む
かなどの情報が格納され管理されている。

一方の共用メモリ，例えば共用メモリ10−１の領域１
で障害が発生した場合，その障害を検出したクラスタ12
aは，その領域１が使用不可能状態である旨を，共用メ
モリ内の制御表50に書き込む。

残りのクラスタ12bは，共用メモリ10−1,10−２のア
クセスに先立ち，この制御表50を参照し，使用可能状態
であるかどうかを調べる。共用メモリ10−１の領域１
は，使用可能状態でないので，その領域１に対するアク
セスを禁止し，二重化された他方の領域２へのアクセス
のみを行う。

このように，共用メモリ内の制御表50を用いることに
より，全クラスタは，共用メモリ10−１へのアクセスを
禁止し，残った一方の共用メモリ10−２へのアクセスだ
けを行う。

第５図（ロ）に示す方式では，二重化された共用メモ
リ10−1,10−２へのアクセスを，各クラスタ12a,12bが
固有に持つ制御表50−1,50−２で制御し，障害発生時に
は，クラスタ間の通信を行うことにより，障害発生を通
知する。

各制御表50−1,50−２内には，リードするとき，どち
らの共用メモリから読み込むのか，またライトするとき
には，どちらの共用メモリに書き込むかなどの情報が格
納され管理されている。第５図（イ）に示す前述の方式
に比べて，クラスタ内のローカルメモリへのアクセスで
よいので,1回のアクセス時間が短くなる。

一方の共用メモリ，例えば共用メモリ10−１の領域１
で障害発生した場合，その障害を検出したクラスタ12a
は，自クラスタ内の制御表50−１に，その領域１は使用
不可能状態である旨を記録する。さらに，領域１上で障
害発生した旨を他クラスタ12bに通知する。通知を受け
たクラスタ12bは，クラスタ12aと同様に，領域１が使用
不可能状態である旨を制御表50−２に記録する。

このとき，全クラスタでの制御表の情報更新が完了す
るまで，全クラスタの通常の処理を停止する必要があ
る。

以上の処理により，全クラスタを通じ一方の共用メモ
リ10−１が使用不可能状態であることを認識し，全クラ
スタが残った他方の共用メモリ10−２をアクセスするよ
うに制御する。

〔発明が解決しようとする課題〕

第５図（イ）に示す方式には，以下の問題がある。

（ａ） 各クラスタ12a,12bから共用メモリ10−1,10−
２をアクセスする際に，一旦，共用メモリ内の制御表50
を参照し，アクセスが可能であるかを判断する処理が必
要になり，一回のアクセスに時間がかかる。

（ｂ） 障害発生により使用不可能とした領域との入出
力パスが実際には存在するため，クラスタが誤動作した
場合に，その領域へアクセスする危険性がある。

（ｃ） 共用メモリ内の制御表50の排他制御が煩雑であ
る。

（ｄ） 共用メモリ内の制御表域で障害が発生した場
合，または設定されている情報に矛盾が生じた場合，シ
ステムが誤動作する可能性がある。

また，第５図（ロ）に示す方式には，以下の問題があ
る。

（ａ） 障害を検出したクラスタで，障害が発生した旨
を他のクラスタに通知する処理が必要であり，処理が複
雑となる。

（ｂ） 障害発生により使用不可能とした領域との入出
力パスが実際には存在するため，クラスタが誤動作した
場合に，その領域へアクセスする危険性がある。

（ｃ） 共用メモリ内の制御表域で障害が発生した場
合，または設定されている情報に矛盾が生じた場合，シ
ステムが誤動作する可能性がある。

本発明は，以上のような通常のメモリアクセス時間の
低下，クラスタ間の通信に伴う処理の複雑化，クラスタ
誤動作による共用メモリのデータ破壊といった従来技術
の問題点を解決し，一方の共用メモリで障害が発生した
場合に，高速かつ確実に二重化運用状態から片肺運用状
態に移行できるようにすることを目的としている。

〔課題を解決するための手段〕

第１図は本発明の原理説明図である。

第１図において,10−1,10−２は共用メモリであって
二重化されているもの,11−1,11−２は入出力パス切断
機構,12−１ないし12−３は各々プロセッサを備えたク
ラスタ,13は入出力パスの物理的な切断処理を行う入出
力パス切断処理部,14は切り離された共用メモリに対す
るアクセスを事前に禁止するアクセス禁止処理部,15は
二重化された共用メモリに対するアクセス管理情報を持
つ制御情報部,P11〜P32は各クラスタと共用メモリ間の
データ転送に用いられる入出力パスを表す。

本発明では，二重化された共用メモリ10−1,10−２
と，各クラスタ12−１〜12−３とを結ぶ入出力パスP11
〜P32について，物理的に切断するハードウェアによる
入出力パス切断機構11−1,11−２が設けられる。

入出力パス切断機構11−１または11−２によって切り
離された共用メモリにアクセスすると，入出力パス切断
機構11−１または11−２を含むハードウェアによる制御
部は，回復可能なエラーを発生させ，その事象をアクセ
ス元クラスタのソフトウェアに，プログラムチェック割
込みなどにより通知する。

各クラスタ12−１〜12−３は，自クラスタのローカル
メモリ内に，共用メモリのどちらの領域をアクセスする
かを決定するための制御情報を管理する制御情報部15を
持つ。

例えばクラスタ12−１が，共用メモリ10−１内の領域
１の障害発生検出により，または使用者からの切り離し
の指示により，共用メモリ10−１を切り離す場合，入出
力パス切断処理部13は，自クラスタ内の制御情報部15に
領域１について使用不可能状態を示す情報を設定し（第
１図），入出力パス切断機構11−１により，共用メモ
リ10−１と全クラスタとを結ぶ入出力パスP11,P21,P31
を物理的に切断する。

他のクラスタ12−2,12−３が，切断された入出力パス
P21,P31を使って，共用メモリ10−１内の領域１にアク
セスすると，物理的に切り離されているため，回復可能
なプログラムチェックが発生する。ここで，回復可能と
は，エラーの割込み処理などを行った後に，元の処理に
復帰できることを意味する。

クラスタ12−２および12−３のアクセス禁止処理部14
は，プログラムチェックを検出することにより，領域１
が使用不可能状態であることを認識し，以後，その領域
１へのアクセスを行わないようにするために，クラスタ
内に存在する制御情報部15に，領域１が使用不可能状態
であることを設定する（第１図，）。

結果的に，共用メモリ10−２上の領域２に対してだ
け，全クラスタがアクセスするようになり，二重化デー
タの保全が実現される。

〔作用〕

本発明では，切り離された領域１への入出力パスP11,
P21,P31が，全クラスタを通じて物理的に切断された状
態となる。

障害検出クラスタ12−１以外のクラスタ12−2,12−３
では，切り離された領域２に対してアクセスするが，そ
の領域１と自クラスタの入出力パスP21,P31が存在しな
いため，プログラムチェックが発生する。

プログラムチェックが発生することで，各クラスタ
は，クラスタ間通信などを用いずに，領域１が切り離さ
れていることを認識することができる。

このように物理的に切断することにより，各クラスタ
は，領域１に対してアクセスしようとしても，アクセス
が不可能な状態になり，接続されている側の領域２だけ
を各クラスタがアクセスするようになる。

クラスタが誤動作した場合にも，切り離された側の領
域１をアクセスすることがなく，二重化データの保全が
実現できる。また，各入出力パスの物理的切断により，
クラスタ間での通信を使用せずに，各クラスタに障害発
生メモリが使用不可能状態である旨を知らせることがで
きる。各クラスタごとに制御情報部15を設けているた
め，共用メモリの二重化データに対するアクセスを高速
に行うことができる。

高速化できる理由は，ローカルメモリのアクセスは共
用メモリのアクセスよりも高速であるので，制御情報を
共用メモリ内に設定した場合に比べて，制御情報を高速
に参照できること，制御情報に関する複雑な排他制御等
を行う必要がないことなどである。

〔実施例〕

第２図は本発明の一実施例による状態遷移の例，第３
図は本発明の一実施例処理フロー，第４図は本発明の一
実施例で用いる入出力パス切断機構の説明図を示す。

以下，説明を簡単にするために，クラスタが２つの場
合を例に説明するが,3以上の場合にも同様に適用でき
る。

第２図（イ）は，通常の二重化された共用メモリ10−
1,10−２を介した複数クラスタ12a,12bによるシステム
の運用状態を示している。領域１が主系であり，領域２
が従系である。主系はリード／ライトの対象となり，従
系はライト・アクセスのみ行われる。

第２図（ロ）に示すように，クラスタ12aが領域１に
アクセスし，障害を検出したとする。

クラスタ12aは，領域１の障害を検出すると，第２図
（ハ）に示すように，内部の制御情報中で，主系を領域
２に書き換え，領域１については使用不可能状態とす
る。それとともに，クラスタ12aから領域１への入出力
パスおよびクラスタ12bから領域１への入出力パスを切
断する。この状態では，クラスタ12b中の制御情報は，
元のままである。

クラスタ12bにおいて，二重化データに対するアクセ
ス要求のため，第２図（ニ）に示すように，領域１にア
クセスしたとする。

クラスタ12bが領域１にアクセスすると，領域１に対
する入出力パスが切断されているため，第２図（ホ）に
示すように，プログラムチェックが発生する。

クラスタ12bは，プログラムチェックが発生すると，
領域１が切り離されていることを認識し，内部の制御情
報中で，主系を領域２に書き換え，領域１については使
用不可能状態とする。

これにより，以後，領域１について全クラスタのアク
セスが行われないようになり，領域２だけによる片肺運
転が行われるようになる。

領域１を障害により切り離す場合の例について説明し
たが，オペレータ等の指示により，領域１を切り離す場
合も同様である。

処理の流れは，例えば第３図に示す〜のようにな
る。

例えばクラスタ12aが二重化された一方の領域で障
害発生を検出したとする。

領域１で障害が発生したか領域２で障害が発生した
かを判定する。

領域１で障害が発生した場合，内部制御表の更新を
行った後，領域１と全クラスタとの入出力パスを切断す
る。なお，領域２で障害が発生した場合には，領域２と
全クラスタとの入出力パスを切断する。

クラスタ12aが入出力パスの切断を行った後，障害
を知らない他のクラスタ12bが，領域アクセスを行った
とする。

一方の領域でプログラムチェックが発生する。

領域１のアクセスでプログラムチェックが発生した
か，領域２のアクセスでプログラムチェックが発生した
かを判定する。

領域１でプログラムチェックが発生した場合，内部
の制御表中で領域１を使用不可能状態にする。領域２で
プログラムチェックが発生した場合には，領域２に対し
て同様の処理を行う。

以上の処理により，一方の領域の切り離しが行われる
と，以後，他方の領域だけによる片肺運転が行われるこ
とになる。

第１図に示す入出力パス切断機構11−1,11−２は，ス
イッチその他により，各クラスタから共用メモリに対す
るアクセスを物理的に不可能にすることができるもので
あれば，どのようなものでもよい。

本実施例で用いている入出力パス切断機構等は，第４
図に示すような構造になっている。

共用メモリ10−1,10−２は，第４図に示すように，デ
ータを格納する記憶機構40と，共用メモリ全体の制御ま
たはクラスタ12との通信を司る制御機構41に分かれてい
る。

各クラスタ12との通信は，制御機構41にあるポート43
を介して行われる。各クラスタ12ごとに,1つのポート43
が固定的に割り当てられる。

ポート43には，有効と無効の２つの状態が存在し，そ
の状態制御のために，各ポート43と１対１に対応する１
ポートにつき１ビットの制御メモリ42が，制御機構41内
に存在する。この制御メモリ42は，記憶機構40内のメモ
リとは別のものである。

この制御メモリ42のビットが“1"のとき，対応するポ
ート43の状態は有効であり，そのポート43に割り当てら
れているクラスタ12は，共用メモリとの通信が可能であ
る。この状態では，クラスタ12が共用メモリとのデータ
転送を行なえるだけでなく，制御メモリ全体の内容の変
更も可能である。すなわち，有効状態のポート43につな
がっているクラスタ12は，他のポート43の状態を変更す
ることも可能である。

無効状態のポート43につながっているクラスタ12は，
データ転送を行えないばかりでなく，制御メモリの変更
も行えない。

以上の機構により，障害が発生した共用メモリに関す
る全クラスタ12のポート43を無効状態とすることで，各
クラスタ12からデータ転送を行うことを物理的に抑止す
ることができる。これにより，クラスタ12の誤動作によ
るデータの破壊を避けることも可能となる。

〔発明の効果〕

本発明による効果は以下のとおりである。

（ａ） データを保証した状態で，共用メモリの切り離
しを，高速かつ簡単に実現できる。クラスタ間の通信は
不要である。

（ｂ） 切り離された共用メモリは，単にソフトウェア
によりアクセスを禁止するだけでなく，物理的にもアク
セスできない状態になるので，システムの誤動作の危険
がない。

（ｃ） 共用メモリ内に使用可否を管理する情報を持つ
必要がないので，共用メモリの二重化データに対するア
クセスを高速に行うことができる。

（ｄ） 共用メモリの切り離しに関する処理について，
クラスタごとの独立性が強いため，信頼性が高い。

【図面の簡単な説明】

第１図は本発明の原理説明図， 第２図は本発明の一実施例による状態遷移の例， 第３図は本発明の一実施例処理フロー， 第４図は本発明の一実施例で用いる入出力パス切断機構
の説明図， 第５図は従来技術の例を示す。 図中,10−1,10−２は共用メモリ,11−1,11−２は入出力
パス切断機構,12−１〜12−３はクラスタ,13は入出力パ
ス切断処理部,14はアクセス禁止処理部,15は制御情報
部,P11〜P32は入出力パスを表す。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭58−16362（ＪＰ，Ａ) 特開 昭60−93566（ＪＰ，Ａ) 特開 昭62−197858（ＪＰ，Ａ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】プロセッサを有する複数のクラスタ（12−
   1,12−2,…）と，入出力パス（P11,P12,…）を介して各
   クラスタに接続される二重化された共用メモリ（10−1,
   10−２）とを備えた複合計算機システムにおいて， 共用メモリとクラスタとを結ぶ入出力パスを物理的に切
   断する入出力パス切断機構（11−1,11−２）を備えると
   ともに， 前記各クラスタは， 二重化された共用メモリの各領域の有効／無効を管理す
   る制御情報部（15）と， 共用メモリ上の領域を，障害または外部からの指定によ
   り切り離すときに，前記制御情報部にその領域が無効で
   あることを設定し，前記入出力パス切断機構により，そ
   の領域と各クラスタとを結ぶ全入出力パスを切断する処
   理を行う入出力パス切断処理部（13）と， 切断された入出力パスを使用することにより，アクセス
   が異常終了した場合に，前記制御情報部にその領域が無
   効であることを設定し，以後，その領域に対するアクセ
   スを禁止するアクセス禁止処理部（14）とを備えたこと
   を特徴とする二重化データ保全装置。