JPH10133938A

JPH10133938A - クラスタ間共有メモリアクセス方式

Info

Publication number: JPH10133938A
Application number: JP8305827A
Authority: JP
Inventors: Takao Kishi; 高夫岸
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1996-10-31
Filing date: 1996-10-31
Publication date: 1998-05-22
Anticipated expiration: 2016-10-31
Also published as: JP3052857B2; US6032234A

Abstract

(57)【要約】【課題】複数のクラスタから構成され、拡張記憶装置
（ＥＭＵ）を共有メモリとして有する疎結合システム
で、クラスタ−ＥＭＵ間での同期転送を実現する。【解決手段】各クラスタのシステムバスに直接に拡張
記憶装置アダプタ（ＥＭＡ）21,22 を接続し、ＥＭＵ
（ＥＭＡ）に主記憶アドレスエリアの一部を割り当て
る。ＥＭＡ21,22 は、ＥＭＵのデータの写しをキャッシ
ュ手段33に保持している。システムバスインタフェース
手段32は、ＥＭＵアドレス検出手段31によって、システ
ムバスにＥＭＵに対するリード要求，ライト要求が出力
されたか否かを常時監視する。リード要求を検出する
と、リード要求をキャッシュ制御手段34に伝達してキャ
ッシュ手段33から出力されるリードデータをシステムバ
スに出力する。ライト要求を検出すると、ライト要求を
キャッシュ手段33およびキャッシュ制御手段34に伝達
し、キャッシュの更新およびＥＭＵデータの更新を行わ
せる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディスク共有方式
（Ｓｈａｒｅｄ−ｄｉｓｋ方式）を採用するクラスタ制
御技術に関し、特に、クラスタ間の共有メモリの接続方
式に関する。

【０００２】

【従来の技術】従来、クラスタ間共有メモリとしては、
一般に拡張記憶装置（ＥＭＵ＝ＥｘｐａｎｓｉｏｎＭ
ｅｍｏｒｙＵｎｉｔ）が使用されていた。ＥＭＵは、
高速性、共有性、不揮発性の３つの特性を有した外部装
置である。高速性に関して言えば、主記憶装置と電子デ
ィスク装置の間に位置する記憶階層を構成する記憶装置
である。また、不揮発性に関して言えば、バッテリバッ
クアップ装置が内蔵可能であり、停電時でもＥＭＵの内
容を保持することが可能である。

【０００３】ＮＥＣ技報Ｖｏｌ．４８ No. ９／１９９
５Ｐ２８〜３６（ＰＸ７８００中央処理装置）によれ
ば、クラスタとＥＭＵは、拡張記憶装置アダプタ（ＥＭ
Ａ）を介して接続されている。ＥＭＡは、主記憶とＥＭ
Ｕとの間のデータ転送制御を行う。ＥＭＡが行うデータ
転送制御は、２種類あって、ＣＰＵと同期して動作する
同期転送と、ＣＰＵとは独立して動作する非同期転送が
ある。同期転送は、ＣＰＵの専用命令を実行することに
より、ＥＭＡに対し転送の起動と、終了待ちが行われ
る。終了待ちは専用命令の実行の中で行われる。すなわ
ち、転送が終了するまで専用命令の実行は終了しないの
で、ソフトウェア処理から見た転送時間（ＴＡＴ）は、
短い。非同期転送は、ＥＭＡに対し転送の起動を行っ
て、その転送の起動を行ったプロセスは一時終了し、終
了通知は、（他プロセス実行中に）非同期に通知され
る。もちろん、非同期の終了通知を受け取ったＣＰＵ
は、該転送の起動を行ったプロセスにスウイッチしなけ
ればならない。従って、ソフトウェア処理から見た転送
時間のＴＡＴは非常に長くなる。

【０００４】さて、ＰＸ７８００での同期転送は、シス
テムバスに直結されていないＥＭＡによって、主記憶−
ＥＭＵ間で実施される。ＥＭＡからＣＰＵへの転送終了
通知は、ＰＸ７８００固有のインタフェースである。

【０００５】従って、通常のＵＮＩＸサーバでディスク
共有型の（Ｓｈａｒｅｄ−ｄｉｓｋ方式の）クラスタを
構成し、ＥＭＵを共有メモリとして接続する場合には、
非同期転送なら、ｍａｐｐｅｄＩ／Ｏ制御を利用して実
現可能である。但し、この場合、拡張記憶装置アダプタ
（ＥＭＡ）は、Ｉ／Ｏバス配下に接続（構成）され、転
送制御は、（専用の）ドライバＳＷの制御により、主記
憶→ＣＰＵ→ＥＭＡ→ＥＭＵ、または、ＥＭＵ→ＥＭＡ
→ＣＰＵ→主記憶、となる。しかしながら、アプリケー
ションプログラムがＥＭＵとのデータ転送を行う場合、
カーネルの呼び出し（コール）、ドライバの呼び出し
（コール）、カーネルへの復帰（リターン）、アプリケ
ーションプログラムへの復帰（リターン）が必要とな
る。すなわち、プロセススイッチが必要になるので、ソ
フトウェアから見た転送処理のＴＡＴは非常に長い。

【０００６】同期転送を行う場合は、終了通知は、ＰＸ
７８００のようなインタフェースはないので、実現不可
能である。従って、ソフトウェアから見た転送処理のＴ
ＡＴを短くすることはできない。

【０００７】特開平６−２５０９１５号公報（拡張記憶
制御方式）によれば、複数のクラスタに拡張記憶装置が
接続されるデータ処理装置において、各クラスタと拡張
記憶装置との間でデータ転送を行うことが提案されてい
る。この従来技術では、該データ転送のためのアダプタ
は、拡張記憶装置側に設けられ、該アダプタは、同期化
用バッファとデータ蓄積用バッファを有している。同期
化用バッファは、クラスタ側の動作クロックと拡張記憶
装置側の動作クロックの差を吸収するための一時格納バ
ッファである。データ蓄積用バッファは、同期化用バッ
ファ内に格納されたデータを拡張記憶装置に転送する前
に一時格納、または、拡張記憶装置から読み出されたデ
ータを同期化用バッファに転送する前に一時格納してお
くバッファである。データ蓄積用バッファを偶数メモ
リ、奇数メモリとで構成したことが、特開平１−９９１
４１号公報の技術との差分となっている。上記特開平６
−２５０９１５号公報では、拡張記憶装置へのリード／
ライト動作のしくみに関する記述だけで、クラスタと拡
張記憶装置との接続関係および動作連携については、言
及されていない。

【０００８】特開平１−９９１４１号公報（共用拡張記
憶制御方式）によれば、特開平６−２５０９１５号公報
（拡張記憶制御方式）と同様、複数のクラスタに拡張記
憶装置が接続されるデータ処理装置において、各クラス
タと拡張記憶装置との間でデータ転送を行うことが提案
されている。この従来技術の特徴は、同期化用バッファ
の空き状態，満杯状態の検出と通知、および、クラス
タ、または、拡張記憶装置での対処方法について記述し
ている。しかし、この特開平１−９９１４１号公報でも
結局は、拡張記憶装置へのリード／ライト動作のしくみ
に関する記述だけで、クラスタと拡張記憶装置との接続
関係および動作連携については、言及されていない。

【０００９】

【発明が解決しようとする課題】第１の問題点は、通常
のＵＮＩＸサーバでディスク共有型の（Ｓｈａｒｅｄ−
ｄｉｓｋ方式の）クラスタを構成し、共有ディスクの他
にも、ＥＭＵを共有メモリとして接続するような疎結合
システムにおいて、クラスタとＥＭＵ間で同期転送がで
きないことである。

【００１０】その理由は、ＥＭＵは外部記憶装置である
ので、クラスタにＥＭＵを接続するための拡張記憶装置
アダプタをＩ／Ｏバス配下に接続しなければならない。
その結果、ＥＭＵは、Ｉ／Ｏアクセス対象の装置とな
り、ＣＰＵ−ＥＭＡ間のインタフェースはＩ／Ｏインタ
フェースとなる。従って、非同期転送のみサポートされ
るが、同期転送はサポートできない。結果的には、ＴＡ
Ｔの短いＥＭＵとのデータ転送が実施できない。

【００１１】第２の問題点は、通常のＵＮＩＸサーバで
ディスク共有型の（Ｓｈａｒｅｄ−ｄｉｓｋ方式の）ク
ラスタを構成し、ＥＭＵを共有メモリとして接続するよ
うな疎結合システムにおいて、拡張記憶装置アダプタ
（ＥＭＡ）をクラスタ内のシステムバスに直結する場
合、ＥＭＵは主記憶として扱われる。しかしながら、Ｅ
ＭＵの構成情報（ＥＭＵにどれくらいのメモリ容量が実
装され、かつ、使用可能なエリアはどれくらいかを示す
情報）がＯＳに伝えられない。ＥＭＵが主記憶の一部と
して扱われるなら、ＥＭＵの構成情報も主記憶の構成情
報に組み込まれなければならない。

【００１２】その理由は、ＥＭＵが外部記憶装置である
ので、ＥＭＵの構成情報をクラスタ上で走行するＯＳへ
伝達する手段がないことである。

【００１３】本発明の目的は、通常のＵＮＩＸサーバで
ディスク共有型の（Ｓｈａｒｅｄ−ｄｉｓｋ方式の）ク
ラスタを構成し、ＥＭＵを共有メモリとして接続するよ
うな疎結合システムを提供すること、および、前記疎結
合システムにおいて、クラスタ−ＥＭＵ間で高速な同期
転送をサポートすることである。さらに、共有ディスク
−ＥＭＵ間でのデータ転送をサポートすることである。

【００１４】

【課題を解決するための手段】本発明のクラスタ間共有
メモリアクセス方式は、通常のＵＮＩＸサーバでディス
ク共有型（Ｓｈａｒｅｄ−ｄｉｓｋ方式の）クラスタを
構成し、ＥＭＵを共有メモリとして接続するような疎結
合システムにおいて、各クラスタとＥＭＵ間との間の同
期転送機能をサポートする。前記同期転送機能をサポー
トするために、クラスタ内のシステムバス上のスロット
に拡張記憶装置アダプタ（ＥＭＡ）が接続される。

【００１５】前記拡張記憶装置アダプタ（ＥＭＡ）に
は、前記拡張記憶装置のうち使用可能なアドレスを保持
するＥＭＵアドレス検出手段を含み、前記システムバス
と接続されるシステムバスインタフェース手段と、前記
システムバスインタフェース手段および前記拡張記憶装
置とデータの授受を行うキャッシュ手段と、前記キャッ
シュ手段の制御を行うキャッシュ制御手段とを含むデー
タ中継手段と、前記キャッシュ制御手段に接続され、前
記キャッシュ制御手段からＥＭＵへのアクセス指示を受
け、前記ＥＭＵへのアクセス指示を前記拡張記憶装置へ
送出する（ＥＭＵへの）転送機能手段と、前記（ＥＭＵ
への）転送機能手段からの指示により前記拡張記憶装置
へのアクセスが行われた時のステータス情報を保持する
ステータスレジスタ手段と、を含んでいる。

【００１６】さらに、前記疎結合データ処理システム立
ち上げ時、前記拡張記憶装置へのアクセス要求を前記
（ＥＭＵへの）転送機能手段へ送出し、前記拡張記憶装
置へのアクセス要求に対するステータス情報を前記ステ
ータスレジスタ手段から受け取り、前記ステータス情報
を送出するＥＭＵ診断手段と、前記ＥＭＵ診断手段より
前記ステータス情報を受け取り、前記ステータス情報が
正常の場合には、前記正常にアクセスが行われたことを
示しているステータス情報に対応する拡張記憶装置アク
セスアドレスの登録を前記ＥＭＵアドレス検出手段へ指
示し、また、前記ステータス情報が異常の場合には、前
記異常があったことを示しているステータス情報に対応
する拡張記憶装置アドレスに対し、前記主記憶内の構成
テーブルのエントリを、使用不可を意味するデータへ変
更するよう指示する論理的接続指示手段と、を含んでい
る。

【００１７】

【作用】通常のＵＮＩＸサーバでディスク共有型の（Ｓ
ｈａｒｅｄ−ｄｉｓｋ方式の）クラスタを構成し、ＥＭ
Ｕを共有メモリとして接続する疎結合システムにおい
て、本発明の拡張記憶装置アダプタ（ＥＭＡ）が、前記
クラスタ内のシステムバスに接続されている。

【００１８】システムバス上のスロットには、あらかじ
めメモリマッピングされたアドレスが定義されており、
前記メモリマッピングされたアドレスにより、主記憶ア
ドレス，ｍａｐｐｅｄＩ／Ｏアドレスに区別される。主
記憶アドレスのスロットには、主記憶と拡張記憶装置ア
ダプタ（ＥＭＡ）が接続される。一方、ｍａｐｐｅｄＩ
／Ｏアドレスのスロットには、Ｉ／Ｏバスのブリッジカ
ードが接続される。従って、ＣＰＵからのＥＭＵへのア
クセスは主記憶アクセスと同様に処理される。

【００１９】従来の主記憶→ＥＭＵへの転送処理のう
ち、ＥＭＵへのライト処理に関し、拡張記憶装置アダプ
タ（ＥＭＡ）の動作について説明する。ＳＴＯＲＥ命令
が実行されるＣＰＵは、ＣＰＵ内の汎用レジスタの内容
を転送データとし、ＥＭＵへのライトアドレス、およ
び、ライトリクエストコマンドを、システムバス上に両
者を送出する。一方、拡張記憶装置アダプタ（ＥＭＡ）
内のシステムバスインタフェース手段は、該システムバ
スインタフェース手段内のＥＭＵアドレス検出手段を使
用して、常時、システムバスに対し、ＥＭＵアドレスを
スヌープしている。システムバスインタフェース手段
は、ＥＭＵへのライトアドレスを検出すると、ただち
に、対応するアドレス，リクエストコード（この場合
は、ライトリクエスト）、および、データを取り込む。
続いて、システムバスインタフェース手段は、前記取り
込んだアドレスと該リクエストコードをデータ中継手段
内のキャッシュ制御手段へ送出し、前記取り込んだデー
タは、データ中継手段内のキャッシュ手段へ送出する。

【００２０】リクエストコードがライトリクエストであ
るので、キャッシュ制御手段は、アドレスとリクエスト
コマンドをそのまま（ＥＭＵへの）転送機能手段へ送出
する。（ＥＭＵへの）転送機能手段は、キャッシュ制御
手段から送付されたライトリクエストのリクエストコー
ドに従い、ＥＭＵへの書き込み動作をＥＭＵに対して指
示する。ＥＭＵへの書き込み指示は、アドレス線を使用
して行われる。

【００２１】ＥＭＵへの書き込みが成功した場合、成功
のリプライを示すビットに対し０がステータスレジスタ
手段へセットされる。

【００２２】一方、ＥＭＵへの書き込みが失敗した場
合、すなわち、ＥＭＵへの書き込み動作中に何らかのエ
ラーが発生した場合、エラーを示すステータス情報がス
テータスレジスタへセットされる。

【００２３】次に、従来のＥＭＵ→主記憶への転送処理
のうち、ＥＭＵへのリード処理に関し、拡張記憶装置ア
ダプタ（ＥＭＡ）の動作について説明する。ＬＯＡＤ命
令が実行されるＣＰＵは、ＣＰＵ内の汎用レジスタへＥ
ＭＵからのリードデータを格納するため、ＥＭＵへのリ
ードアドレス、および、リードリクエストコマンドを、
システムバス上に送出する。拡張記憶装置アダプタ（Ｅ
ＭＡ）内のシステムバスインタフェース手段は、該シス
テムバスインタフェース手段内のＥＭＵアドレス検出手
段を使用して、常時、ＥＭＵアドレスをスヌープしてい
る。システムバスインタフェース手段は、ＥＭＵへのリ
ードアドレスを検出すると、ただちに、対応するアドレ
ス、および、リクエストコード（この場合は、リードリ
クエスト）を取り込む。続いて、システムバスインタフ
ェース手段は、前記取り込んだアドレス、および、リク
エストコードをデータ中継手段内のキャッシュ制御手段
へ送出する。キャッシュ制御手段は、キャッシュ手段内
に該アドレスに対応するデータが存在するかどうかのチ
ェックを行う。

【００２４】もし、キャッシュ手段内に該アドレスに対
応するデータが存在する場合、キャッシュ制御手段は、
キャッシュ手段に対し、該データをシステムバスインタ
フェース手段へ送出するように指示する。

【００２５】もし、キャッシュ手段内に該アドレスに対
応するデータが存在しない場合、キャッシュ制御手段
は、（ＥＭＵへの）転送機能手段に対し、当該アドレス
と該（リード）リクエストコマンドを送出する。（ＥＭ
Ｕへの）転送機能手段は、キャッシュ制御手段から送付
されたリードリクエストのリクエストコードに従い、Ｅ
ＭＵへの読み出し動作をＥＭＵに対し指示する。ＥＭＵ
への読み出し指示は、アドレス線を使用して行われる。

【００２６】ＥＭＵからの読み出し動作が成功した場
合、成功のリプライを示すビットに対し、０がステータ
スレジスタ手段へセットされる。また、ＥＭＵからのリ
ードデータがデータ中継手段内のキャッシュ手段へ格納
される。続いて、ＥＭＵからのリードデータは、キャッ
シュ手段から、セレクタ手段を経て、システムバスイン
タフェース手段へ送出される。システムバスインタフェ
ース手段は、前記ＥＭＵからのリードデータの要求元の
ＣＰＵに対して、前記ＥＭＵからのリードデータを送出
する。

【００２７】一方、ＥＭＵへの読み出しが失敗した場
合、すなわち、ＥＭＵへの読み出し動作中に何らかのエ
ラーが発生した場合、エラーを示すステータス情報がス
テータスレジスタ手段へセットされる。

【００２８】以上のようにして、ＥＭＵに対するリード
要求とライト要求が実行される。主記憶−ＥＭＵ間のデ
ータ転送をサブルーチンコールで実行可能となるので、
前記主記憶−ＥＭＵ間のデータ転送処理のＴＡＴを非常
に短くすることができる。

【００２９】次に、システム立ち上げ時における拡張記
憶装置アダプタ（ＥＭＡ）の動作について説明する。シ
ステム立ち上げの起動は、まず、オペレータがサービス
プロセッサをアクセスすることにより行われる。続い
て、サービスプロセッサが拡張記憶装置アダプタ（ＥＭ
Ａ）での初期化動作の起動を行う。

【００３０】ＥＭＵ診断手段は、ＥＭＵアドレスに対
し、ある一定のアドレス間隔毎に（たとえば、１ワード
アドレス毎、１０２４ワード毎、実装単位毎、など）、
リード要求を送出し、ＥＭＵ上でのリード動作の正常ま
たは異常終了の情報を得る。異常終了通知を受け取った
場合には、ＥＭＵ診断手段は、該リードアドレスに対す
るＥＭＵのメモリに障害があるか、または、実装されて
いない、という判断を下す。

【００３１】サービスプロセッサが、拡張記憶装置アダ
プタ（ＥＭＡ）内のＥＭＵ診断手段へ初期化要求を行う
と、ＥＭＵ診断手段での初期化処理が実行される。ま
ず、ＥＭＵ診断手段は、ＥＭＵに対するリード要求に対
するアドレス、すなわち、ＥＭＵ上のメモリの開始アド
レスを設定する。次に、ＥＭＵ診断手段は、リードリク
エストコードとリードアドレスを（ＥＭＵへの）転送機
能手段へ送出する。（ＥＭＵへの）転送機能手段は、Ｅ
ＭＵに対し、該ＥＭＵ診断手段から受け取ったリードリ
クエストコードとリードアドレスを送出する。ＥＭＵに
対するリード動作の正常または異常の結果がステータス
レジスタ手段へ格納される。ＥＭＵ診断手段は、ステー
タスレジスタ手段に格納されたステータス情報、すなわ
ち、リード動作の正常または異常終了通知のリードを行
う。その結果を論理的接続指示手段へ送出する。該ステ
ータス情報を受け取った論理的接続指示手段は、初期化
処理を行う。

【００３２】ＥＭＵ診断手段は、ＥＭＵに対する次リー
ド要求のためのＥＭＵリードアドレスを設定する。新し
く設定されたアドレスがＥＭＵアドレスの最大値を越え
ていなければ、上記動作を繰り返す。もし、該新しく設
定したアドレスがＥＭＵの最大値を越えていたなら、Ｅ
ＭＵ診断手段での初期化動作は終了する。

【００３３】論理的接続指示手段は、ＥＭＵ診断手段か
らＥＭＵアドレスと該ＥＭＵアドレスに対するステータ
ス情報を受け取る。続いて、該ステータス情報に対する
正常または異常の判定を行う。

【００３４】もし、該ステータス情報が正常終了通知を
示している場合、ＥＭＵアドレス検出手段へ該正常終了
通知に対するＥＭＵのアドレス登録を指示する。こうす
ることで、システムバスインタフェース手段は、アクセ
ス可能なＥＭＵアドレスの情報を獲得できるようになる
ので、システムバスインタフェース手段は、システムバ
ス上にあるＥＭＵアドレスを検出することが可能とな
る。

【００３５】また、該ステータス情報が異常終了通知を
示している場合、主記憶内にある構成テーブルに対し、
異常終了通知を受け取ったアドレスに対応するＥＭＵの
構成単位のビットを０にセットするため、論理的接続指
示手段は、セレクタ手段に対し、論理的接続指示手段か
らの送出データをセレクトするよう指示し、ａｌｌ０デ
ータをセレクタ手段へ送出する。同時に、主記憶内にあ
る構成テーブルに対し、異常終了通知を受け取ったアド
レスに対応するＥＭＵの構成単位のビットを含む主記憶
アドレスに対し、該主記憶アドレスと（ライト）リクエ
ストコードをシステムバスインタフェース手段へ送出す
る。

【００３６】こうすることで、主記憶内の構成テーブル
でＥＭＵに対する構成ビットが、ＥＭＵ使用可または不
可の情報を反映するので、ＯＳは、使用不可能なＥＭＵ
のエリアを知ることができる。従って、ＯＳは、使用不
可能なＥＭＵのエリアに対し、不具合なアクセスを行う
ことが回避される。

【００３７】もちろん、該ステータス情報が異常終了通
知を示している場合、論理的接続指示手段は、ＥＭＵア
ドレス検出手段へ該異常終了通知に対するＥＭＵのアド
レス登録を行われない。

【００３８】ＥＭＵ診断手段からの初期化終了通知を受
け取るまで、論理的接続指示手段は、上記動作を繰り返
す。また、ＥＭＵ診断手段からの初期化終了通知を受け
取ると、論理的接続指示手段は、セレクタ手段に対し、
論理的接続指示手段からの送出データのセレクト指示を
解除する。そして、論理的接続指示手段での初期化処理
が終了する。

【００３９】上述のような拡張記憶装置アダプタ（ＥＭ
Ａ）に対する初期化処理が行われることにより、主記憶
内の構成テーブルのＥＭＵ構成ビットがアクセス可能な
ＥＭＵエリアの反映、および、システムバスインタフェ
ース手段内のＥＭＵアドレス検出手段に対しアクセス可
能なＥＭＵアドレスの登録を実現できる。

【００４０】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は以下の実施の形態が適用さ
れる疎結合のデータ処理システムのブロック図である。
前記疎結合のデータ処理システムは、クラスタ１、２、
非共有ディスク３、４、共有ディスク５、および、ＥＭ
Ｕ６から構成されている。クラスタ１、２内には、それ
ぞれ、システムバス１３、１４とサービスプロセッサ１
１、１２が含まれており、システムバス１３、１４に
は、ＣＰＵ７、８、主記憶９、１０、Ｉ／Ｏバス１５、
１６、および、拡張記憶装置アダプタ（ＥＭＡ）２１、
２２が接続されている。Ｉ／Ｏバス１５、１６のスロッ
トに接続されているＩ／Ｏカード１７、１８は、非共有
ディスク３、４と接続されている。また、Ｉ／Ｏバス１
５、１６のスロットに接続されているＩ／Ｏカード１
９、２０は、共有ディスク５と接続されている。一方、
拡張記憶装置アダプタ（ＥＭＡ）２１、２２は、ＥＭＵ
６に接続されており、クラスタ１、２とＥＭＵ６との間
でデータ転送を可能にしている。図面上では、クラスタ
は２台しか表示されていないが、２台以上増加させるこ
とも可能である。またクラスタ内部のＣＰＵ、主記憶、
Ｉ／Ｏバスも１個しか表示されていないがシステムバス
のスロット数の許す範囲内で、増加可能である。

【００４１】次に、図２を使用して本発明の最も特徴的
である拡張記憶装置アダプタ（ＥＭＡ）２１、２２の構
成について説明する。拡張記憶装置アダプタ（ＥＭＡ）
２１、２２は、ＥＭＵアドレス検出手段３１、該ＥＭＵ
アドレス検出手段３１を含むシステムバスインタフェー
ス手段３２、キャッシュ手段３３、キャッシュ制御手段
３４、該キャッシュ手段３３および該キャッシュ制御手
段３４を含むデータ中継手段３５、（ＥＭＵへの）転送
機能手段３６、ステータスレジスタ手段３７、論理的接
続指示手段３８、ＥＭＵ診断手段３９、および、セレク
タ手段４０とから構成される。拡張記憶装置アダプタ
（ＥＭＡ）は、システムバス、ＥＭＵ、サービスプロセ
ッサと外部接続されている。

【００４２】システムバスインタフェース手段３２は、
システムバスと拡張記憶装置アダプタ（ＥＭＡ）を接続
している。また、拡張記憶装置アダプタ（ＥＭＡ）内で
は、データ中継手段３５、論理的接続指示手段３８、お
よび、セレクタ手段４０と接続されている。また、シス
テムバスインタフェース手段３２は、内部にＥＭＵアド
レス検出手段３１を有している。ＥＭＵアドレス検出手
段３１は、拡張記憶装置アダプタ（ＥＭＡ）を介して接
続されているＥＭＵアドレスを保持している。システム
バスインタフェース手段３２は、ＥＭＵアドレス検出手
段３１に格納されているＥＭＵアドレスを使用して、シ
ステムバス上ＥＭＵアドレスが存在するかどうか、シス
テムバスを常時スヌープしている。システムバスインタ
フェース手段３２は、ＥＭＵアドレス検出手段３１に設
定されたアドレスを検出すると、システムバスから前記
ＥＭＵアドレスに対応するリクエストコード部，アドレ
ス部、および、データ部とを取り込む。リクエストコー
ド部およびアドレス部は、リクエストコード線５１、ア
ドレス線５２をそれぞれ介して、データ中継手段３５内
のキャッシュ制御手段３４へ送出される。また、データ
部は、データ線５３を介してデータ中継手段３５内のキ
ャッシュ手段３３へ送出される。

【００４３】データ中継手段３５は、データ線を介して
ＥＭＵと拡張記憶装置アダプタ（ＥＭＡ）とを接続し、
また、拡張記憶装置アダプタ（ＥＭＡ）内では、システ
ムバスインタフェース手段３２、セレクタ手段４０、お
よび、（ＥＭＵへの）転送機能手段３６と接続されてい
る。データ中継手段３５は、キャッシュ制御手段３４と
キャッシュ手段３３とを有している。キャッシュ手段３
３は、ストアスルー型のキャッシュである。キャッシュ
手段３３は、ＥＭＵ→システムバスのデータ転送の場合
には、セレクタ手段４０を経由して、ＥＭＵからの転送
データをシステムバスインタフェース手段３２へ送出す
る。また、システムバス→ＥＭＵのデータ転送の場合に
は、システムバスインタフェース手段３２から直接、Ｅ
ＭＵへの転送データを受け取る。一方、キャッシュ制御
手段３４は、キャッシュ手段３３に対する制御を行う。
制御データは、システムバスインタフェース手段３２か
ら送られるリクエストコード部とアドレス部である。さ
らに、キャッシュ制御手段３４は、キャッシュ手段３３
とＥＭＵとの間でデータ転送の指示を行うため、該リク
エストコード部とアドレス部を（ＥＭＵへの）転送機能
手段３６へ送出する。

【００４４】（ＥＭＵへの）転送機能手段３６は、リク
エストコード線５４とアドレス線５５を介してＥＭＵと
拡張記憶装置アダプタ（ＥＭＡ）とを接続し、また、拡
張記憶装置アダプタ（ＥＭＡ）内では、データ中継手段
３５内のキャッシュ制御手段３４、および、ＥＭＵ診断
手段３９と接続されている。（ＥＭＵへの）転送機能手
段３６は、キャッシュ制御手段３４からリクエストコー
ドとＥＭＵアドレスを受け取り、ＥＭＵへ送出する。ま
た、ＥＭＵ診断手段３９からもＥＭＵに対する診断のア
ドレスとリクエストコード（リード：ＥＭＵ→キャッシ
ュ手段）を受け取り、ＥＭＵへ送出する。

【００４５】ステータスレジスタ手段３７は、データ線
５７を介してＥＭＵと拡張記憶装置アダプタ（ＥＭＡ）
とを接続し、また、拡張記憶装置アダプタ（ＥＭＡ）内
では、ＥＭＵ診断手段３９と接続されている。ステータ
スレジスタ手段３７は、ＥＭＵへのアクセスが行われる
時、および、ＥＭＵ診断手段３９から（ＥＭＵへの）転
送機能手段３６へ、ＥＭＵに対する診断が要求される
時、ＥＭＵアクセス時のエラー情報データがセットされ
る。ステータスレジスタ手段３７は、ＥＭＵに対してリ
ード要求またはライト要求を行った時、ＥＭＵ上で何ら
かのエラーが発生した場合、エラーの表示を行う。ステ
ータスレジスタ手段３７のフォーマットは、図８で示さ
れる。

【００４６】ＥＭＵ診断手段３９は、診断線５８を介し
てサービスプロセッサと接続されている。拡張記憶装置
アダプタ（ＥＭＡ）内では、ステータスレジスタ手段３
７，（ＥＭＵへの）転送機能手段３６、および、論理的
接続指示手段３８と接続されている。ＥＭＵ診断手段３
９は、システム立ち上げ時、サービスプロセッサから診
断要求を受ける。サービスプロセッサから診断要求を受
けると、ＥＭＵに対して診断リクエストを（ＥＭＵへ
の）転送機能手段３６へ送出する。一方、ＥＭＵアクセ
スでエラーが発生した場合、ステータスレジスタ手段３
７にエラー情報データがセットされるので、該エラー情
報データをステータスレジスタ手段３７から受け取る。
ステータスレジスタ手段３７からエラー情報データを受
け取った場合、エラーの発生したＥＭＵの部分へのアク
セス不可を通知する目的で、論理的接続指示手段３８へ
エラー情報データを送出する。

【００４７】論理的接続指示手段３８は、拡張記憶装置
アダプタ（ＥＭＡ）内で、システムバスインタフェース
手段３２内のＥＭＵアドレス検出手段３１、ＥＭＵ診断
手段３９、および、セレクタ手段４０と接続される。論
理的接続指示手段３８は、ＥＭＵ診断手段３９からエラ
ーの発生したＥＭＵのアドレスを受け取る。そして、Ｅ
ＭＵアドレス検出手段３１へ該エラーの発生したＥＭＵ
アドレスを送出する。さらに、論理的接続指示手段３８
が異常を示すステータス情報をＥＭＵ診断手段３９から
受け取った時には、セレクタ手段４０を通して、主記憶
内の構成テーブルを更新するため、主記憶へのデータ転
送指示を行う。

【００４８】セレクタ手段４０は、システムバスインタ
フェース手段３２、データ中継手段３５内のキャッシュ
手段３３、および、論理的接続指示手段３８と接続され
ている。セレクタ手段４０は、キャッシュ手段３３→シ
ステムバスのデータ転送と、論理的接続指示手段３８→
システムバスのデータ転送との選択動作が行われる。セ
レクト信号は、論理的接続指示手段３８が異常を示すス
テータス情報をＥＭＵ診断手段３９から受け取った時に
はＯＮとなり、論理的接続指示手段３８→システムバス
のデータ転送が選択される。

【００４９】図４は、本発明の実施の形態におけるクラ
スタ内での主記憶上の構成テーブルを表示している。こ
の構成テーブルは各クラスタの主記憶内に必ず格納され
ている。

【００５０】構成テーブル内のＣＰＵ−０，ＣＰＵ−
１，…，ＣＰＵ−ｎに対応する０／１の表示は、ＣＰＵ
−０、ＣＰＵ−１、…、ＣＰＵ−ｎがシステムバスに接
続され、ＯＳが使用可能かどうかを表示している。ＣＰ
Ｕ−０、ＣＰＵ−１、…、ＣＰＵ−ｎに対応するビット
が０の場合、ＯＳは前記ビットが０に対応するＣＰＵに
対してアクセスを行わない。一方、ＣＰＵ−０、ＣＰＵ
−１、…、ＣＰＵ−ｎに対応するビットが１の場合、Ｏ
Ｓは、前記ビットが１に対応するＣＰＵに対してアクセ
スを行う。

【００５１】同様に、構成テーブル内のＩ／Ｏ−０、Ｉ
／Ｏ−１、…、Ｉ／Ｏ−ｎに対応する０／１の表示は、
Ｉ／Ｏバス０、Ｉ／Ｏバス１、…、Ｉ／Ｏバスｎがシス
テムバスに接続され、ＯＳが使用可能かどうかを表示し
ている。Ｉ／Ｏ−０、Ｉ／Ｏ−１、…、Ｉ／Ｏ−ｎに対
応するビットが０の場合、ＯＳは前記ビットが０に対応
するＩ／Ｏバスに対してアクセスを行わない。一方、Ｉ
／Ｏ−０、Ｉ／Ｏ−１、…、Ｉ／Ｏ−ｎに対応するビッ
トが１の場合、ＯＳは、前記ビットが１に対応するＩ／
Ｏバスに対してアクセスを行う。

【００５２】同様に、構成テーブル内のＭＵ−０、ＭＵ
−１、…、ＭＵ−ｎに対応する０／１の表示は、ＭＵ−
０、ＭＵ−１、…，ＭＵ−ｎ（ＭＵは主記憶の構成単
位）がシステムバスに接続され、ＯＳが使用可能かどう
かを表示している。ＭＵ−０、ＭＵ−１、…，ＭＵ−ｎ
に対応するビットが０の場合、ＯＳは前記ビットが０に
対応するＭＵに対してアクセスを行わない。一方、ＭＵ
−０、ＭＵ−１、…，ＭＵ−ｎに対応するビットが１の
場合、ＯＳは、前記ビットが１に対応するＭＵに対して
アクセスを行う。

【００５３】同様に、構成テーブル内のＥＵ−０、ＥＵ
−１、…、ＥＵ−ｎに対応する０／１の表示は、ＥＵ−
０、ＥＵ−１、…，ＥＵ−ｎ（ＥＵはＥＭＵの構成単
位）がシステムバスに接続され、ＯＳが使用可能かどう
かを表示している。ＥＵ−０、ＥＵ−１、…，ＥＵ−ｎ
に対応するビットが０の場合、ＯＳは前記ビットが０に
対応するＥＵに対してアクセスを行わない。一方、ＥＵ
−０、ＥＵ−１、…，ＥＵ−ｎに対応するビットが１の
場合、ＯＳは、前記ビットが１に対応するＥＵに対して
アクセスを行う。

【００５４】図５は、本発明の実施の形態におけるクラ
スタ内のメモリマッピングの様子を示している。メモリ
マッピングは、主記憶アドレスエリアとｍａｐｐｅｄＩ
／Ｏアドレスエリアとに分けられる。通常、主記憶アド
レスエリアのアドレスは、主記憶上の実アドレスに対応
する。一方、ｍａｐｐｅｄＩ／Ｏアドレスエリアは、Ｉ
／Ｏバス上のスロット、または、システムバス上のＣＰ
Ｕスロットのアドレスに対応する。

【００５５】本発明では、ＥＭＵに対するアドレスを主
記憶アドレスエリアの一部に取り込むことを行ってい
る。その結果、ＥＭＵへのアクセスも主記憶アドレスと
同様にして行うことが可能となるので、ＴＡＴの短いＥ
ＭＵとのデータ転送処理のサポートが可能となる。

【００５６】本発明の一実施の形態における動作の様子
を説明する。本発明の一実施の形態は、図１で示すよう
に、共有ディスク５、および、ＥＭＵ６により、クラス
タ１、２間でデータ共有を可能とする疎結合システムで
ある。

【００５７】ＣＰＵ、主記憶、Ｉ／Ｏを含むクラスタ上
で走行するＯＳが前記共有メモリ（ＥＭＵ）をアクセス
するためには、ＥＭＵに対するＯＳからのアクセスアド
レスの設定が必要となる。ＥＭＵアドレスの設定に関し
ては、図５のメモリマッピングからわかる通り、主記憶
アドレスエリアに設定するか、または、Ｉ／Ｏアドレス
エリアに設定するかのどちらかである。ＥＭＵ（ＥＭ
Ａ）アドレスをＩ／Ｏアドレスエリアに設定するやり方
に関する発明は、従来技術として、特開平６−２５０９
１５号公報や特開平１−９９１４１号公報で紹介されて
いる。拡張記憶装置アダプタ（ＥＭＡ）がＩ／Ｏアドレ
スエリアに設定される場合は、Ｉ／Ｏアクセスになるの
で、ソフトウェアによるＩ／Ｏの発行、プロセスの切替
え、Ｉ／Ｏ終了処理、等のためのオーバヘッドが発生す
る。その結果、ＥＭＵに対するデータ転送処理のＴＡＴ
が非常に長くなる。

【００５８】そこで、本発明では、ＥＭＵ（ＥＭＡ）ア
ドレスを主記憶エリアに設定することにより、ＥＭＵ
（ＥＭＡ）アドレスをＩ／Ｏアドレスエリアに設定した
場合のソフトウェアオーバヘッドを削減し、結果的に
は、ＥＭＵへのデータ転送処理のＴＡＴを短くすること
を実現している。

【００５９】また、ＥＭＵ（ＥＭＡ）アドレスを主記憶
アドレスエリアに設定することにより、アプリケーショ
ンプログラムからでも簡単にＥＭＵアクセスを可能とし
ている。

【００６０】ＥＭＵは、元々外部記憶装置であるので、
データ転送は、主記憶−ＥＭＵ間で行われる。この転送
動作の実現方法について、図３のフローチャートを使用
して説明する。ＥＭＵへのアクセスの方法は、図３のフ
ローチャートで示される通り、主記憶へのアクセス用の
リード命令，ライト命令が使用される。

【００６１】まず、主記憶→ＥＭＵへのデータ転送の場
合について説明する。ソフトウェアプログラムが、主記
憶→ＥＭＵへのデータ転送を行う場合、主記憶→ＥＭＵ
のデータ転送実行のためのソフトウェア処理をサブルー
チンコールする（ステップ１）。前記サブルーチンコー
ルが起動されると、１ワードずつ転送が開始されること
になる。ステップ２の実行により、ＬＯＡＤ命令が実行
され、Ｍ−ａｄｒで指定される主記憶上の１ワードが取
り出され、ＣＰＵ内の汎用レジスタであるＡレジスタへ
ロードされる。ステップ３の実行により、ＳＴＯＲＥ命
令が実行され、前記Ａレジスタへロードされた１ワード
がアドレスＥ−ａｄｒで指定されるＥＭＵへ書き込まれ
る。ステップ４の実行により、主記憶に対する次リード
アドレス、および、ＥＭＵに対する次ライトアドレスが
準備（インクリメント）される。ステップ５の実行によ
り、転送サイズがデクリメントされる。ステップ６の実
行により、転送サイズの残りが０になっていないかどう
かがチェックされる。転送サイズの残りが０になってい
ないのなら、ステップ２へ制御が戻される。転送サイズ
の残りが０になったなら、前記サブルーチン処理は終了
し、主記憶→ＥＭＵのデータ転送実行のためのソフトウ
ェアサブルーチンコールを行ったソフトウェアへ復帰さ
れる（ステップ７）。

【００６２】次に、ＥＭＵ→主記憶へのデータ転送の場
合について説明する。ソフトウェアプログラムが、ＥＭ
Ｕ→主記憶へのデータ転送を行う場合、ＥＭＵ→主記憶
のデータ転送実行のためのソフトウェア処理をサブルー
チンコールする（ステップ１１）。前記サブルーチンコ
ールが起動されると、１ワードずつ転送が開始されるこ
とになる。ステップ１２の実行により、ＬＯＡＤ命令が
実行され、Ｅ−ａｄｒで指定されるＥＭＵ上の１ワード
が取り出され、ＣＰＵ内の汎用レジスタであるＡレジス
タへロードされる。ステップ１３の実行により、ＳＴＯ
ＲＥ命令が実行され、前記Ａレジスタへロードされた１
ワードがアドレスＭ−ａｄｒで指定される主記憶へ書き
込まれる。ステップ１４の実行により、主記憶に対する
次リードアドレス、および、ＥＭＵに対する次ライトア
ドレスが準備（インクリメント）される。ステップ１５
の実行により、転送サイズがデクリメントされる。ステ
ップ１６の実行により、転送サイズの残りが０になって
いないかどうかがチェックされる。転送サイズの残りが
０になっていないのなら、ステップ１２へ制御が戻され
る。転送サイズの残りが０になったなら、前記サブルー
チン処理は終了し、ＥＭＵ→主記憶のデータ転送実行の
ためのソフトウェアサブルーチンコールを行ったソフト
ウェアへ復帰される（ステップ１７）。

【００６３】以上のようにして、主記憶−ＥＭＵ間のデ
ータ転送が主記憶−主記憶間のデータ転送と同じように
して実行可能である。

【００６４】上記実行ステップ１〜７，１１〜１７の中
で、ステップ３およびステップ１２が本発明の最も特徴
的である拡張記憶装置アダプタ（ＥＭＡ）の動作が含ま
れる。ステップ３とステップ１２の動作について、図２
を使用して、さらに詳しく説明を行う。

【００６５】まず、ステップ３での拡張記憶装置アダプ
タ（ＥＭＡ）の動作について説明する。ＳＴＯＲＥＥ
−ａｄｒＡ命令が実行されるＣＰＵは、ＣＰＵ内の汎
用レジスタであるＡレジスタの内容を転送データとし、
ＥＭＵへのライトアドレスとなるＥ−ａｄｒ、および、
ライトリクエストコマンドを、システムバス上に両者を
送出する。一方、拡張記憶装置アダプタ（ＥＭＡ）内の
システムバスインタフェース手段３２は、該システムバ
スインタフェース手段３２内のＥＭＵアドレス検出手段
３１を使用して、常時、システムバスに対し、ＥＭＵア
ドレスをスヌープしている。システムバスインタフェー
ス手段３２は、ＥＭＵへのライトアドレスであるＥ−ａ
ｄｒを検出すると、ただちに、Ｅ−ａｄｒに対応するア
ドレス、リクエストコード（この場合は、ライトリクエ
スト）、および、データを取り込む。続いて、システム
バスインタフェース手段３２は、前記取り込んだアドレ
スと該リクエストコードをデータ中継手段３５内のキャ
ッシュ制御手段３４へ送出し、前記取り込んだデータ
は、データ中継手段３５内のキャッシュ手段３３へ送出
する。

【００６６】リクエストコードがライトリクエストであ
るので、キャッシュ制御手段３４は、アドレスとリクエ
ストコマンドをそのまま（ＥＭＵへの）転送機能手段３
６へ送出する。（ＥＭＵへの）転送機能手段３６は、キ
ャッシュ制御手段３４から送付されたライトリクエスト
のリクエストコードに従い、ＥＭＵへの書き込み動作を
ＥＭＵに対して指示する。ＥＭＵへの書き込み指示は、
アドレス線を使用して行われる。

【００６７】一方、ＥＭＵへの書き込みが失敗した場
合、すなわち、ＥＭＵへの書き込み動作中に何らかのエ
ラーが発生した場合、エラー情報がステータスレジスタ
手段３７へセットされる。

【００６８】次に、ステップ１２での拡張記憶装置アダ
プタ（ＥＭＡ）の動作について説明する。ＬＯＡＤＥ
−ａｄｒＡ命令が実行されるＣＰＵは、ＣＰＵ内の汎
用レジスタであるＡレジスタへＥＭＵからのリードデー
タを格納するため、ＥＭＵへのリードアドレスとなるＥ
−ａｄｒ、および、リードリクエストコマンドを、シス
テムバス上に送出する。拡張記憶装置アダプタ（ＥＭ
Ａ）内のシステムバスインタフェース手段３２は、該シ
ステムバスインタフェース手段３２内のＥＭＵアドレス
検出手段３１を使用して、常時、ＥＭＵアドレスをスヌ
ープしている。システムバスインタフェース手段３２
は、ＥＭＵへのリードアドレスであるＥ−ａｄｒを検出
すると、ただちに、Ｅ−ａｄｒに対応するアドレス、お
よび、リクエストコード（この場合はリードリクエス
ト）を取り込む。続いて、システムバスインタフェース
手段３２は、前記取り込んだアドレス、および、リクエ
ストコードをデータ中継手段３５内のキャッシュ制御手
段３４へ送出する。キャッシュ制御手段３４は、キャッ
シュ手段３３内に該アドレスに対応するデータが存在す
るかどうかのチェックを行う。

【００６９】もし、キャッシュ手段３３内に該アドレス
に対応するデータが存在する場合、キャッシュ制御手段
３４は、キャッシュ手段３３に対し、該データをシステ
ムバスインタフェース手段３２へ送出するように指示す
る。

【００７０】もし、キャッシュ手段３３内に該アドレス
に対応するデータが存在しない場合、キャッシュ制御手
段３４は、（ＥＭＵへの）転送機能手段３６に対し、該
アドレスと該（リード）リクエストコマンドを送出す
る。（ＥＭＵへの）転送機能手段３６は、キャッシュ制
御手段３４から送付されたリードリクエストのリクエス
トコードに従い、ＥＭＵへの読み出し動作をＥＭＵに対
して指示する。ＥＭＵへの読み出し指示は、アドレス線
を使用して行われる。

【００７１】また、ＥＭＵからのリードデータがデータ
中継手段３５内のキャッシュ手段３３へ格納される。続
いて、ＥＭＵからのリードデータは、キャッシュ手段３
３から、セレクタ手段４０を経て、システムバスインタ
フェース手段３２へ送出される。システムバスインタフ
ェース手段３２は、前記ＥＭＵからのリードデータの要
求元のＣＰＵに対して、前記ＥＭＵからのリードデータ
を送出する。

【００７２】一方、ＥＭＵへの読み出しが失敗した場
合、すなわち、ＥＭＵへの読み出し動作中に何らかのエ
ラーが発生した場合、エラー情報がステータスレジスタ
手段３７へセットされる。（ステータスレジスタ手段３
７へエラー情報がセットされる場合の説明については、
後述する。）

【００７３】以上のようにして、ＥＭＵに対するリード
要求とライト要求が実行される。図３のフローチャート
で示すとおり、主記憶−ＥＭＵ間のデータ転送がサブル
ーチンコールで実行可能となるので、前記主記憶−ＥＭ
Ｕ間のデータ転送処理のＴＡＴを非常に短くすることが
できる。

【００７４】次に、システム立ち上げ時における拡張記
憶装置アダプタ（ＥＭＡ）の動作について説明する。シ
ステム立ち上げの起動は、まず、オペレータがサービス
プロセッサをアクセスすることにより行われる。続い
て、サービスプロセッサが拡張記憶装置アダプタ（ＥＭ
Ａ）での初期化動作の起動を行う。

【００７５】ＥＭＵ診断手段３９は、ＥＭＵアドレスに
対し、或る一定のアドレス間隔毎に（たとえば、１ワー
ドアドレス毎，１０２４ワード毎，実装単位毎、な
ど）、リード要求を送出し、ＥＭＵ上でのリード動作の
正常または異常終了の情報を得る。異常終了通知を受け
取った場合には、ＥＭＵ診断手段３９は、該リードアド
レスに対するＥＭＵのメモリに障害があるか、または、
実装されていない、という判断を下す。

【００７６】ＥＭＵ診断手段３９での拡張記憶装置アダ
プタ（ＥＭＡ）に対する初期化処理は、図６のフローチ
ャートで示される。サービスプロセッサが、拡張記憶装
置アダプタ（ＥＭＡ）内のＥＭＵ診断手段３９へ初期化
要求を行うと、図６で示される初期化処理フローに従
い、ＥＭＵ診断手段３９での初期化処理が実行される。
まず、ＥＭＵ診断手段３９は、ＥＭＵに対するリード要
求に対するアドレス、すなわち、ＥＭＵ上のメモリの開
始アドレスを設定する（ステップ２１）。次に、ステッ
プ２２の実行により、ＥＭＵ診断手段３９は、リードリ
クエストコードとリードアドレスを（ＥＭＵへの）転送
機能手段３６へ送出する。（ＥＭＵへの）転送機能手段
３６は、ＥＭＵに対し、ＥＭＵ診断手段３９から受け取
ったリードリクエストコードとリードアドレスを送出す
る。ＥＭＵに対するリード動作の正常または異常の結果
がステータスレジスタ手段３７へ格納される（ステップ
２３）。ＥＭＵ診断手段３９は、ステップ２４の実行に
より、ステータスレジスタ手段３７に格納されたステー
タス情報、すなわち、リード動作の正常または異常終了
通知のリードを行う。その結果を論理的接続指示手段３
８へ送出する（ステップ２５）。該ステータス情報を受
け取った論理的接続指示手段３８は、後述の通り、図７
で示される処理フローに従い、初期化処理を行う。

【００７７】ＥＭＵ診断手段３９は、次にステップ２６
の実行を行い、ＥＭＵに対する次リード要求のためのＥ
ＭＵリードアドレスを設定する。新しく設定されたアド
レスがＥＭＵアドレスの最大値を超えていなければ、ス
テップ２２〜２６の実行を繰り返す。若し、該新しく設
定したアドレスがＥＭＵの最大値を越えていたなら、Ｅ
ＭＵ診断手段３９での初期化動作は終了する。

【００７８】論理的接続指示手段３８での拡張記憶装置
アダプタ（ＥＭＡ）に対する初期化処理は、図７のフロ
ーチャートで示される。サービスプロセッサが、拡張記
憶装置アダプタ（ＥＭＡ）内のＥＭＵ診断手段３９へ初
期化要求を行い、続いて、ＥＭＵ診断手段３９が論理的
接続指示手段３８へ初期化要求を行うと、図７で示され
る初期化処理フローに従い、論理的接続指示手段３８で
の処理が実行される。

【００７９】論理的接続指示手段３８は、ＥＭＵ診断手
段３９からＥＭＵアドレスと該ＥＭＵアドレスに対する
ステータス情報を受け取る（ステップ３１）。続いて、
ステップ３２の実行により、該ステータス情報に対する
正常または異常の判定を行う。

【００８０】もし、該ステータス情報が正常終了通知を
示している場合、ステップ３４の実行により、ＥＭＵア
ドレス検出手段３１へ該正常終了通知に対するＥＭＵの
アドレス登録を指示する。こうすることで、システムバ
スインタフェース手段３２は、アクセス可能なＥＭＵア
ドレスの情報を獲得できるようになるので、システムバ
スインタフェース手段３２は、システムバス上にあるＥ
ＭＵアドレスを検出することが可能となる。

【００８１】また、該ステータス情報が異常終了通知を
示している場合、図４で示される主記憶内にある構成テ
ーブルに対し、異常終了通知を受け取ったアドレスに対
応するＥＭＵの構成単位のビットを０にセットするた
め、ステップ３５の実行により、論理的接続指示手段３
８は、セレクタ手段４０に対し、論理的接続指示手段３
８からの送出データをセレクトするよう指示し、ａｌｌ
０データをセレクタ手段４０へ送出する。同時に、主記
憶内にある構成テーブルに対し、異常終了通知を受け取
ったアドレスに対応するＥＭＵの構成単位のビットを含
む主記憶アドレスに対し、該主記憶アドレスと（ライ
ト）リクエストコードをシステムバスインタフェース手
段３２へ送出する。

【００８２】こうすることで、主記憶内の構成テーブル
でＥＭＵに対する構成ビットが、ＥＭＵ使用可または不
可の情報を反映するので、ＯＳは、使用不可能なＥＭＵ
のエリアを知ることができる。従って、ＯＳは、使用不
可能なＥＭＵのエリアに対し、不具合なアクセスを行う
ことが回避される。

【００８３】もちろん、該ステータス情報が異常終了通
知を示している場合、論理的接続指示手段３８は、ＥＭ
Ｕアドレス検出手段３１へ該異常終了通知に対するＥＭ
Ｕのアドレス登録は行わない。

【００８４】ＥＭＵ診断手段３９からの初期化終了通知
を受け取るまで、論理的接続指示手段３８は、ステップ
３１〜３５の実行を繰り返す。また、ＥＭＵ診断手段３
９からの初期化終了通知を受け取ると、論理的接続指示
手段３８は、ステップ３７の実行へ移行する（ステップ
３６）。ステップ３７の実行により、論理的接続指示手
段３８は、セレクタ手段４０に対し、論理的接続指示手
段３８からの送出データのセレクト指示を解除する。ス
テップ３７の実行が終了すると、論理的接続指示手段３
８での初期化処理が終了する。

【００８５】上述のような拡張記憶装置アダプタ（ＥＭ
Ａ）に対する初期化処理が行われることにより、主記憶
内の構成テーブルのＥＭＵ構成ビットがアクセス可能な
ＥＭＵエリアの反映、および、システムバスインタフェ
ース手段３２内のＥＭＵアドレス検出手段３１に対しア
クセス可能なＥＭＵアドレスの登録、を実現できる。前
者は、ＯＳがアクセス可能なＥＭＵエリアを知るのに役
立ち、また、後者は、ＯＳの不正動作によるアクセス不
可能なＥＭＵエリアへのアクセスを回避するのに役立
つ。（アクセス不可能なＥＭＵエリアへのアクセスが行
われると、システムはハングアップ状態になる。）

【００８６】次に、ステータスレジスタ手段３７で格納
されるステータス情報について説明する。該ステータス
情報は、図８で示される。

【００８７】図８で示される通り、ステータスレジスタ
手段３７は、正常／異常通知フィールド１０１，ＥＭＵ
アクセスアドレスフィールド１０２，ＥＵ障害表示フィ
ールド１０３，全ＥＵ障害表示フィールド１０４，ＥＭ
Ｕポート制御部障害表示フィールド１０５、および、Ｅ
ＭＵ共通制御部障害表示フィールド１０６とからなるス
テータス情報を保持する。

【００８８】正常／異常通知フィールド１０１は、１ビ
ット（または１バイト）で構成されており、正常／異常
通知フィールド１０１＝１のとき、ＥＭＵアクセスで何
らかの障害が発生したことを示す。また、正常／異常通
知フィールド１０１＝０のとき、ＥＭＵアクセスでは障
害が発生せずに正常にリードまたはライト動作が実現で
きたことを示す。

【００８９】ＥＭＵアクセスアドレスフィールド１０２
は、正常／異常通知フィールド１０１＝１、すなわち、
障害が発生した時の、ＥＭＵアクセスのＥＭＵアクセス
アドレスを示す。

【００９０】ＥＵ障害表示フィールド１０３は、ＥＵ障
害表示フィールド１０３＝１のとき、正常／異常通知フ
ィールド１０１＝１、すなわち、障害が発生した時の、
ＥＭＵのメモリ上の障害がＥＭＵの構成単位のひとつで
あるＥＵの範囲内に閉じていることを示す。

【００９１】全ＥＵ障害表示フィールド１０４は、全Ｅ
Ｕ障害表示フィールド１０４＝１のとき、正常／異常通
知フィールド１０１＝１、すなわち、障害が発生した時
の、ＥＭＵのメモリ上の障害がＥＭＵの構成単位のひと
つであるＥＵの範囲内を越えて複数のＥＭＵにまたがる
障害であることを示す。

【００９２】ＥＭＵポート制御部障害表示フィールド１
０５は、ＥＭＵポート制御部障害表示フィールド１０５
＝１のとき、正常／異常通知フィールド１０１＝１、す
なわち、障害が発生した時の、障害がクラスタとＥＭＵ
を接続するＥＭＵ側の接続部分で発生したことを示す。

【００９３】ＥＭＵ共通制御部障害表示フィールド１０
６は、ＥＭＵ共通制御部障害表示フィールド１０６＝１
のとき、正常／異常通知フィールド１０１＝１、すなわ
ち、障害が発生した時の、障害がＥＭＵ全体の制御にか
かる部分で発生したことを示す。

【００９４】上述のようなステータス情報が、ステータ
スレジスタ手段３７に格納される。

【００９５】次に、通常運用時、ＥＭＵへのアクセスが
なされ、ステータスレジスタ手段３７に対し異常通知が
なされた場合、ステータスレジスタ手段３７は、ＥＭＵ
診断手段３９へＥＭＵアクセスでの異常があったことを
報告する。また、ステータスレジスタ手段３７は、異常
通知を含むステータス情報をＥＭＵ診断手段３９へ送出
する。オペレータは、サービスプロセッサをアクセスす
ることにより、ＥＭＵで異常が発生した部位（ＥＭＵア
クセスアドレスを含む）を知ることができる。

【００９６】また、ＥＭＵ診断手段３９は、論理的接続
指示手段３８へステータス情報を通知する。論理的接続
指示手段３８は、ＥＭＵアドレス検出手段３１に対し、
異常が発生したＥＭＵアドレスの登録を削除するよう指
示する。該削除指示を受け取ったＥＭＵアドレス検出手
段３１は、異常が発生したＥＭＵアドレスに対するエン
トリをクリアする。（その結果、システムバスに対しリ
プライが返却されないので、システムバスがハングアッ
プ状態になり、クラスタ自体は、タイムアウトにより再
立ち上げが行われる。クラスタの再立ち上げ処理時、論
理的接続指示手段３８は、システム立ち上げ時同様、該
主記憶内の構成テーブルに対して、異常通知を発生した
ＥＭＵエリアの使用不可を反映するよう、更新要求を送
出する。）

【００９７】最後に、ＥＭＵ−共有ディスク間でのデー
タ転送について補足する。従来、ＥＭＵ−共有ディスク
間でのデータ転送では、ＥＭＵ−主記憶−共有ディスク
間での２ステップによる転送が行われていたが、ＥＭＵ
をシステムバスに直結することにより、ＥＭＵ−共有デ
ィスク間での直接転送が可能となる。すなわち、ＥＭＵ
−共有ディスク間でのデータ転送は、主記憶−外部装置
でのデータ転送同様の制御（いわゆる入出力（Ｉ／Ｏ）
制御）となる。この場合の転送は、共有ディスクがＩ／
Ｏアドレス空間に接続されているので、Ｉ／Ｏ処理とな
り、アプリケーションプログラム、ＯＳカーネル、Ｉ／
Ｏドライバ、間でのプロセスの切り替えは必要となる。
図３の処理フローで示されるデータ転送のためのサブル
ーチンは、Ｉ／Ｏドライバの中で呼び出される。但し、
主記憶を示すＭ−ａｄｒは、共有ディスクを接続してい
るＩ／Ｏ制御カードで定義されているアドレスと解釈さ
れる。

【００９８】

【発明の効果】

【００９９】第１の効果は、通常のＵＮＩＸサーバでデ
ィスク共有型の（Ｓｈａｒｅｄ−ｄｉｓｋ方式の）クラ
スタを構成し、共有ディスクの他にも、ＥＭＵを共有メ
モリとして接続するような疎結合システムにおいて、ク
ラスタとＥＭＵ間で同期転送が実現でき、ＥＭＵに対す
るデータ転送処理のＴＡＴを（Ｉ／ＯアクセスによるＥ
ＭＵ−クラスタ間のデータ転送の場合より）短くできる
ことである。

【０１００】その理由は、ＥＭＵが外部記憶装置である
にもかかわらず、ＥＭＵとクラスタを接続する本発明の
拡張記憶装置アダプタ（ＥＭＡ）をクラスタ内のシステ
ムバスに接続し、かつ、メモリマッピング上、ＥＭＵを
主記憶アドレスエリアに設定することにより、ソフトウ
ェアからは、ＥＭＵを主記憶の一部としているためであ
る。

【０１０１】第２の効果は、通常のＵＮＩＸサーバでデ
ィスク共有型の（Ｓｈａｒｅｄ−ｄｉｓｋ方式の）クラ
スタを構成し、ＥＭＵを共有メモリとして接続するよう
な疎結合システムにおいて、拡張記憶装置アダプタ（Ｅ
ＭＡ）をクラスタ内のシステムバスに直結する場合、Ｅ
ＭＵが主記憶として扱われるに伴い、ＥＭＵは、主記憶
同様、ＥＭＵの構成情報が主記憶の構成情報に組み込ま
れ、その結果、ＥＭＵの構成情報（ＥＭＵにどれくらい
のメモリ容量が実装され、かつ、使用可能なエリアはど
れくらいかを示す情報）がＯＳに伝えられることであ
る。

【０１０２】その理由は、システム立ち上げ時、ＥＭＵ
に対する診断を行い、その診断結果に基づき、主記憶内
の構成テーブルのＥＭＵ対応ビットを更新すること、お
よび、システム立ち上げ後のＥＭＵアクセスにおいて障
害が検出れた場合、障害が検出されたＥＭＵの構成部品
を主記憶内のＥＭＵ対応ビットに反映させる手段を設け
たためである。

【０１０３】第３の効果は、通常のＵＮＩＸサーバでデ
ィスク共有型の（Ｓｈａｒｅｄ−ｄｉｓｋ方式の）クラ
スタを構成し、ＥＭＵを共有メモリとして接続するよう
な疎結合システムにおいて、拡張記憶装置アダプタ（Ｅ
ＭＡ）をクラスタ内のシステムバスに直結する場合、Ｅ
ＭＵが主記憶として扱われるに伴い、ＥＭＵを共有ディ
スクに対する主記憶内のスワップ対象エリア、すなわ
ち、ＥＭＵを共有ディスクに対するバッファキャッシュ
として使用でき、しかも、従来、共有ディスク−主記憶
−ＥＭＵ間の２ステップによる転送処理がＥＭＵ−共有
ディスク間での直接転送が可能となる。

【０１０４】その理由は、ＥＭＵが外部記憶装置である
にもかかわらず、ＥＭＵとクラスタを接続する本発明の
拡張記憶装置アダプタ（ＥＭＡ）をクラスタ内のシステ
ムバスに接続し、かつ、メモリマッピング上、ＥＭＵを
主記憶アドレスエリアに設定することにより、ソフトウ
ェアからは、ＥＭＵを主記憶の一部としているためであ
る。

【図面の簡単な説明】

【図１】本発明の実施の形態が適用される疎結合データ
処理システムのブロック図である。

【図２】本発明における拡張記憶装置アダプタ（ＥＭ
Ａ）のブロック図である。

【図３】本発明でのＥＭＵアクセスのＳＷ処理フローチ
ャートである。

【図４】本発明における主記憶内構成テーブルの一例を
示す図である。

【図５】本発明におけるメモリマッピングを示す図であ
る。

【図６】ＥＭＵ診断手段での初期化動作フローチャート
である。

【図７】論理的接続指示手段での初期化動作フローチャ
ートである。

【図８】ステータスレジスタ手段のフォーマットの一例
を示す図である。

【符号の説明】

１クラスタ２クラスタ３非共有ディスク４非共有ディスク５共有ディスク６拡張記憶装置（ＥＭＵ）７ＣＰＵ８ＣＰＵ９主記憶１０主記憶１１サービスプロセッサ１２サービスプロセッサ１３システムバス１４システムバス１５Ｉ／Ｏバス１６Ｉ／Ｏバス１７Ｉ／Ｏ制御カード１８Ｉ／Ｏ制御カード１９Ｉ／Ｏ制御カード２０Ｉ／Ｏ制御カード２１拡張記憶装置アダプタ（ＥＭＡ）２２拡張記憶装置アダプタ（ＥＭＡ）３１ＥＭＵアドレス検出手段３２システムバスインタフェース手段３３キャッシュ手段３４キャッシュ制御手段３５データ中継手段３６（ＥＭＵへの）転送機能手段３７ステータスレジスタ手段３８論理的接続指示手段３９ＥＭＵ診断手段４０セレクタ手段５１リクエストコード線５２アドレス線５３データ線５４リクエストコード線５５アドレス線５６データ線５７データ線１０１正常／異常通知フィールド１０２ＥＭＵアクセスアドレスフィールド１０３ＥＵ障害表示フィールド１０４全ＥＵ障害表示フィールド１０５ＥＭＵポート制御部障害表示フィールド１０６ＥＭＵ共通制御部障害表示フィールド

Claims

【特許請求の範囲】

【請求項１】複数のＣＰＵと、主記憶と、前記複数の
ＣＰＵと前記主記憶とを接続するシステムバスと、サー
ビスプロセッサとを含むクラスタと、前記クラスタを複
数有し、前記複数のクラスタからそれぞれ接続される拡
張記憶装置とを含み、オペレーティングシステム（Ｏ
Ｓ）によって前記ＣＰＵ，前記主記憶，前記拡張記憶装
置の接続情報として使用される構成テーブルが、システ
ム立上げ時に前記サービスプロセッサによって前記主記
憶上に作成されるような疎結合データ処理システムにお
いて、前記システムバスおよび前記拡張記憶装置に接続され、前記拡張記憶装置のうち使用可能なアドレスを保持する
ＥＭＵアドレス検出手段を含み、前記システムバスと接
続されるシステムバスインタフェース手段と、前記システムバスインタフェース手段および前記拡張記
憶装置とデータの授受を行うキャッシュ手段と、前記キ
ャッシュ手段の制御を行うキャッシュ制御手段とを含む
データ中継手段と、前記キャッシュ制御手段に接続され、前記キャッシュ制
御手段からＥＭＵへのアクセス指示を受け、前記ＥＭＵ
へのアクセス指示を前記拡張記憶装置へ送出する（ＥＭ
Ｕへの）転送機能手段と、前記（ＥＭＵへの）転送機能手段からの指示により前記
拡張記憶装置へのアクセスが行われた時のステータス情
報を保持するステータスレジスタ手段と、を含み、前記疎結合データ処理システム立上げ時、前記拡張記憶
装置へのアクセス要求を前記（ＥＭＵへの）転送機能手
段へ送出し、前記拡張記憶装置へのアクセス要求に対す
るステータス情報を前記ステータスレジスタ手段から受
け取り、前記ステータス情報を送出するＥＭＵ診断手段
と、前記ＥＭＵ診断手段より前記ステータス情報を受け取
り、前記ステータス情報が正常の場合には、前記正常に
アクセスが行われたことを示しているステータス情報に
対応する拡張記憶装置アクセスアドレスの登録を前記Ｅ
ＭＵアドレス検出手段へ指示し、また、前記ステータス
情報が異常の場合には、前記異常があったことを示して
いるステータス情報に対応する拡張記憶装置アドレスに
対し、前記主記憶内の構成テーブルのエントリを、使用
不可を意味するデータへ変更するよう指示する論理的接
続指示手段と、を含む拡張記憶装置アダプタ（ＥＭＡ）
を有することを特徴とするクラスタ間共有メモリアクセ
ス方式。
【請求項２】前記主記憶から前記拡張記憶装置へデー
タを転送する場合、前記主記憶上のデータをロード命令
によってリードし且つ該リードしたデータをストア命令
によって前記拡張記憶装置にライトする処理を行うサブ
ルーチンを実行する構成を有することを特徴とする請求
項１記載のクラスタ間共有メモリアクセス方式。
【請求項３】前記拡張記憶装置から前記主記憶へデー
タを転送する場合、前記拡張記憶装置上のデータをロー
ド命令によってリードし且つ該リードしたデータをスト
ア命令によって前記主記憶上にライトする処理を行うサ
ブルーチンを実行する構成を有することを特徴とする請
求項１または２記載のクラスタ間共有メモリアクセス方
式。