JP2829674B2 - ディスク制御装置のシャットダウン方法および立ち上げ方法ならびにディスク制御装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明はディスク制御装置におけるシャットダウン方
法及び立ち上げ方法ならびにディスク制御装置に関わ
り、特に独立な電源境界を有し、共有メモリを介して並
列に動作する複数のクラスタからなるディスク制御装置
のシャットダウン及び立ち上げ簡便かつ好適な方法なら
びにディスク制御装置である。

［従来の技術］ 従来のディスク制御装置の構成は、１つのディスク制
御装置を、電源境界（独立にオン／オフできる電源系
統）を異にする２つの独立したクラスタから構成し、１
つのクラスタが故障した場合でも、他のクラスタを稼動
させたまま、ダウンしたクラスタのメンテナンスをシス
テム稼動中に行なって復帰させることを狙ったものであ
る。［文献ジム・コロシモ「拡張ストレージ・サブシス
テム」（ACCESS:MAR/APR,1988）］ ［発明が解決しようとする問題点］ 上記文献に示されたディスク制御装置における電源境
界を異にする２つの独立したクラスタ間には共有メモリ
が存在しない。このため、クラスタ間の共通制御情報は
外部記憶媒体、例えばシステムディスク等、から同一制
御情報をそれぞれのクラスタ内のメモリにロードし、そ
れぞれのクラスタで参照する。しかし、外部記憶媒体上
の共通制御情報に更新が発生すると、クラスタ内のメモ
リ上にロードしていた共通制御情報を一旦無効にした後
に外部記憶媒体から最新の共通制御情報を再ロードする
という操作が必要であり、両クラスタの上の共通制御情
報を同時に確実に無効化するためのクラスタ間通信機構
が複雑になる。また、更新頻度が多くなると共通制御情
報の更新や再ロードのオーバヘッドが大きくなる。

これに対し、電源境界を異にする複数のクラスタ間に
共有メモリをおき、共有メモリ上の共通制御情報を参照
・更新する、いわゆる共有メモリ構成とすればオーバヘ
ッドが少なく、この問題を容易に解決することができ
る。しかし他方で、ディスク制御装置のシャットダウン
時に、共有メモリ上の最新の共通制御情報を不揮発性の
記憶媒体に確実に退避する必要性が生じ、個々のクラス
タをシャットダウンする順序の制御が必要になる。これ
を厳密に行なうためには、すべてのクラスタの生死状態
を共有メモリ上に反映させ、それをもとに各クラスタで
の退避操作の実行可否を決定する必要が有り、クラスタ
間の複雑な同期／排他制御が必要となるという問題があ
った。

共有メモリで結合された複数のクラスタから構成され
るディスク制御装置を簡便に実現するためには、この問
題を技術的に解決することが必要である。

［問題点を解決するための手段］ 共有メモリで接続した複数のクラスタから構成される
ディスク制御装置において、共有メモリ上の共通制御情
報の更新回数を記憶しており、各クラスタ毎のシャット
ダウン時には、共有メモリ上の共通制御情報の更新回数
と不揮発性記憶媒体上に器に記憶されている引継ぎ制御
情報鮮度の値を比較し、前者の方が大きければ、共有メ
モリ上の共通制御情報の更新回数をあらかた引継ぎ制御
情報鮮度とし、共通制御情報とともに不揮発性記憶媒体
上に退避し、不揮発性記憶媒体上の当該クラスタアに対
応する引継ぎ有効性判定情報を有効とし、前者と後者の
値が等しければ、共有メモリ上の共通制御情報の退避操
作と引継ぎ情報鮮度の更新は行なわずに、当該クラスタ
に対応する引継ぎ有効性判定情報のみを有効として共通
制御情報を引継ぐ。

また、ディスク制御装置の立ち上げにおいて、引継ぎ
有効性判定情報をもとに、このディスク制御装置を構成
するすべてのクラスタについて、引継ぎ有効性情報が有
効である場合のみ、不揮発性記憶媒体上に退避していた
共通制御情報を共有メモリ上にロードし、各クラス毎の
立ち上げ完了時に、不揮発記憶媒体上の各クラスタに対
応する引継ぎ有効性判定情報をすべて無効化する。

［作用］ 本発明の方法ならびに装置によれば、クラスタ単位、
またはディスク制御装置全体のシャットダウン時及び立
ち上げ時には、他のクラスタの生死状態とは無関係に各
クラスタがシャットダウン時に行うべき共通制御情報の
退避操作を実行すること及び立ち上げの制御が可能とな
り、かつディスク制御装置全体の立ち上げ時には、共有
メモリの内容が揮発していた場合でも、シャットダウン
前後での整合性を保証した形で共通制御情報を共有メモ
リに再設定することができる。

また、共有メモリを介して接続された複数のクラスタ
からなるディスク制御装置におけるシャットダウン及び
立ち上げの制御を確実に、かつ簡便におこなうことがで
きるディスク制御装置を容易に実現することができる。

［実施例］ 第１図は本発明の１実施例であるキャッシュ付ディス
ク制御装置100の構成例である。ディスク制御装置100
は、チャネル制御装置106を介してホストコンピュータ
と接続し、ホストコンピュータとディスクドライブ1,2,
〜,n（ドライブともよぶ）107〜109との間のデイスクの
入出力を制御する装置である。ディスク制御装置100
は、スイッチ111,112により、独立に電源オン／オフで
きるコンポーネントであるクラスタ０（101）とクラス
タ１（102）の２つのクラスタから構成される。クラス
タ０（クラスタ１）はさらに、チャネルインタフェース
1010（1020）、プロセッサ1011,1012（1021,1022）サー
ビスプロセッサ1013（1023）、ドライブインタフェース
1014,1015（1024,1025）から構成される。それぞれのク
ラスタ内のすべてのプロセッサはディスクキャッシュ10
4、及び共有メモリ103と接続される。

ディスクキャッシュ104の機能は、各クラスタのプロ
セッサがドライブからデータを読みだし、チャネル制御
装置にデータを転送する際に、ディスクキャッシュにデ
ータを格納しておくことにより、次の同一データの読み
だしをディスクキャッシュから高速に行うことである。
（ドライブへのレコードデータ書き込み時は、当該レコ
ードに対応するディスクキャッシュ上のデータは破棄さ
れる）。次に、共有メモリ103の機能は、各プロセッサ
がデータ転送処理を行なうに当って認識すべき共通制御
情報を格納しておき、それを各プロセッサが効率的に参
照／更新するためのメモリである。共通制御情報として
は、例えばディスクに対するプロセッサのアクセスを排
他制御するためのロック情報、プロセッサに対し上記デ
ィスクキャッシュの使用可否をホストコンピュータが指
示する情報等がある。本実施例においては、共有メモリ
はバッテリ113によりバックアップされているものとす
る。また、内蔵ディスク105は共通制御情報のうち、デ
ィスク制御装置のシャットダウンを介して引き継ぐべき
情報を格納するための不揮発記憶媒体であり、各クラス
タ内の任意のプロセッサから、自クラスタのサービスプ
ロセッサを介してアクセス可能である。クラスタ電源ス
イッチ111,112は、クラスタ０、クラスタ１をそれぞれ
独立に電源オン／オフするためのものであり、各クラス
内のP/S制御レジスタ114,115により、電源オン／オフ動
作をさせることができる。

第５図は、本実施例において、ディスク制御装置のシ
ャットダウン時に引き継ぐべく共有メモリ103上の共通
制御情報の内容である。この共通制御情報は、ディスク
キャッシュ104の使用可否に関し、ホストコンピュータ
がチャネル制御装置106を介してディスク制御装置100に
指示したものであり、ディスク制御装置全体としてディ
スクキャッシュを使用禁止とするか否か（サブシステム
単位ホスト指示状態201）、各ドライブ単位にキャッシ
ュの使用禁止とするか否か（ドライブ単位ホスト指示状
態202）の情報を含む。共通制御情報更新回数は共通制
御情報がホストコンピュータの指示により何回更新され
たか（203）を示す。

さて、ディスク制御装置100をシャットダウンするた
めには、ディスク制御装置外部より、クラスタ０電源オ
フ要求117、またはクラスタ１電源オフ要求116を任意の
順序で設定する。これらの要求は各クラスタP/S制御レ
ジスタ114,115にそれぞれ反映される。P/S制御レジスタ
でクラスタ電源オフ要求を検出したプロセッサは、第２
図に示したフローチャートに従って自プロセッサの閉塞
処理を実行する。

まず、自クラスタのチャネルインタフェースを閉塞
し、ホストコンピュータからのI/O要求受付を停止する
（ステップ900）、次に共通制御情報アクセス用ロック3
00をリードする。共通制御情報アクセス用ロック300
は、第６図に示すように、このフラグが１の場合はすで
に他のプロセッサがロック取得済みであることを示し、
フラグが０の場合はロック未取得であることを示す。他
のプロセッサがロックをすでに取得中であれば、該プロ
セッサは他のプロセッサがロック未取得になるまでルー
プして待つ（ステップ902）。他のプロセッサがロック
未取得であれば、該プロセッサは上記共通制御情報のア
クセス用ロックを取得し（ステップ903）、共有メモリ
上の共通制御情報200（第５図）を自プロセッサのロー
カルメモリに転送する（ステップ904）。続いて、自ク
ラスタのサービスプロセッサ経由で内蔵ディスク105上
の引継ぎ制御情報鮮度403をリードする（ステップ90
5）。

ここで、引継ぎ制御情報鮮度403について述べる前
に、内蔵ディスク105錠の引継ぎ制御情報400（第８図）
について説明する。引継ぎ制御情報400は共有メモリ上
の共有制御情報200を内蔵ディスク105に退避した情報で
あり、データのフォーマットは同一である。ただし、引
継ぎ制御情報400のデータは共通制御情報200のデータよ
りも一般に古いデータである。従って、データの意味を
区別する意味で、共通制御情報200内の共通制御情報更
新回数203に対応する引継ぎ制御情報400内の情報を引継
ぎ制御情報鮮度403とよんで区別する。

次に、読みだした上記共通制御情報更新回数203と引
継ぎ制御情報鮮度403の値を比較する（ステップ906）。
そして、その値が等しくなれば、自プロセッサのローカ
ルメモリ上に読みだしていた共通制御情報200を、自ク
ラスタのサービスプロセッサ経由で、内蔵ディスク上の
引継ぎ制御情報格納エリアにセーブする（ステップ90
7）。そして、内蔵ディスク上の引継ぎ有効性判定情報5
00（第９図）の自クラスタに対応するエリア１に（有
効）をセットする（ステップ909）、次に、取得してい
た共通制御情報アクセス用ロック300を開放し（ステッ
プ910）、自プロセッサを閉塞し（ステップ911）、プロ
セッサの閉塞処理を終わる。もし、上記ステップ906で
共通制御情報更新回数203と引継ぎ制御情報鮮度403の値
が等しい場合は、ステップ907は行なわず、ステップ909
以降の処理のみを行なう。

各クラスタのサービスプロセッサは、第３図に示すよ
うに、自クラスタ内の全てのプロセッサが閉塞されるま
で待ち（950）、全てのプロセッサが閉塞された時点で
自クラスタのP/S制御レジスタに対し、自クラスタの電
源オフ許可を設定する（951）。電源オフ許可を設定さ
れたP/S制御レジスタは、自クラスタの電源スイッチ（1
11/112）に電源オフ制御信号を出し、該クラスタのシャ
ットダウンが完了する。

続いて、上記方法によりシャットダウンされたディス
ク制御装置100の立ち上げ方法を説明する。ディスク制
御装置100を立ち上げる場合は、各クラスタに対し、各
部からクラスタ電源スイッチ（111/112）を任意の順序
で直接オンする。電源オンの割込みをうけたクラスタ内
の各プロセッサは、第４図に示す処理に従って行なう。

まず、共通制御情報アクセス用ロック300をリードし
（ステップ800）、ロック取得中か否かを判定する（ス
テップ801）。取得済みで有れば、そのままチャネルイ
ンタフェースを開き通常動作を開始する（ステップ81
6）。取得済でなければ共通制御情報アクセス用ロック3
00を取得し（ステップ802）、バッテリーバックアップ
付きの共有メモリの揮発の有無チェックに入る。まず、
共有メモリ103より揮発チェックパタン350をリードする
（ステップ805）。ここで、揮発チエックパタン350は第
７図に示す16進‘FFFF'のパタンデータとする。リード
した揮発チエックパタン350を上記の値と比較し（ステ
ップ806）、等しくなければ共有メモリは揮発したもの
とみなし、以下の処理を行なう。

まず、自クラスタのサービスプロセッサ経由で内蔵デ
ィスク105より引継ぎ有効性判定情報500を自プロセッサ
のローカルメモリにロードする（ステップ807）。そし
て、ディスク制御装置を構成する全てのクラスタ（本実
施例ではクラスタ０とクラスタ１）について１（有効）
がセットされていることをチエックする（ステップ80
8）。全てのクラスタ（本実施例ではクラスタ０とクラ
スタ１）について１（有効）がセットされていれば、内
蔵ディスク105上の引継ぎ制御情報鮮度403（第８図）を
ゼロクリアし（ステップ809）、内蔵ディスク105より引
継ぎ制御情報400を自プロセッサのローカルメモリにロ
ードし、さらにそれを共有メモリ上の共通制御情報200
格納エリアに書き込む（ステップ818）。そして、自ク
ラスタのサービスプロセッサ経由で、内蔵ディスク105
上の引継ぎ有効性判定情報500（第９図）の自クラスタ
に対応するエリアに０（無効）を書き込む（ステップ81
4）。そして、取得していた共通制御情報のアクセス用
ロックを開放し（ステップ815）、チャネルインタフェ
ースを開いて通常の稼動を開始する（ステップ816）。
もし、ステップ806で揮発チエックパタン530が‘FFFFと
等しければ、すぐに上記ステップ814以降の処理を行な
う。また、ステップ808で、全てのクラスタ（本実施例
ではクラスタ０とクラスタ１）について１（有効）がセ
ットされていなければ、自クラスタのサービスプロセッ
サ経由で内蔵ディスク105より、共通制御情報のデフォ
ルト値600（第10図）を自プロセッサのローカルメモリ
上に読みだし、それをさらに、共有メモリの共通制御情
報200のエリアに書き込みを行なった後（ステップ81
0）、上記ステップ814以降の処理を行なう。

以上がプロセッサの立ち上げシーケンス処理の内容で
ある。クラスタ内の全てのプロセッサが以上の立ち上げ
処理を終えた時点で当該クラスタの立ち上げが完了し、
さらに電源オンされた全てのクラスタの立ち上げが完了
した時点で、ディスク制御装置100の立ち上げが完了す
る。

以上が本発明による実施例の説明である。

なお、上記実施例において、ディスク制御装置のシャ
ットダウン時に、共通制御情報を不揮発性記憶媒体に退
避するに際して、この不揮発性記憶媒体を各クラスタ対
応に分け、各クラスタに対応して共通制御情報を退避さ
せ、立ち上げ時に、これら共通制御情報の内、引継ぎ制
御情報鮮度の値が最も大きいものを共有メモリ上にロー
ドすることも可能である。

本実施例によれば、各クラスタ内のプロセッサは、他
のプロセッサの稼動／閉塞の状態とは無関係に自プロセ
ッサ閉塞処理または立ち上げ処理を行なうことができ
る。このため、これらのプロセッサから構成されるクラ
スタ間でも、他のクラスタの状態を意識せずにクラスタ
の閉塞／立ち上げができるため、複数のクラスタ間で他
のクラスタの状態を管理する必要が無くなり、共有メモ
リを介して接続された複数のクラスタからなるディスク
制御装置を容易に実現することができる。なお、本実施
例では共有メモリをバッテリバックアップ付きとしてい
るため、シャットダウン中に共通制御情報の退避が全て
のクラスタで完結しない状態が発生しても、共有メモリ
が揮発していない限り、共有メモリ上の制御データを引
き継いで、ディスク制御装置を立ち上げることができ
る。また、共有メモリにバッテリバックアップをつけな
い場合は、本実施例において、共有メモリがつねに揮発
しているとみなせばよい。

［発明の効果］ 本発明によれば、各クラスタ内のプロセッサは、他の
プロセッサの稼動／閉塞の状態とは無関係に自プロセッ
サの閉塞処理または立ち上げ処理を行なうことができ
る。このため、これらのプロセッサから構成されるクラ
スタ間のレベルでも、他のクラスタの状態を意識せずに
クラスタの閉塞／立ち上げが可能となる。また、この結
果、複数のクラスタ間で他のクラスタの状態を管理する
ための制御が必要無くなり、共有メモリを介して接続さ
れた複数のクラスタからなるディスク制御装置を容易に
実現することができる。

【図面の簡単な説明】

第１図は本実施例におけるディスク制御装置の構成図、
第２図は本実施例におけるクラスタ内プロセッサの閉塞
処理フロー図、第３図は本実施例におけるクラスタ内サ
ービスプロセッサのクラスタ電源オフ処理フロー図、第
４図は本実施例におけるクラスタ内プロセッサの立ち上
げ処理フロー図、第５図は本実施例における共有メモリ
上の共通制御情報の構成図、第６図は本実施例における
共通制御情報アクセス用のロック情報、第７図は本実施
例におけるバッテリーバックアップ付き共有メモリの揮
発チエックパタンデータ、第８図は本実施例における内
蔵ディスク上の引継ぎ制御情報の構成図、第９図は本実
施例における内蔵ディスク上の引継ぎ有効性判定情報の
構成図、第10図は本実施例における内蔵ディスク上の共
通制御情報デフォルト値、である。 100……ディスク制御装置、101……クラスタ０、102…
…クラスタ１、103……共有メモリ、104……ディスクキ
ャッシュメモリ、105……内蔵ディスク、106……チャネ
ル制御装置、107,108,109……ディスクドライブ、111,1
12……クラスタ電源スイッチ、113……バッテリーバッ
クアップ、114,115……P/S制御レジスタ、116,117……
クラスタ電源オフ要求、1010,1020……チャネルインタ
フェース、1011,1012,1021,1022……クラスタ内プロセ
ッサ、1013,1023……クラスタ内サービスプロセッサ、1
014,1015,1024,1025……ドライブインタフェース

───────────────────────────────────────────────────── フロントページの続き (72)発明者 栗原 謙三 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所システム開発研究所 内 (72)発明者 桑原 善祥 神奈川県小田原市国府津2880番地 株式 会社日立製作所小田原工場内 (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 3/06

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】チャネル制御装置とディスクドライブ間の
   データ転送をおこなう一本以上のパスからなり、かつ独
   立した電源境界をコンポーネント（クラスタと呼ぶ）を
   複数有し、各クラスタが共有メモリ上に格納された共通
   制御情報を互いに参照・更新しつつ並列に動作するディ
   スク制御装置において、共有メモリ上に格納された共通
   制御情報の更新回数を記憶するとともに、任意のクラス
   タから読みだし可能な不揮発性記憶媒体を有する固定デ
   ィスクを備え、各クラスタ毎のシャットダウン時には、
   上記共有メモリ上の共通制御情報の更新回数と上記不揮
   発性記憶媒体上に既に記憶されている引継ぎ制御情報鮮
   度の値を比較し、前者の方が大きければ、上記共有メモ
   リ上の共通制御情報の更新回数をあらたに引継ぎ制御情
   報鮮度とし、共通制御情報とともに上記不揮発性記憶媒
   体上に退避し、上記不揮発性記憶媒体上の当該クラスタ
   に対応する引継ぎ有効性判定情報を有効とし、前者と後
   者の値が等しければ、共有メモリ上の共通制御情報の退
   避操作と引継ぎ情報鮮度の更新は行なわずに、当該クラ
   スタに対応する引継ぎ有効性判定情報のみを有効として
   共通制御情報を引継ぐことを特徴とするディスク制御装
   置のシャットダウン方法。
2. 【請求項２】上記特許請求の範囲第１項において、ディ
   スク制御装置の各クラスタの立ち上げ時には、該ディス
   ク制御装置を構成するすべてのクラスタに対応する引継
   ぎ有効性判定情報をもとに、該ディスク制御装置を構成
   するすべてのクラスタについて、上記引継ぎ有効性判定
   情報が有効である場合のみ、不揮発性記憶媒体上に退避
   していた共通制御情報を共有メモリ上にロードし、各ク
   ラスタの立ち上げ完了時に、上記不揮発性記憶媒体上の
   各クラスタに対応する引継ぎ有効性判定情報をすべて無
   効化することを特徴とするディスク制御装置の立ち上げ
   方法。
3. 【請求項３】ディスク制御装置における共有メモリをバ
   ッテリーバックアップ付きメモリとし、その使用開始時
   に、共有メモリ上のデータの揮発の有無をチエックする
   ためのテストパタンを格納しておき、上記ディスク制御
   装置の立ち上げ時に、上記テストパタンが保存されてい
   るか否かにより共有メモリ上のデータの揮発有無をチェ
   ックし、それが揮発していなければ、共有メモリ上の共
   通制御情報を引継ぎ情報として用い、それが揮発してい
   れば、上記特許請求の範囲第２項の方法を用いることを
   特徴とするディスク制御装置の立ち上げ方法。
4. 【請求項４】チャネル制御装置とディスクドライブ間の
   データ転送をおこなう一本以上のパスを含み、独立した
   電源境界をもつ複数のクラスタの、共通制御情報を格納
   するとともに該共通制御情報を各クラスタが互いに参照
   ・更新できる共有メモリと、該共有メモリ上に格納され
   た共通制御情報の更新回数を記憶しかつ引継ぎ制御情報
   鮮度を記憶するとともに、任意のクラスタから読みだし
   可能な不揮発性記憶媒体を有する内臓ディスクと、を備
   え、各クラスタ毎のシャットダウン時には、上記共有メ
   モリ上の共通制御情報の更新回数と既に記憶されている
   引継ぎ制御情報鮮度の値を比較し、最新の共通制御情報
   を上記不揮発性記憶媒体上に引継ぐとともに、引継ぎ有
   効とし、また、立ち上げ時には、すべてのクラスタが引
   継ぎ有効である場合のみ、上記不揮発性記憶媒体上に退
   避していた共通制御情報を上記共有メモリ上にロードす
   ることを特徴とするディスク制御装置。