JPH10269161A

JPH10269161A - 負荷均衡制御方式

Info

Publication number: JPH10269161A
Application number: JP7127397A
Authority: JP
Inventors: Hiroyoshi Suzuki; 啓悦鈴木; Izumi Yuzawa; 泉湯沢
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-03-25
Filing date: 1997-03-25
Publication date: 1998-10-09

Abstract

(57)【要約】【課題】個々の外部記憶制御装置において、共有メモリ
を用いて、共有メモリ上の情報を参照／更新することに
より個々の上位装置からの入出力負荷を均一化すること
ができなかった。【解決手段】揮発性また不揮発性の記憶媒体と外部記憶
制御装置が制御するための共有メモリを備えた外部記憶
装置とこの外部記憶装置を制御する外部記憶制御装置
と、この外部記憶制御装置を介して前記外部記憶装置を
共有し、当該外部記憶装置に対するデータの書き込みお
よび読み出しなどの入出力を行う複数の上位装置からな
る情報処理システムにおいて、外部記憶装置内に存在す
る共有メモリ上の情報を外部記憶制御装置が参照および
更新し、共有メモリヘの情報アクセス（情報の参照及び
更新）頻度を変化させて、前記外部記憶制御装置におい
て個々の上位装置から入出力負荷を均一化させることに
より達成することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、負荷均衡技術に関
し、特に複数の上位装置によって共有される外部記憶装
置における入出力負荷の均一化に有効な負荷均衡制御技
術に関する。

【０００２】

【従来の技術】近年、計算機システムの高性能・大規模
化に伴い、外部記憶装置においても高性能化が求められ
ている。特に外部記憶装置は、複数の計算機システムに
接続されることが多く、各々の計算機システムからの入
出力要求を効率よく処理を行っていく必要がある。この
ため、従来から外部記憶制御装置にて各々の計算機シス
テムからの負荷を均一化させる負荷均衡制御方式が種々
考案されている。例えば、特開昭６３−１４６１４７号
公報に開示される技術のように外部記憶装置自身が実行
した入出力回数を計数して真の負荷状況を知るようにし
た入出力負荷監視方式、特開昭６３−２２３９３９号公
報に開示される技術のように入出力制御装置に入出力負
荷状態を表示させ、ホストシステムで負荷を均一化させ
る方式、特開昭６２−６３５７号公報および特開平２−
８１１５４号公報に開示される技術のように接続された
計算機システムからの要求に優先順位をつけて処理を行
い、負荷を均一化する方式、特開平１−２２９３５１号
公報に開示される技術のように平均待ち時間を予測する
情報をもとに負荷のバランスをとる方式、特開平４−２
８９９４７号公報に開示される技術のようにブロックス
イッチを利用し、チャネル間の負荷を効率よく処理する
負荷均衡制御方式、特開平６−５２０８７号公報に開示
される技術のように入出力要求レジスタ、入出力要求選
択レジスタおよび起動履歴テーブルを利用し、外部記憶
制御装置１台で異種インタフェースを持つチャネル間の
負荷を効率よく処理する負荷均衡制御方式等がある。

【０００３】

【発明が解決しようとする課題】前記特開平４−２８９
９４７号公報、特開平６−５２０８７号公報以外の前記
従来技術は、外部記憶装置側で上位装置側からの任意の
入出力の優先処理を行えない点、あるいは２つの外部記
憶制御装置間で通信を行えない点について配慮されてお
らず、外部記憶制御装置１台で独立に上位装置からの入
出力負荷を均一にできないという問題があった。前記特
開平４−２８９９４７号公報に示されるような前記従来
技術は、接続されていても停止中の上位装置も負荷均衡
制御の対象になってしまい、停止中の上位装置が多い場
合、効率の悪い負荷均衡制御になってしまうという問題
があった。また、前記特開平６−５２０８７号公報に示
されるような前記従来技術は、外部記憶制御装置に多数
の上位装置が接続されると、入出力の頻度が高い場合、
どこか１つまたは複数の上位装置の入出力が沈み込んで
しまい、効率の悪い負荷均衡制御になってしまうという
問題があった。

【０００４】本発明における負荷均衡制御方式の第一目
的は、揮発性または不揮発性の記憶媒体と外部記憶制御
装置が制御するための共有メモリを備えた外部記憶装置
とこの外部記憶装置を制御する外部記憶制御装置と、こ
の外部記憶制御装置を介して前記外部記憶装置を共有
し、当該外部記憶装置に対するデータの書き込みおよび
読み出しなどの入出力を行う複数の上位装置からなる情
報処理システムにおいて、外部記憶制御装置が外部記憶
装置内に存在する共有メモリ上の情報アクセス（情報の
参照および更新）頻度を変化させて、外部記憶制御装置
において個々の上位装置からの入出力負荷を均一化する
負荷均衡制御方法を提供することにある。

【０００５】また、本発明の第二目的は、共有メモリ上
の情報を参照または更新することにより外部記憶制御装
置において個々の上位装置からの入出力負荷を均一化す
る負荷均衡制御方法を提供することにある。

【０００６】

【課題を解決するための手段】本発明は、揮発性または
不揮発性の記憶媒体と外部記憶制御装置が制御するため
の共有メモリを備えた外部記憶装置とこの外部記憶装置
を制御する外部記憶制御装置と、この外部記憶制御装置
を介して前期記憶装置を共有し当該外部記憶装置に対す
るデータの書き込みおよび読み出しなどの入出力を行う
複数の上位装置からなる情報システムであって、外部記
憶制御装置が外部記憶装置内に存在する共有メモリ上の
情報を参照または更新することにより外部記憶制御装置
において個々の上位装置からの入出力負荷を均一化させ
る。また、外部記憶装置に存在する共有メモリ上の情報
アクセス（情報参照および更新）頻度を変化させること
により外部記憶制御装置において個々の上位装置からの
入出力負荷を均一化させることにより達成することがで
きる。

【０００７】

【発明の実施の形態】以下、本発明を図に従って詳細に
説明する。本実施例では、負荷均衡制御方式が適用され
る外部記憶装置の一例として、半導体記憶装置サブシス
テムを用いる。図１は、本実施例の負荷均衡制御方式が
行われる半導体記憶制御装置サブシステムのハードウェ
ア構成の一例を示すブロック図である。本実施例の半導
体記憶装置サブシステムは、半導体記憶制御装置２０，
２１と半導体記憶装置５０とから構成され、両者は、デ
ータ転送バスおよび制御線３８〜４１を介して接続され
ている。一方、半導体記憶制御装置２０，２１は、ケー
ブル１０〜１５を通じて、各々チャネル４〜９および中
央処理装置１〜３に接続されている。チャネル４〜９は
電気チャネルおよび光チャネルである。半導体記憶制御
装置２０は、チャネルインタフェース制御部２２〜２
５、クラスタ３２およびサービスプロセッサ３３より構
成される。クラスタ３２は、２つのディレクタ３０、デ
ィレクタ３１より構成される。ディレクタ３０、ディレ
クタ３１の詳細については図２で説明する。サービスプ
ロセッサ３３は種々のサービス／初期設定／診断等を司
る。チャネルインタフェース制御部２２〜２５は接続さ
れているチャネルに応じてインタフェースプロトコルを
司る。半導体記憶装置２１も半導体記憶制御装置２０と
同様、チャネルインタフェース制御部２６〜２９、クラ
スタ３６およびサービスプロセッサ３７より構成され
る。また、クラスタ３６も半導体記憶制御装置２０と同
様に２つのディレクタ３４、ディレクタ３５より構成さ
れる。半導体記憶装置５０は、ドライブインタフェース
制御部５１〜５４、共有メモリ制御線５５、共有メモリ
５６、メモリ制御線５７、メモリ５８より構成される。
ドライブインタフェース制御部５１〜５４は、ディレク
タ３０、ディレクタ３１およびディレクタ３４、ディレ
クタ３５よりデータ転送バスおよび制御線３８〜４１を
通じて得られるプロトコルから共有メモリ５６のアクセ
スかメモリ５８へのアクセスかを判断し、共有メモリ５
６またはメモリ５８にアクセスする。ドライブインタフ
ェース制御部５１〜５４が共有メモリ５６にアクセスす
る場合には共有メモリ制御線５５を使用し、後述する共
有メモリ５６上の情報の読み出しあるいは書き込みを行
なう。共有メモリ５６にはディレクタ３０、ディレクタ
３１およびディレクタ３４、ディレクタ３５が中央処理
装置１〜３の入出力要求を制御するための情報が存在す
る。共有メモリ５６上のある情報は、後述するメモリ５
８上にある制御情報領域８０にある情報とは全く異なる
ものである。また、ドライブインタフェース制御部５１
〜５４がメモリ５８をアクセスする場合にはメモリ制御
線５７を使用し、メモリ上にある情報を読み出しあるい
は書き込みを行う。共有メモリ５６には、ハードウェア
ロック／アンロック機能がある。ロックとは他ディレク
タから共有メモリ５６上にある情報のデータ更新されな
いように排他するために共有メモリ５６上にある情報の
データ更新を禁止するモードである。アンロックとは、
共有メモリ５６上にある情報のデータ更新を許可するモ
ードである。ロック／アンロックは、後述するマイクロ
プロセッサ６０より指示される。メモリ５８には中央処
理装置１〜３が使用するデータおよびボリューム管理情
報（ボリュームの数、ボリューム毎のメモリ容量、メモ
リ５８のメモリ容量等）を管理する制御情報領域８０、
メモリ診断等を行う時に使用するインライン領域８１が
ある。メモリ５８の詳細については、後述する。

【０００８】次に図２について説明する。図２は半導体
記憶制御装置２０のハードウェア構成の詳細を示す図で
ある。クラスタ３２は、２つのディレクタ３０およびデ
ィレクタ３１から構成されることはすべて述べた通りで
ある。ディレクタ３０とディレクタ３１はハードウェア
は同一のものであるため、ディレクタ３０について、詳
細に供述する。ディレクタ３０はデータ転送バス６５
と、選択回路６２と、データ転送バス６６と、データ転
送制御回路６３と、データ転送バス６７と、ドライブイ
ンタフェース制御部６４と、データ転送バス６８と、制
御線６９，７０，７１，７２，７３と、全体の制御動作
を行うマイクロプロセッサ６０と、このマイクロプロセ
ッサ６０を動作させるためのマイクロプログラムやデー
タ、さらには後述する一部のフラグを持つテーブル等が
格納されるメモリ６１と、マイクロプロセッサ６０とメ
モリ６１を接続する制御線７４、およびサービスプロセ
ッサ３３とマイクロプロセッサ６０との通信を行なうた
めの制御線７５から構成される。マイクロプロセッサ６
０は制御線７４を通して、メモリ６１内に格納されてい
るマイクロプログラムの指示によって動作する。実際に
は、制御線６９〜７３を通して得られるデータおよびメ
モリ６１内のテーブル、マイクロプロセッサ６０内のレ
ジスタの値をもとにメモリ６１内に格納されているマイ
クロプログラムの指示でマイクロプロセッサ６０は動作
する。

【０００９】半導体記憶装置５０内の共有メモリ５６へ
のアクセス（共有メモリ５６上の情報の参照／更新およ
びロック／アンロック）は、制御線７２、ドライブイン
タフェース制御部６４、データ転送バス６８、制御線７
３を使用し、データ転送バスおよび制御線３８、半導体
記憶装置内のドライブインタフェース制御部５１、共有
メモリ制御線５５を通じて行われる。そして中央処理
装置１〜３と半導体記憶装置５０の間のリード／ライト
データの授受は、チャネルインタフェース制御部２２〜
２５、データ転送バス６５、選択回路６２、データ転送
バス６６、データ転送制御回路６３、データ転送バス６
７、ドライブインタフェース制御部６４、データ転送バ
ス６８を介して行われ、メモリ６１上のデータおよびマ
イクロプログラムを利用し、マイクロプロセッサ６０が
制御線６９〜７４を使用して、リード／ライトデータの
授受を含む上位装置からのコマンド実行制御を行う。ま
た、ディレクタ３０がチャネルインタフェース制御部２
２〜２５のいずれか１つと入出力処理をしている場合、
ディレクタ３１は、ディレクタ３０が使用していないチ
ャネルインタフェース制御部２２〜２５のいずれか１つ
と入出力処理が実行可能である。マイクロプログラムの
ＩＭＰＬ終了直後にマイクロプロセッサ６０は、制御線
７５を使用してサービスプロセッサ３３と通信する。こ
の時、マイクロプロセッサ６０は、サービスプロセッサ
３３より固有のマイクロプロセッサ番号（以下ＭＰ番号
と略す。）情報を含む装置構成情報を受け取る。ＭＰ番
号はディレクタによって違い、ディレクタ３０のマイク
ロプロセッサ６０とディレクタ３１のマイクロプロセッ
サ６０のＭＰ番号は相違する。なお、半導体記憶制御装
置２１も半導体記憶制御装置２０と同一のハードウェア
である。

【００１０】次に図３について説明する。図３は、半導
体記憶装置５０内に存在するメモリ５８の論理分割を示
した図である。メモリ５８は、１つの連続したアドレス
空間となっているが、前述した情報を含む制御情報領域
８０、インライン領域８１および中央処理装置１〜３の
データを含むボリューム０（８３）〜ボリュームＮ（８
５）に論理分割される。さらにボリューム０（８３）は
シリンダ０（８６）〜シリンダＸ（８７）、ＥＯＦ（Ｅ
ＮＤＯＦＦＩＬＥ）トラック（８８）、ＣＥトラッ
ク０（８９）およびＣＥトラック１（９０）、およびメ
モリ剰余９１に分割される。ボリューム１（８４）〜ボ
リュームＮ（８５）もボリューム０（８３）と同様の構
造をしている。ここで記述しているボリュームは磁気デ
ィスクのボリュームと同意である。半導体記憶装置５０
は、磁気ディスクの媒体の代わりに、ＩＣメモリを使用
しているため、メモリ容量によっては、磁気ディスクの
ボリュームより小さくなることがある。このためメモリ
剰余９１も発生する。

【００１１】図４〜図９は、メモリ６１に格納されてい
るマイクロプログラムの処理の概略フローである。図４
は、マイクロプロセッサ６０で実行する入出力要求の処
理である。図５〜図８は、マイクロプロセッサ６０で実
行するボリューム排他制御処理および入出力要求に応じ
たコマンド処理の概略フロー（図４中のステップ１０７
の詳細）である。図９は、マイクロプロセッサ６０で行
う入出力終了処理の概略フロー（図４中のステップ１０
８の詳細）である。図４〜図９の概略フローの詳細説明
は後述する。

【００１２】図１０は、アクセス可能情報フラグ７００
の構造である。アクセス可能情報フラグ７００は、共有
メモリ５６上に存在する。アクセス可能情報フラグ７０
０は、メモリ５８上に存在するボリュームの数だけ存在
し、アクセスするボリュームが使用可能なチャネルをビ
ット対応に表示している。

【００１３】アクセス可能情報フラグ７００はクラスタ
３２用７０１およびクラスタ３６用７０２から構成され
る。またクラスタ３２用７０１はチャネルインタフェー
ス２２用７０３〜チャネルインタフェース２５用７０６
より構成され、クラスタ３６用７０２はチャネルインタ
フェース２６用７０７〜チャネルインタフェース１０よ
り構成される。チャネルインタフェース制御部２２用７
０３〜チャネルインタフェース制御部２９用７１０はビ
ット単位で構成される。アクセス可能情報フラグ７００
は、アクセス可能（上位装置の入出力要求が実行可能）
なチャネルインタフェース制御部を示している。例えば
現在、入出力要求がチャネルインタフェース制御部２２
にて実行中である時、アクセス可能情報フラグ７００の
状態は、チャネルインタフェース制御部２２用７０３
が’１’となり、チャネルインタフェース制御部２３用
７０４〜チャネルインタフェース制御部２９用７１０
は’０’である。アクセス可能情報フラグ７００の初期
値はチャネルインタフェース制御部２２用７０３〜チャ
ネルインタフェース制御部２９用７１０がすべて’１’
である。アクセス可能情報フラグ７００のクラスタ３２
用７０１は、ディレクタ３０およびディレクタ３１で相
互に参照または更新が可能である。また、アクセス可能
情報フラグ７００のクラスタ３６用７０２もディレクタ
３４およびディレクタ３５で相互に参照または更新が可
能である。

【００１４】図１１は、デバイス情報テーブル８００の
構造である。デバイス情報テーブル８００も、アクセス
可能情報フラグ７００同様、共有メモリ５６上に存在
し、メモリ５８上に存在するボリュームの数だけ存在す
る。デバイス情報テーブル８００は、上位装置から入出
力要求があったボリュームの状態情報を示す。デバイス
情報テーブル８００は、ＬＯＮＧＢＵＳＹフラグ８０
１、ＳＨＯＲＴＢＵＳＹフラグ８０２、アクセス可能
情報フラグ反転中フラグ８０３、ボリューム使用ディレ
クタ情報８０４、リザーブフラグ８０５から構成され
る。ＬＯＮＧＢＵＳＹフラグ８０１は、当該ボリュー
ムの使用中の状態を示し、初期値は’０’である。ＳＨ
ＯＲＴＢＵＳＹフラグ８０２は、当該ボリュームのシ
ョートビジー状態を示す。ショートビジー状態とは上位
装置に対し、当該ボリュームがデバイスビジー（デバイ
ス使用中）を応答した後、ＢｕｓｙＴｏＦｒｅｅ
（ビジーツゥフリー：デバイスビジー解除、以下Ｂ．
Ｔ．Ｆと略す。）を報告中であることを示す。アクセス
可能情報フラグ反転中フラグ８０３は、入出力終了処理
においてアクセス可能情報フラグ７００復元時、自分の
パスグループマトックス以外にペンディング要因（上位
装置に対し、報告するステータス（Ｂ．Ｔ．Ｆ等）を保
留中）があり、アクセス可能情報フラグ７００が自分の
パスグループマトックス以外であることを示す。ボリュ
ーム使用ディレクタ情報８０４は、当該ボリュームを使
用しているディレクタのＭＰ番号を示す。リザーブフラ
グ８０５は、アクセス可能情報フラグ７００と共に用い
てリザーブ中のチャネルインタフェース制御部を表示す
る。ＬＯＮＧＢＵＳＹフラグ８０１、ＳＨＯＲＴＢ
ＵＳＹフラグ８０２、アクセス可能情報フラグ反転中フ
ラグ８０３、およびリザーブフラグ８０５は、ビット単
位で、ボリューム使用ディレクタ情報８０４はバイト単
位で構成される。デバイス情報テーブル８００の初期値
は、すべて’０’である。デバイス情報テーブル８００
は、ディレクタ３０、ディレクタ３１、ディレクタ３
４、およびディレクタ３５で相互に参照および更新可能
である。図１２はＢｕｓｙＴｏＦｒｅｅ（Ｂ．
Ｔ．Ｆ）報告フラグ９００の構造である（以下Ｂ．Ｔ．
Ｆ報告フラグ９００と略す。）。Ｂ．Ｔ．Ｆ報告フラグ
９００も、アクセス可能情報フラグ７００と同様の構造
を持ち。共有メモリ５６上に存在する。また、Ｂ．Ｔ．
Ｆ報告フラグ９００は、メモリ５８上に存在するボリュ
ームの数だけ存在し、当該ボリュームのＢ．Ｔ．Ｆを報
告するチャネルインタフェース制御部を表示している。
Ｂ．Ｔ．Ｆ報告フラグ９００は、クラスタ３２用９０１
およびクラスタ３６用９０２から構成される。また、ク
ラスタ３２用９０１は、チャネルインタフェース制御部
２２用９０３〜チャネルインタフェース２５用９０６よ
り構成され、クラスタ３６用９０２は、チャネルインタ
フェース２６用９０７〜チャネルインタフェース２９用
９１０より構成される。チャネルインタフェース制御部
２２用９０３〜チャネルインタフェース制御部２９用９
１０はビット単位で構成される。Ｂ．Ｔ．Ｆ報告フラグ
９００は、Ｂ．Ｔ．Ｆを上位装置に対し、報告する必要
があるチャネルインタフェース制御部を示している。例
えば、現在、入出力要求がチャネルインタフェース制御
部２２で実行しようとした時、当該ボリュームがすでに
入出力要求が他ディレクタにて実行中であった時（つま
り、当該ボリュームがビジーである時）、Ｂ．Ｔ．Ｆ報
告フラグ９００のチャネルインタフェース制御部２２用
９０３に’１’を立てて、上位装置に対してデバイスビ
ジー（デバイス使用中）を報告する。Ｂ．Ｔ．Ｆ報告フ
ラグ９００のチャネルインタフェース制御部２２用９０
３〜チャネルインタフェース制御部２９用９１０は、複
数のチャネルインタフェース制御部のビットが立つこと
がある。また、Ｂ．Ｔ．Ｆ報告フラグ９００のチャネル
インタフェース制御部２２用９０３〜チャネルインタフ
ェース制御部２９用９１０の各ビットは、Ｂ．Ｔ．Ｆ
報告終了後Ｂ．Ｔ．Ｆ報告終了したチャネルインタフェ
ース制御部のビットが’０’となる。Ｂ．Ｔ．Ｆ報告フ
ラグ９００の初期値は、チャネルインタフェース制御部
２２用９０３〜チャネルインタフェース制御部２９用９
１０がすべて’０’である。Ｂ．Ｔ．Ｆ報告フラグ９０
０のクラスタ用９０１はディレクタＯおよびディレクタ
３１で相互に参照および更新が可能である。また、Ｂ．
Ｔ．Ｆ報告フラグ９００のクラスタ３６用９０２もディ
レクタ３４およびディレクタ３５で相互に参照および更
新可能である。

【００１５】図１３は、パスグループマトリックス情
報１０００の構造である。パスグループマトリックス
１０００は、共有メモリ５６上に存在し、メモリ５８上
に存在するボリュームの数だけ存在する。パスグループ
マトリックス情報１０００はクラスタ３２用１００１
とクラスタ３６用１００２から構成される。また、クラ
スタ３２用１００２は、チャネルインタフェース制御部
２２用１００３〜チャネルインタフェース制御部２５用
１００６より構成され、クラスタ３６用１００２はチャ
ネルインタフェース制御部２６用１００７〜チャネルイ
ンタフェース制御部２９用１０１０より構成される。パ
スグループマトリックス情報１０００は、当該ボリュ
ームに対して上位装置（チャネル４〜チャネル９）より
発行されるＳＥＴＰＡＴＨＧＲＯＵＰＩＤコマン
ドのＧＲＯＵＰＩＤをもとに作成する。ＧＲＯＵＰ
ＩＤは、各中央処理装置固有のＩＤを持っており、チャ
ネル４〜チャネル９において同一中央処理装置から発行
されるＳＥＴＰＡＴＨＩＤコマンドのＰＡＴＨＧＲ
ＯＵＰＩＤは同一である。パスグループマトリック
ス情報１０００は、当該ボリュームに関する各々のチャ
ネルインタフェース制御部２２用１００３〜チャネルイ
ンタフェース２９用１０１０のパスグループマトリッ
クスである。パスグループマトリックス情報１０００
中のチャネルインタフェース制御部２２用１００３〜チ
ャネルインタフェース制御部２９用１０１０は、ＳＥＴ
ＰＡＴＨＧＲＯＵＰＩＤコマンドを受け取った各
チャネルインタフェース制御部と同一のＰＡＴＨＧＲ
ＯＵＰＩＤを受け取ったチャネルインタフェース制御
部をビット対応に表示している。つまり、同一中央処理
装置に接続されているチャネルインタフェース制御部の
ビットが１となる。パスグループマトリックス情報１
０００中のチャネルインタフェース制御部２２用１００
３〜チャネルインタフェース制御部２９用１０１０は、
当該ボリュームがリザーブ（予約）されている時のアク
セス可能情報フラグ７００となる。パスグループマト
リックス情報１０００中のチャネルインタフェース制御
部２２用１００３〜チャネルインタフェース制御部２９
用１０１０は、バイト単位より構成される。パスグルー
プマトリックス情報１０００の初期値はすべて’０’
である。パスグループマトリックス情報１０００はす
べてのディレクタ（ディレクタ３０、ディレクタ３１、
ディレクタ３４、およびディレクタ３５）で参照および
更新が可能である。

【００１６】図１４は、リトライ情報フラグ１１００の
構造である。リトライ情報フラグ１１００は、マイクロ
プロセッサ６０内のレジスタまたはメモリ６１内のテー
ブルに存在する。本実施例においては、リトライ情報フ
ラグ１１００は、マイクロプロセッサ６０用のレジスタ
に存在するものとする。リトライ情報フラグ１１００
は、ＬＯＮＧＢＵＳＹリトライフラグ１１０１、ＳＨ
ＯＲＴＢＵＳＹリトライフラグ１１０２、アクセス可
能情報フラグ反転リライフラグ１１０３から構成され
る。リトライ情報フラグ１１００は、バイト単位であ
り、ＬＯＮＧＢＵＳＹリトライフラグ１１０１、ＳＨ
ＯＲＴＢＵＳＹリトライフラグ１１０２、アクセス可
能情報フラグ反転リトライフラグ１１０３は、ビット単
位である。リトライ情報フラグ１１００の初期値は、す
べて’０’である。ＬＯＮＧＢＵＳＹリトライフラグ
１１０１は、現在入出力要求を受け付けたチャネルイン
タフェース部のアクセス可能情報フラグ７００が’０’
の時、リトライを行うために’１’となる。アクセス可
能情報フラグ反転リトライフラグ１１０３は、共有メモ
リ５６上に存在するデバイス情報テーブル８００中のア
クセス可能情報フラグ反転中ステップ３０９で、２ｍｓ
ウェイトする。ステップ３０９の効果は共有メモリ５６
上に存在する情報へのアクセス（共有メモリ５６上の情
報の参照／更新）頻度を変化させる効果と他ディレクタ
がＢ．Ｔ．Ｆを報告し、次の入出力要求を実行させる効
果（Ｂ．Ｔ．Ｆの沈み込み防止効果）がある。ステップ
３０９実行後、共有メモリ５６上の当該ボリュームのア
クセス可能情報フラグ７００およびデバイス情報テーブ
ル８００の読み直し（リトライ）を行うため、図５中の
ステップ２００へ進む。

【００１７】次に図７について説明する。ステップ４０
０で共有メモリ５６よりパスグループマトリックス情
報１０００を読み込む。ステップ４０１で、現在入出
力要求を行っているチャネルインタフェース制御部のパ
スグループマトリックス情報１０００にアクセス可能
情報フラグ７００が立っているか判断する。本ケースで
は、チャネルインタフェース制御部２２より入出力要求
があるので、パスグループマトリックス情報１０００
のチャネルインタフェース制御部２２用１００３にアク
セス可能情報フラグ７００中のチャネルインタフェース
２２用７０３が立っているかを判断する。もし、現在入
出力要求を行っているチャネルインタフェース制御部の
パスグループマトリックス情報１０００にアクセス可
能情報フラグ７００が立っていなければ、ステップ４０
８へ進む。もし、現在入出力要求を行っているチャネル
インタフェース制御部のパスグループマトリックス情
報１０００にアクセス可能情報フラグ７００が立ってい
れば、当該ボリュームアクセス可能だと判断し、ステッ
プ４０２へ進む。

【００１８】ステップ４０２で、リトライ情報フラグ１
１００中のＬＯＮＧＢＵＳＹリトライフラグ１１０１
が１か判断する。もし、リトライ情報フラグ１１００中
のＬＯＮＧＢＵＳＹリトライフラグ１１０１が１でな
ければ、図６中のステップ３０５へ進む。もし、リトラ
イ情報フラグ１１００中のＬＯＮＧＢＵＳＹリトライ
フラグ１１０１が１であればステップ４０３へ進む。

【００１９】ステップ４０３で、リトライ情報フラグ１
１００中のＳＨＯＲＴＢＵＳＹリトライフラグ１１０
２とアクセス可能情報フラグ反転リトライフラグ１１０
３を０とする。

【００２０】ステップ４０４で、リトライ情報フラグ１
１００中のＬＯＮＧＢＵＳＹリトライフラグ１１０１
を１とする。

【００２１】ステップ４０５で、タイマに１２００を２
４オｓカウントアップする。２４オｓという値は、マイ
クロプログラムのリトライ処理にかかる時間である。

【００２２】ステップ４０６で、タイマ１２００の値が
４００ｍｓを越えたか判断する。もし、タイマ１２００
の値が４００ｍｓを越えていた場合は、ステップ４０９
へ進む。もし、タイマ１２００の値が４００ｍｓを越え
ていなければ、ステップ４０７へ進む。ここでタイマ１
２００の値を４００ｍｓとしたのは、電気チャネルの場
合、５００ｍｓ以内に応答しないとチャネル側でエラー
を検出されてしまうからである。

【００２３】ステップ４０７で、共有メモリ５６をアン
ロック（ロックの解除）をする。ステップ４０７の後、
共有メモリ５６上の当該ボリュームのアクセス可能情報
フラグ７００およびデバイス情報テーブル８００の読み
直し（リトライ）を行うため、図５中のステップ２００
へ進む。

【００２４】ステップ４０８で、タイマ１２００の値が
５０ｍｓ未満か判断する。タイマ１２００の値が５０ｍ
ｓ未満であれば、ステップ４０２へ進み、リトライを行
う。タイマ１２００の値が５０ｍｓ以上であれば、ス
テップ４０９へ進む。

【００２５】ステップ４０９で、Ｂ．Ｔ．Ｆ報告フラグ
９００の現在入出力処理しているチャネルインタフェー
ス制御部のフラグを１とする。本ケースでは、Ｂ．Ｔ．
Ｆ報告フラグ９００中のチャネルインタフェース２２用
９０３を１とする。

【００２６】ステップ４１０で、デバイスビジー（デバ
イス使用中）の処理を行う。ステップ４１０の処理終了
後、図５中のステップ２１１へ行き、デバイスビジー
（デバイス使用中）を報告する。

【００２７】ステップ４１１で、デバイス情報テーブル
８００中のＬＯＮＧＢＵＳＹフラグ８０１が１か判断
する。もし、デバイス情報テーブル８００中のＬＯＮＧ
ＢＵＳＹフラグが１であれば、ステップ４０９へ進
む。もし、デバイス情報テーブル８００中のＬＯＮＧ
ＢＵＳＹフラグ８０１が１でなければ、ステップ４１２
へ進む。

【００２８】ステップ４１２で、デバイス情報テーブル
８００中のＳＨＯＲＴＢＵＳＹフラグ８０２が１か判
断する。もし、デバイス情報テーブル８００中のＳＨＯ
ＲＴＢＵＳＹフラグ８０２が１であれば、ステップ４０
９へ進む。もし、デバイス情報テーブル８００中のＳＨ
ＯＲＴＢＵＳＹフラグ８０２が１でなければ、アクセ
ス可能情報反転中で自分以外のディレクタのマイクロプ
ロセッサ６０がアクセスしていないと判断し図５中のス
テップ２０５へ進む。

【００２９】次に図８について、説明する。ステップ５
００でデバイス情報テーブル８００中のＳＨＯＲＴＢ
ＵＳＹフラグ８０２が１か判断する。もしデバイス情報
ケーブル８００中のＳＨＯＲＴＢＵＳＹフラグ８０２
が１でなければ、図７中のステッフ４０２へ進む。も
し、デバイス情報テーブル８００中のＳＨＯＲＴＢＵ
ＳＹフラグ８０２が１であれば、ステップ５０１へ進
む。

【００３０】ステップ５０１で、共有メモリ５６からパ
スグループマトリックス情報１０００を読み込み、ア
ンロック（ロック解除）する。ステップ５０２でリト
ライ情報フラグ１１００中のＳＨＯＲＴＢＵＳＹリト
ライフラグ１１０２を１とする。

【００３１】ステップ５０３で、リトライ情報フラグ１
１００中のＬＯＮＧＢＵＳＹリトライフラグ１１０１
とアクセス可能情報フラグ反転リトライフラグ１１０３
を０とする。

【００３２】ステップ５０４で、現在入出力要求を行っ
ているチャネルインタフェース制御部のパスグループ
マトリックス情報１０００にＢ．Ｔ．Ｆ報告フラグ９０
０が立っているか判断する。本ケースにおいては、パス
グループマトリックス情報１０００中のチャネルイン
タフェース制御部２２用１００３に、Ｂ．Ｔ．Ｆ報告フ
ラグ９００のチャネルインタフェース制御部２２用９０
３が立っているかを判断する。もし、現在入出力要求を
行っているチャネルインタフェース制御部のパスグルー
プマトリックス情報１０００に、Ｂ．Ｔ．Ｆ報告フラ
グ９００が立っていなければ、ステップ５０７へ進む。
もし、現在入出力要求を行ってチャネルインタフェース
制御部のパスグループマトリックス情報１０００に、
Ｂ．Ｔ．Ｆ報告フラグ９００が立っていれば、他ディレ
クタのマイクロプロセッサ６０が、上位装置に対し、
Ｂ．Ｔ．Ｆ報告中と認識し、ステップ５０５へ進む。

【００３３】ステップ５０５でタイマ１２００の値を１
９オｓカウントアップする。この１９オｓという値は、
マイクロプログラムのＳＨＯＲＴＢＵＳＹリトライ処
理時間である。

【００３４】ステップ５０６で、タイマ１２００の値が
４００ｍｓを越えたか判断する。もし、タイマ１２００
の値が４００ｍｓを越えていれば通常のＢ．Ｔ．Ｆ処理
はだいたい数ｍｓで終了するため、ＳＨＯＲＴＢＵＳ
Ｙタイムアウトと認識する。もし、タイマ１２００の値
が４００ｍｓを越えていなければ、共有メモリ５６上の
当該ボリュームのアクセス可能情報フラグ７００および
デバイス情報テーブル８００の読み直し（リトライ）を
行うため、図５中のステップ２００へ進む。

【００３５】ステップ５０７で、タイマ１２００の値を
２．０７ｍｓからカウントアップする。２．０７ｍｓと
いう値は、マイクロプログラムのＳＨＯＲＴＢＵＳＹ
リトライ処理時間である。

【００３６】ステップ５０８でタイマ１２００の値が４
００ｍｓを越えたか判断する。もし、タイマ１２００の
値が４００ｍｓを越えていなければ、図６中のステップ
３０４へ進む。もし、タイマ１２００の値が４００ｍｓ
を越えていれば、ＳＨＯＲＴＢＵＳＹタイムアウトを認
識し、ステップ５０９へ進む。

【００３７】ステップ５０９で、ＳＨＯＲＴＢＵＳＹ
タイムアウトとし、エラー処理を行う。ここでのエラー
処理は、センスバイトの作成等である。

【００３８】以上で図５〜図８におけるマイクロプロセ
ッサ６０で実行するボリューム排他制御処理および入出
力要求におけるコマンド処理（図４中のステップ１０７
の詳細）の説明を終了する。図５〜図８の処理における
要点を以下に示す。

【００３９】（１）アクセス可能情報フラグ７００に現
在入出力処理要求しているチャネルインタフェース制御
部に相当するフラグ（本ケースではアクセス可能情報フ
ラグ７００中のチャネルインタフェース２２用７０３）
が立っていない、かつアクセス可能情報フラグ反転中で
はない場合、５０ｍｓの間リトライし、状態が変化しな
い場合、デバイスビジー（デバイス使用中）とする。

【００４０】（２）デバイス情報テーブル８００中のア
クセス可能情報フラグ反転中フラグ８０３が１、かつリ
トライ情報フラグ１１００中のアクセス可能情報反転リ
トライフラグが１で、自分以外のディレクタが上位装置
からの入出力要求を処理していない場合、無条件に当該
ボリュームの入出力処理を行う。

【００４１】（３）デバイス情報テーブル８００中のＳ
ＨＯＲＴＢＵＳＹフラグ８０２が１かつボリューム使
用ディレクタ情報８０４が自分以外のＭＰ番号の場合、
最大４００ｍｓの間、２ｍｓの間隔で共有メモリ５６を
参照することにより、Ｂ．Ｔ．Ｆの沈み込みの防止およ
び上位装置からの入出力要求競合時共有メモリ５６上の
情報のアクセス（情報の参照または更新）頻度を変化さ
せる。

【００４２】（４）デバイス情報テーブル８００中のア
クセス可能情報フラグ反転中フラグ８０３が１かつリト
ライ情報フラグ１１００中のアクセス可能情報フラグ反
転リトライフラグが１で、自分以外のディレクタが上位
装置からの入出力要求を処理している場合、デバイスビ
ジー（デバイス使用中）とする。

【００４３】次に図９について説明する。図９は、マイ
クロプロセッサ６０で行う入出力終了処理の概略フロー
である。図９も、前記の条件（１ボリューム構成で、中
央処理装置１のチャネル４からケーブル１０を通じて、
半導体記憶装置２０のチャネルインタフェース制御部２
２に入出力要求が発行され、クラスタ３２内のディレク
タ３０が処理する場合）で説明する。

【００４４】まず、ステップ６００で、ステップ１０３
で選択したチャネルインタフェース制御部以外のチャネ
ルインタフェース制御部に制御線６９を通じて、使用中
（ＣＵビジー）を解除を通知する。本ケースでは、チャ
ネルインタフェース制御部２３〜チャネルインタフェー
ス制御部２５に制御線６９を通じて、使用中（ＣＵビジ
ー）を解除を通知する。

【００４５】ステップ６０１で、次に入出力要求を受け
付ける起動優先チャネルを決定する。起動優先チャネル
の決定方法は、特開平６−５２０８７号公報で開示され
ている方法である。

【００４６】ステップ６０２で共有メモリ５６をロック
し、Ｂ．Ｔ．Ｆ報告フラグ９００、アクセス可能情報フ
ラグ７００およびデバイス情報テーブル８００を読み込
む。

【００４７】ステップ６０３で、今、入出力要求を処理
しているチャネルインタフェース制御部のアクセス可能
情報フラグ７００は１か判断する。本ケースでは、アク
セス可能情報フラグ７００中のチャネルインタフェース
制御部２２用７０３が１か判断する。もし、今、入出力
要求を処理しているチャネルインタフェース制御部のア
クセス可能情報フラグ７００が１でなければ、ステップ
６１３へ進む。もし、今、入出力要求を処理しているチ
ャネルインタフェース制御部のアクセス可能フラグ７０
０が１であれば、ステップ６０４へ進む。

【００４８】ステップ６０４では、デバイス情報テーブ
ル８００中のボリューム使用ディレクタ情報８０４は自
ＭＰ番号か判断する。もし、デバイス情報テーブル８０
０中のボリューム使用ディレクタ情報８０４が自ＭＰ番
号でなければ、ステップ６１３に進む。もし、デバイス
情報テーブル８００中のボリュームディレクタ番号８０
４が自ＭＰ番号であれば、ステップ６０５に進む。

【００４９】ステップ６０５で、デバイス情報テーブル
８００中のリザーブフラグ８０５が０か判断する。も
し、デバイス情報テーブルに８００中のリザーブフラグ
８０５が０であれば、ステップ６０７へ進む。もし、デ
バイス情報テーブル８００中のリザーブフラグが０でな
ければ、ステップ６０６へ進む。

【００５０】ステップ６０６で、上位装置からリザーブ
中のため、共有メモリ５６よりパスグループマトリッ
クス情報１０００を読み込み、当該チャネルインタフェ
ース制御部のパスグループマトリックス情報１０００
をアクセス可能情報フラグ７００にセットする。本ケー
スにおいては、パスグループマトリックス情報１００
０中のチャネルインタフェース制御部２２用１００３を
アクセス可能情報フラグ７００にセットする。この後、
ステップ６１１へ進む。

【００５１】ステップ６０７で、入出力要求は正常終了
したか判断する。もし、入出力要求が正常終了していな
ければ、ステップ６１４へ進む。もし、入出力要求が正
常終了していれば、ステップ６０８へ進む。

【００５２】ステップ６０８で、Ｂ．Ｔ．Ｆ報告フラグ
９００中のチャネルインタフェース制御部２２用９０３
〜チャネルインタフェース制御部用２９用９１０のいず
れか１つが立っているか判断する。Ｂ．Ｔ．Ｆ報告フラ
グ９００中のチャネルインタフェース制御部２２用９０
３〜チャネルインタフェース制御部２９用９１０のいず
れか１つが立っていない場合、ステップ６１４へ進む。
Ｂ．Ｔ．Ｆ報告フラグ９００のチャネルインタフェース
制御部２２用９０３〜チャネルインタフェース制御部２
９用９１０のいずれか１つ立っている場合、ステップ６
０９へ進む。

【００５３】ステップ６０９で、Ｂ．Ｔ．Ｆ報告フラグ
９００をアクセス可能情報フラグ７００にセットする。

【００５４】ステップ６１０で、デバイス情報テーブル
８００中のアクセス可能情報反転中フラグ８０３を１と
する。ステップ６０９とステップ６１０で、Ｂ．Ｔ．Ｆ
の沈み込みを防止する効果がある。

【００５５】ステップ６１１で、デバイス情報テーブル
８００中のＬＯＮＧＢＵＳＹフラグ８０１、ＳＨＯＲ
ＴＢＵＳＹフラグ８０２およびボリューム使用ディレ
クタ情報８０４を０とする。

【００５６】ステップ６１２で、共有メモリ５６にアク
セス可能情報フラグ７００およびデバイス情報テーブル
８００を書き込む。

【００５７】ステップ６１３で、共有メモリ５６上のそ
の他の情報を更新、共有メモリ５６をアンロック（ロッ
クの解除）をする。共有メモリ上のその他の情報とは、
入出力回数等の統計情報等である。

【００５８】ステップ６１４で、アクセス可能情報フラ
グ７００のチャネルインタフェース制御部２２用７０３
からチャネルインタフェース制御部２９用７１０のすべ
てを１とする。

【００５９】本実施例によれば、複数の計算機システム
からシェアされても各計算機システムからの負荷を均一
化することができる。

【００６０】本実施例では、半導体記憶制御装置２０，
２１のチャネルインタフェース制御部は４つずつであっ
たが、チャネルインタフェース制御部が４つ以上でも４
つ以下でも本発明は適用可能であることは、言うまでも
ない。

【００６１】本実施例は、中央処理装置が３台の場合で
あったが、中央処理装置が３台以上でも３台以下でも適
用可能であることは言うまでもない。

【００６２】本実施例では、チャネルインタフェース制
御部２２〜２９にローカルプロセッサを持っていない
が、チャネルインタフェース制御部２２〜２９にローカ
ルプロセッサを持っていても、本発明は適用可能であ
る。

【００６３】また、本実施例では、共有メモリ５６が半
導体記憶装置５０にある例であったが。共有メモリ５６
が半導体記憶制御装置２０，２１にあっても本発明は適
用可能である。

【００６４】本実施例は、半導体記憶サブシステムに対
して、本発明を適用したものであったが、磁気ディスク
サブシステム等の外部記憶制御装置にも適用可能であ
る。

【００６５】なお、本実施例は、記憶制御装置に対し
て、本発明を適用したものであったが、記憶制御装置以
外の情報処理装置、例えば、通信制御装置、中央処理装
置等にも適用可能である。本発明は、前記実施例に限
定されるものではなく、その要旨を逸脱しない範囲で種
々変更可能であることは言うまでもない。

【００６６】

【発明の効果】本発明によれば、個々の外部記憶制御装
置において独立に各上位装置からの入出力の負荷を効率
良く、均一化できるという効果が得られる。

【図面の簡単な説明】

【図１】本発明の一実施例である情報処理サブシステム
の概要を示すブロック図。

【図２】本発明の一実施例である情報処理制御装置の概
要を示すブロック図。

【図３】本発明の一実施例である情報処理装置の概要を
示すブロック図。

【図４】本発明の一実施例である負荷均衡制御方式の作
用の一例を示す流れ図。

【図５】本発明の一実施例である負荷均衡制御方式の作
用の一例を示す流れ図。

【図６】本発明の一実施例である負荷均衡制御方式の作
用の一例を示す流れ図。

【図７】本発明の一実施例である負荷均衡制御方式の作
用の一例を示す流れ図。

【図８】本発明の一実施例である負荷均衡制御方式の作
用の一例を示す流れ図。

【図９】本発明の一実施例である負荷均衡制御方式の作
用の一例を示す流れ図。

【図１０】本発明の一実施例である負荷均衡制御方式に
おける、アクセス可能情報フラグの構造の一例を示す説
明図。

【図１１】本発明の一実施例である負荷均衡制御方式に
おける、デバイス情報テーブルの構造の一例を示す説明
図。

【図１２】本発明の一実施例である負荷均衡制御方式に
おける、ＢｕｓｙＴｏＦｒｅｅ（Ｂ．Ｔ．Ｆ）報告
フラグの構造の一例を示す説明図。

【図１３】本発明の一実施例である負荷均衡制御方式に
おける、パスグループマトリックス情報の構造の一例
を示す説明図。

【図１４】本発明の一実施例である負荷均衡制御方式に
おける、リトライ情報フラグの構造の一例を示す説明
図。

【図１５】本発明の一実施例である負荷均衡制御方式に
おける、タイマの構造の一例を示す説明図。

【符号の説明】

１〜４…中央処理装置、４〜９…チャネル、１０〜１５
…ケーブル、２０，２１…半導体記憶制御装置、２２〜
２９…チャネルインタフェース制御装置、３０，３１，
３４，３５…ディレクタ、３２，３６…クラスタ、３
３，３７…サービスプロセッサ、３８〜４１…データ転
送バスおよび制御線、５０…半導体記憶装置、５１〜５
４…ドライブインタフェース制御部、５５…共有メモリ
制御線、５６…共有メモリ、５７…メモリ制御線、５８
…メモリ、６０…マイクロプロセッサ、６１…メモリ、
６２…選択回路、６３…データ転送制御回路、６４…ド
ライブインタフェース制御部、６５〜６８…データ転送
バス、６９〜７５…制御線、７００…アクセス可能情報
フラグ、８００…デバイス情報テーブル、９００…Ｂｕ
ｓｙＴｏＦｒｅｅ（Ｂ．Ｔ．Ｆ）報告フラグ、１０
００…パスグループマトリックス情報、１１００…リ
トライ情報フラグ、１２００…タイマ

Claims

【特許請求の範囲】

【請求項１】揮発性または不揮発性の記憶媒体と外部記
憶制御装置が制御するための共有メモリを備えた外部記
憶装置とこの外部記憶装置を制御する外部記憶制御装置
と、この外部記憶制御装置を介して前記外部記憶装置を
共有し、当該外部記憶装置に対するデータの書き込みお
よび読み出しなどの入出力を行う複数の上位装置からな
る情報処理システムにおいて、外部記憶装置内に存在する共有メモリ上の情報を外部記
憶制御装置が参照および更新し、共有メモリへの情報ア
クセス（情報の参照および更新）頻度を変化させて、前
記外部記憶制御装置において個々の上位装置からの入出
力負荷を均一化させることを特徴とする負荷均衡制御方
法。
【請求項２】前記情報処理システムにおいて、外部記憶
制御装置が前記記憶装置内に存在する共有メモリ上の情
報を制御し、個々の上位装置からの入出力負荷を均一化
させることを特徴とする負荷均衡制御方法。