JP3726484B2 - 記憶サブシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のディスク制御装置間又はディスク制御装置内の負荷分散に関する。特にディスク制御装置とディスク駆動装置を、ネットワークもしくはスイッチ等で結合したディスクシステムでの負荷分散に関する。
【０００２】
【従来の技術】
既設置のディスクシステムの性能や容量を増加させるには、新たなディスク制御装置とそれに付随するディスク駆動装置を追加すればよい。すなわち、性能を求める場合はディスク制御装置当たりのディスク駆動装置を少なく設定し、ディスク制御装置の負荷を少なくすればよい。また、容量を求める場合は、ディスク制御装置当たりのディスク駆動装置を多く設定すればよい。このような、複数個のディスク制御装置とディスク駆動装置を並べる構成により、性能や容量に対して広いスケーラビリティを提供できるように見える。
【０００３】
しかし、この形態におけるスケーラビリティの広さは、全てのディスク制御装置やディスク駆動装置内のボリウムへのアクセスが、均等に起きることを前提としている。実際の運用ではこれらのアクセスには偏りがあるため、ディスク制御装置およびボリウムの負荷は偏った状態となる。この偏りは、ホストコンピュータ上で動作する適用業務の性質に依存し、また、同一適用業務においても時間によって変動する。この例としては、昼間のオンライントランザクション処理と夜間のバッチ処理の関係が挙げられる。すなわちディスク制御装置を複数個並べた構成では、ディスク制御装置間で負荷の不均衡が起こり、設置されている全部の制御装置の性能を十分に引き出すことは困難である。
【０００４】
従来、この不均衡への対応として、ユーザもしくはシステムエンジニアが、ディスク制御装置間でファイルやボリウムを再配置するなどの調整を行っていた。すなわち、人手による調整であった。このため、計算機の稼働状況の変化に合わせた素早い対応は不可能であった。また、再配置処理自体も、ホストプロセッサ経由で多量のデータ転送を行うため、時間がかかる非常に重たい処理であり、ホストの負荷が増加する等の不都合が多かった。さらに、データの整合性を保つため再配置処理中はデータの更新は禁止されていた。このように、再配置中のデータを利用する適用業務は、再配置が終了するまで実行できないなど運用上も非常に不都合が多い処理であったため、複数個のディスク制御装置を並べた従来型のディスクシステムでは負荷の不均衡の発生は必然であり、これら複数のディスク制御装置全てが同時に最大性能を発揮することは実質的に不可能であった。
【０００５】
これに対し、単一のディスク制御装置は、ホストコンピュータとのインタフェースを行うチャネルインタフェース、ディスク駆動装置とのインタフェースを行うディスクインタフェースおよひキャッシュメモリなどのコンポーネントにより構成されている。これら単一ディスク制御装置内のコンポーネントは、相互接続性の高い共通バス等の手段により結合されており、チャネルインタフェースやディスクインタフェースは複数個実装されているのが一般的である
単一のディスク制御装置は、上記のような構造上の理由により、装置内の負荷分散は容易に行える。すなわち、アクセスが集中するディスク駆動装置に対し、チャネルインタフェースやキャッシュ等の資源を優先して割り当てることにより、ディスク制御装置全体として最良のパフォーマンスを提供できる。つまり同一容量のディスクシステムを構築する場合、複数個のディスク制御装置を用いるよりも、単一のディスク制御装置を用いた方が、アクセスの偏りによる負荷の不均衡に強く、前記ファイルやボリウムの再配置処理も不要になる。
【０００６】
ところが近年、単体のディスク駆動装置の容量の増大や、ディスクアレイ技術の発達により、単一のディスク制御装置が管理するディスク駆動装置およびチャネルパス（ホストとのパス）の数が非常に増加してきている。このため現在の技術では、単体のディスク制御装置としての構成を保ったまま、管理するディスク駆動装置やチャネルパスを飛躍的に増加させることは困難である。
【０００７】
この理由は次のとおりである。記憶容量およびチャネルパスの増加により、ディスクインタフェースやチャネルインタフェースのコンポーネント数の増加する。このためディスク制御装置の内部において処理が集中するボトルネックを生み出し、単一のディスク制御装置の性能向上を妨げている。このようなボトルネックの例としては、共通バスが挙げられる。すなわち高い相互接続性を提供するため、全てのコンポーネント間通信が共通バスを経由するからである。
【０００８】
つまり単一のディスク制御装置の利点の一つである、共通バス等によるコンポーネント間の柔軟性の高い結合が、一方ではボトルネックとなり、単一のディスク制御装置全体の処理能力が律速されることとなる。
【０００９】
【発明が解決しようとする課題】
このようなボトルネックによる性能の律速の問題を回避し、ディスク制御装置の性能をスケーラブルに向上させるには、複数個のディスク制御装置とディスク駆動装置を並べる構成が本質的に適している。すなわち、共有部分を少なくする構成である。
【００１０】
しかし、前述したように、従来のかかる構成の装置では、ディスク制御装置間の負荷分散を効率よく行うことができなかった。すなわち、ディスク制御装置間での負荷の不均衡という問題を効率よく解消することができなかった。
【００１１】
そこで、本願発明者は、ディスク制御装置間での負荷の不均衡という問題の本質を検討した結果、以下の点が明らかとなった。
【００１２】
上記の複数個のディスク制御装置とディスク駆動装置を並べた場合の負荷の不均衡の問題とは、次のような状態である。あるディスク制御装置に接続されている複数のディスク駆動装置又はボリウムの中で、一部のディスク駆動装置又はボリウムにホストからのアクセスが集中した場合、それらを管理するディスク制御装置の負荷が高まり過負荷になる。ここでは、ディスク制御装置の性能限界は、その配下のディスク駆動装置の性能限界より低い場合を想定している。一般に、一つのディスク制御装置は多くのディスク駆動装置を管理するので、例えばあるディスク制御装置が１０個のディスク駆動装置を管理している場合、その中の５個のディスク駆動装置にアクセスが集中すると、ディスク制御装置の方が先に過負荷になるのが一般的だからである。
【００１３】
従来の装置では、ディスク駆動装置やボリウムと、そのボリウムを管理するディスク制御装置との対応が固定されているため、アクセスが集中していないディスク駆動装置又はボリウムに対してアクセスする場合でも、過負荷なディスク制御装置を経由しなければならない場合が生じる。この場合、目的のディスク駆動装置又はボリウム自体の負荷は低いにも係わらず、これらに対するアクセスは、過負荷なディスク制御装置を経由するため待たされていた。
【００１４】
上述の検討により、ディスク制御装置の過負荷は、当該ディスク制御装置が管理する一部のディスク駆動装置又はボリウムにホストからのアクセスが集中することに問題があり、当該アクセス集中の問題は、ディスク駆動装置やボリウムと、そのボリウムを管理するディスク制御装置との対応が固定されていることに問題があることが判明した。
【００１５】
そこで、本発明の目的は、前記のアクセス集中時において、ホスト上の適用業務やディスク制御装置は通常の処理を続けたまま、過負荷なディスク制御装置下の任意のディスク制御装置又はボリウムの管理を、過負荷でない任意の別のディスク制御装置へ移行する手段を提供することにある。これにより、複数のディスク制御装置間で負荷分散を実現し、ディスクシステム全体として、これら複数のディスク制御装置全てが同時に最大性能を発揮できる、コストパフォーマンスの良いディスクシステムを提供する。別の見方をすれば、本発明の目的は、実際のデータ移動を行わずに、任意のディスク制御装置間で、管理されるファイルやボリウムの再配置が可能なディスクシステムを提供することにある。さらに、本発明の別の目的は、ディスク制御装置を増設した場合に、自動的にファイルやボリウムの再配置を行い、複数のディスク制御装置間で自律的に負荷をバランスさせるディスクシステムを提供することにある。また、この再配置や負荷のバランスを、ディスク制御装置だけを追加した場合にも適用可能とすることにある。さらに、本発明の別の目的は、前述のボリウムの管理の移行や再配置による変更を、ホストプロセッサから隠蔽が可能なディスクシステムを提供することにある。
【００１６】
なお、シェアドナッシング方式のデータベース管理システムが、疎結合プロセッサシステム上で動いているシステムに対し、各プロセッサの負荷が均等になるように、各プロセッサと、各プロセッサがアクセスする外部記憶装置との接続を動的に変更する旨が、特開平９−７３４１１号公報（以下「文献１」という。）に記載されている。しかし、文献１には、ホストの負荷分散を開示するものであり、ディスク制御装置の負荷分散、及びファイル再配置時のホストの負荷軽減については開示されていない。
【００１７】
また、アクセス頻度に応じてファイルを装置間でマイグレーションする旨が特開平３−２９４９３８号公報（以下「文献２」という。）に開示されている。しかし、文献２には、ファイルを装置間で移動せずにファイルの再配置を行う点は開示されていない。
【００１８】
【課題を解決するための手段】
上記目的を解決するために、本発明では、複数のディスク制御装置と複数のディスク駆動装置とをネットワーク又はスイッチで接続する。また、各ディスク制御装置の負荷に応じてディスク制御装置間で管理するボリウムを交代させる手段と、前記ボリウム交代に対応してホストからディスク制御装置へのアクセスパスを変更する手段と、ボリウムの交代やアクセスパスの変更をホストプロセッサから隠蔽するため、ホストコンピュータが指定したボリウム番号とアクセスパスを変換する手段を設ける。
【００１９】
【発明の実施の形態】
図１〜図１２を用いて本発明の一実施例を説明する。
【００２０】
図２に単一のディスク制御装置の一構成例を示す。ディスク制御装置８は、ホストインタフェース２とチャネルパス９によりホストコンピュータ１と接続し、共有メモリ３、キャッシュメモリ４、複数のディスク駆動装置６と接続するディスクインタフェース５およびこれらを接続する共通バス７により構成されている。複数のディスクインタフェースが実装可能である。複数のホストインタフェース２も実装可能であり、この場合接続先のホスト１が同一であるか否かは問わない。本実施例の図２では、各ホストインタフェースが同じホストに接続されている例を示している。
【００２１】
ホストインタフェース２とディスクインタフェース５には、プロセッサが装備されており、それぞれ自律的に動作する。また、共有メモリ３とキャッシュメモリ４は、複数のホストインタフェース２や複数のディスクインタフェース５から参照可能な共有資源である。キャッシュメモリ４には、本ディスク制御装置へ書き込まれたデータやディスクドライブ６から読み出されホストに出力したデータが一時的に保存される。
【００２２】
共有メモリ３には、キャッシュメモリ上のデータの管理情報が格納される。この情報をキャッシュディレクトリと呼ぶ。ホストインタフェース２やディスクインタフェース５は、ホストから与えられるリード／ライトコマンド等に記述されている、ボリウム番号やボリウム内のレコードの位置情報（シリンダ番号、ヘッド番号、レコード番号等）をキーとして、キャッシュディレクトリの情報を検索することにより、リード／ライトの対象としているデータが、キャッシュメモリ上にある（キャッシュヒット）かキャッシュメモリ上にない（キャッシュミス）かの判断、およびキャッシュヒットの場合はそのデータのキャッシュメモリ上の位置を取得できる。共有メモリ３とキャッシュメモリ４は、ハードウエア的に同じ構成で実現できるが、ここでは格納される内容によって、共有メモリとキャッシュメモリという区別を行う。すなわち、純粋な入出力データがキャッシュメモリ上にあり、キャッシュメモリ上のデータ管理に関する制御情報は共有メモリにある。
【００２３】
また共有メモリ上には、サブシステム構成情報として、接続されているディスク駆動装置やチャネルパスの数、キャッシュメモリや共有メモリの容量等、ディスク制御装置の構成に関する詳細情報が格納される。さらに、ボリウム情報として、ボリウムが格納されているディスク駆動装置や接続されているディスクインタフェースに関する情報、ボリウムの容量やフォーマット等の情報が置かれている。
【００２４】
ディスク制御装置がディスクアレイ機能を持っている場合には、ホストから送られたデータは分割され、複数のディスク駆動装置や、ディスク駆動装置を構成する複数のＨＤＡ（ヘッド・ディスク・アセンブリ）に分散して格納される。このように、ディスクアレイ構成を採用しデータを分散して格納している場合、ボリウム情報には、ディスクアレイの構成情報として、そのボリウムが利用しているディスク駆動装置やＨＤＡのリストも格納される。本実施例はディスクアレイに対しても適用可能であるが、説明の簡略化のため、以後の説明は通常のディスクに対する動作を例に説明する。
【００２５】
次に、ホストコンピュータ１とディスク制御装置８間でのデータの入出力の動作について説明する。
【００２６】
ホストコンピュータ１とディスク制御装置８の間では、チャネルパス９を通して、一定の形式でデータ交換すなわち入出力が行われる。このデータをフレームと呼ぶ。フレームのフォーマットを図１０に示す。送信先コントロールユニット番号フィールド２２と発信元コントロールユニット番号フィールド２３は、それぞれ送信元と発信先のコントロールユニット番号を示す。コントロールユニット番号とは、ディスク制御装置を識別するために、各ディスク制御装置毎に固有に付される番号である。ホストコンピュータに対するコントロールユニット番号は０である。
【００２７】
ボリウム番号フィールド２４は、送信先コントロールユニット番号フィールド２２や発信元コントロールユニット番号フィールド２３で指定されたディスク制御装置内のボリウムを指定する情報であり、ここで指定されたボリウムに対し、後に続くコマンド／データフィールドの指示や情報が適用される。コマンド／データフィールド２５は、コマンドやデータが入るフィールドである。一般に、その他にもいくつかのフィールドが存在するが、本実施例においては参照しないため省略する。
【００２８】
ここで、ホストコンピュータ２上の適用プログラムが、コントロールユニット番号８番のディスク制御装置内の１０番のボリウムから、シリンダ番号２番、ヘッド番号３番、レコード番号４番のデータを読む命令を実行した場合、ホストコンピュータ２からデスク制御装置８に送信されるフレームの内容は、送信先コントロールユニット番号フィールドには８が、発信元コントロールユニット番号フィールドには０が、ボリウム番号フィールド２４には１０が入り、コマンド／データフィールド２５には、リードコマンドとそのパラメタである、シリンダ番号２番、ヘッド番号３番、レコード番号４番が入る。
【００２９】
フレームはホストインタフェース２により受信される。ホストインタフェース２では、ボリウム番号フィールド２４およびコマンド／データフィールドの情報により、操作の対象となるボリウムと操作の種類を認識する。また、共有メモリ上のボリウム情報を参照することにより、このボリウムの操作を担当するディスクインタフェースを認識し、そのディスクインタフェースに処理を委託する。
【００３０】
ボリウム情報の一例を図３に示す。ここで、ボリウム情報は表形式になっており、ボリウム番号をキーとして、そのボリウムに関する情報を取得できる。ボリウム容量やフォーマットに関する情報は、本実施例では参照しないため省略する。
【００３１】
処理を委託されたディスクインタフェースもまた、ボリウム情報を参照し、このボリウムが格納されているディスク駆動装置番号、ＨＤＡ番号、シリンダオフセットを取得する。この情報に従い、ディスクインタフェースは目的のボリウムを格納しているディスク駆動装置のＨＤＡに入出力命令を発行する。前に説明したフレームに対する場合、ボリウム番号は１０番のため、図３のボリウム情報より、１番のディスク駆動装置の、０番のＨＤＡに対し、シリンダ番号２番、ヘッド番号３番、レコード番号４番に対応するデータを読むように、リードコマンドを発行する。
【００３２】
ここで一つのＨＤＡの容量は、一つのボリウム容量より大きい。このため、一つのＨＤＡに複数のボリウムが格納されている。これら一つのＨＤＡ中のボリウムの切り分けはシリンダオフセットにより行われる。すなわち、図３のボリウム情報の例では、０番のＨＤＡ中の、シリンダ０番からシリンダ１９番までがボリウム番号１０の範囲であり、シリンダ２０番からがボリウム番号１１の範囲である。このため、ボリウム番号１１の場合のような、実際のシリンダが０番から始まっていないボリウム対しては、ディスクインタフェースがＨＤＡにコマンドを発行するときに、シリンダ番号に対しオフセットの値を加え、ホストから見たシリンダ番号からＨＤＡ中の実際のシリンダ番号への変換を行う。
【００３３】
入出力動作の説明に戻る。ＨＤＡはリードコマンドに対応して読み出されたデータをディスクインタフェースに返す。ディスクインタフェースはそのデータを、ホストインタフェースに返す。ホストインタフェースは、読み出されたデータに対し新たなフレームを生成して、ホストコンピュータ１に送信する。このフレームの内容は、さきほどホストコンピュータ１から送られてきたフレームの内容と比較して、送信先コントロールユニット番号フィールドと、発信元コントロールユニット番号フィールドの内容が入れ替わり。コマンド／データフィールドの内容が要求された読みだしデータに置き換えられる。
【００３４】
以上のようにして、ホストコンピュータ１とディスク制御装置８間でデータの入出力が行われる。
【００３５】
図１に、本発明によるディスク制御装置とディスク駆動装置の一構成例を示す。本構成では、ディスク制御装置８aから８ｃとディスク駆動装置６ａ１から６ｃ２の間をデバイスネットワーク１０で結合している。デバイスネットワーク１０は、各ディスク駆動装置が、全てのディスク制御装置およびその中のボリウムを直接アクセス可能な構成を実現する。
【００３６】
デバイスネットワーク１０は、一般的なＳＣＳＩバスで構成することも可能であるが、より多くのディスク制御装置及びディスク駆動装置を接続するため、ファイバチャネル等のネットワークの利用が適している。また、デバイスネットワークの総合的なスループットを高めるため、スイッチで構成する手法も適している。また同様にスループットを高めるため、複数系統のネットワークやスイッチを用いることもできる。
【００３７】
各ディスク制御装置には、初期状態として、各ディスク制御装置が制御を担当するディスク駆動装置およびディスク駆動装置内のボリウムが割り当てられている。例えば図１では、ディスク駆動装置８ａはディスク駆動装置６ａ１および６ａ２内のボリウム、ディスク駆動装置８ｂはディスク駆動装置６ｂ１および６ｂ２内のボリウム、ディスク駆動装置８ｃはディスク駆動装置６ｃ１および６ｃ２内のボリウムの制御を、それぞれ担当する。
【００３８】
ディスク制御装置と、そのディスク制御装置が制御するディスク駆動装置やボリウムとの対応は、ホストコンピュータ上のオペレーティングシステムにも記憶されている。したがって一般には、ホストコンピュータを稼働させたまま、ディスク制御装置と、そのディスク制御装置が制御するボリウムとの対応を変更することは出来ない。
【００３９】
これに対し、ホストコンピュータを稼働させたまま、ディスク制御装置と、そのディスク制御装置が制御するボリウムとの対応の変更を実現するため、ホストコンピュータとディスク制御装置間でのフレームの交換の制御を行う機構が、経路制御装置２１である。
【００４０】
経路制御装置２１の一構成例を図１１に示す。ホストチャネルインタフェース２６は、ホストコンピュータとのインタフェースを行う。ディスクチャネルインタフェース２７は、ディスク制御装置とのインタフェースを行う。ホストコンピュータ側とディスク制御装置側とで同一のプロトコルを用いる場合は、ホストチャネルインタフェース２６とディスクチャネルインタフェース２７は同一のハードウエア構成をとることが出来る。
【００４１】
経路変更プロセッサ２８は、内部にプロセッサとメモリおよび制御プログラムを持つ。この制御プログラムの動作は、次のとおりである。ホストチャネルインタフェース２６を通して送られたフレームを、適切なディスク制御装置が接続されているディスクチャネルインタフェース２７に送り、ディスクチャネルインタフェース２７はそのフレームをディスク制御装置に送信する。また逆に、ディスク制御装置からのフレームをホストコンピュータに返す。ここで、適切なディスク制御装置とは、そのフレームの送信先コントロールユニット番号とボリウム番号を、ボリウム−ディスク制御装置対応変換表２９に基づいて変換を行った後のディスク制御装置を指す。
【００４２】
ボリウム−ディスク制御装置対応変換表２９は、オペレーティングシステムが記憶しているボリウムとディスク制御装置の対応から、経路制御装置２１の配下にある、ボリウムとディスク制御装置の対応を導く表である。この表は、オペレーティングシステムが記憶しているボリウムとディスク制御装置の対応とは独立しているため、ホストコンピュータを稼働させたまま、オペレーティングシステムやホスト上の適用プログラムを変更せずに、任意のディスク制御装置に任意のボリウムに対するフレームを送信することが可能である。すなわち、ディスク制御装置と、そのディスク制御装置が制御するボリウムとの対応の変更を、ホストコンピュータに対し隠蔽できる。
【００４３】
ボリウム再配置制御プロセッサ３０は、内部にマイクロプロセッサを持ち、各ディスク制御装置の状態に基づき、ボリウム−ディスク制御装置対応変換表２９を変更することにより、経路変更プロセッサによるフレームの送信先を制御する。ディスク制御装置の状態に基づく具体的な送信先の制御方法は後述する。
【００４４】
各ディスク制御装置の状態は、デバイスネットワークインタフェース３１を通して収集する。すなわち本構成例では、ディスク制御装置間および経路制御装置で、ホストコンピュータを介さず情報や入出力データの交換を行うことが可能である。つまりデバイスネットワーク１０は、ディスク駆動装置内に格納されているデータを転送するだけでなく、ディスク制御装置間の情報交換ネットワークとしても用いる。もちろん、ホストコンピュータを介したり、ディスク制御装置間にデバイスネットワークとは別のネットワークを構築し、それらを用いる構成でも同様の情報交換は可能である。
【００４５】
次に本発明における負荷分散の実現方式を説明する。本発明の負荷分散は、ディスク制御装置と、そのディスク制御装置に制御されるボリウムの対応を任意に変更し、この変更をホストコンピュータやホストコンピュータ上の適用プログラムから隠蔽することにより実現する。これは、ディスク制御装置間でのデータの移動を伴わないボリウムの再配置と、その再配置のホストコンピュータや適用プログラムへの隠蔽とも考えられる。
【００４６】
例えば初期状態として、図４（ａ）の細線で示すように、ディスク制御装置８ａがボリウムＡ１１からＡ１４までを制御し、ディスク制御装置８ｂがボリウムＢ１１からＢ１４までを制御していたとする。このようなディスク制御装置とボリウムの対応は、経路制御装置２１内のボリウム−ディスク制御装置対応変換表２９に反映されている。
【００４７】
図４のボリウム−ディスク制御装置対応変換表は、各行が、ボリウムとディスク制御装置の対応を表す。最初と次の列が、ホストコンピュータから見たボリウムとそのボリウムを制御するディスク制御装置のコントロールユニット番号、最後の列が実際に前記ボリウムを制御するディスク制御装置のコントロールユニット番号を表す。例えば最初の行は、ホストホストコンピュータから、ディスク制御装置８ａが制御するボリウムＡ１１として認識されているボリウムが、実際にも、ディスク制御装置８ａが制御していることを示す。経路制御装置２１内の経路変更プロセッサ２８は、ホストから送られたフレームの、送信先コントロールユニット番号とボリウム番号を参照し、このボリウム−ディスク制御装置対応変換表に従い、実際にそのフレームが対象とするボリウムを制御するディスク制御装置にフレームを送信する。
【００４８】
さてここで、ボリウムＡ１１とＡ１２にアクセスが集中した場合を考える。この場合、ディスク制御装置８ａの負荷が重くなり、ディスク制御装置８ａと８ｂの負荷が不均衡になる。また、ボリウムＡ１３やＡ１４に対するアクセスも、負荷の重いディスク制御装置８ａを経由する必要があり待たされる。これに対し、図４（ｂ）で示すように、ボリウム−ディスク制御装置対応変換表２９を変更し、ボリウムＡ１３とボリウムＡ１４へのアクセスが、ディスク制御装置ｂに送られるようにし、さらにディスク制御装置８ｂに、ボリウムＡ１３とＡ１４の制御を担当させる。
【００４９】
以上のようにして、ホストコンピュータおよびその上で動作する適用プログラムには変更を加えず、また適用プログラムは動作を継続させたまま、ディスク制御装置間でボリウムの再配置を行い、ディスク制御装置８ａの負荷を軽減し、システム全体として最良のスループットを提供できる。
【００５０】
次に、ディスク制御装置間でのデータの移動を伴わないボリウムの再配置による負荷分散の、具体的な手続きを図５のフローチャートを用いて説明する。
【００５１】
各ディスク制御装置はそれぞれの資源に対する利用率をモニタし負荷を判定する。資源の例としては、チャネルパス、ホストインタフェース、共有メモリ、キャッシュメモリ、共通バス、ディスクインタフェース、ディスク駆動装置とのパス等が挙げられる。ディスク制御装置は、これらの資源の利用率を、自分の制御下にあるボリウム毎の負荷としてモニタする。利用率の具体例としては、ホストインタフェース、ディスクインタフェース関しては制御を行うプロセッサの稼働率、共有メモリ、キャッシュメモリ等に関しては単位時間あたりのアクセス回数、共通バス、チャネルパス、ディスク駆動装置とのパス等に関しては単位時間あたりに利用されている割合等が挙げられる。
【００５２】
各ディスク制御装置でモニタされたボリウム毎のディスク制御装置の負荷の情報は、デバイスネットワーク１０等の情報交換網を通じてボリウム再配置制御プロセッサ３０に集められる。ボリウム再配置制御プロセッサ３０では、この情報を元に各ディスク制御装置の負荷を計算し、限度以上の負荷の不均衡が生じている場合は、各ディスク制御装置の負荷が均等になるようなボリウムの配置を決定する。この限度は、あらかじめ利用者が指定しておく。具体的な配置は、自動最適配置が指定されている場合は、ボリウム再配置制御プロセッサ３０が各ディスク制御装置の負荷が均等になるように自律的に決定する。それ以外の場合は、ユーザが決定し指示する。
【００５３】
次にボリウム再配置制御プロセッサ３０は、経路変更プロセッサ２８の機能を一時保留させることにより、ホストコンピュータ１とディスク制御装置８間の入出力を一時保留させる。これはボリウムの再配置中の過渡状態での入出力を抑制するためである。
【００５４】
そしてボリウム再配置制御プロセッサ３０は、決定したボリウムの配置に基づき、ボリウム−ディスク制御装置対応変換表２９を変更するとともに、決定したボリウムの配置を、各ディスク制御装置に指示する。各ディスク制御装置は指示に従い、管理するボリウムを変更する。デバイスネットワークにより任意のディスク制御装置が任意のディスク駆動装置を直接アクセスできるため、この変更による物理的な接続の変更は不要である。
【００５５】
あるディスク制御装置がこれまで制御していたボリウムの管理を止める場合は、そのボリウムに対するアクセス要求を拒否するだけでよい。
【００５６】
一方、あるディスク制御装置が他のディスク制御装置が管理していたボリウムを引き継いで管理するには、対象となるボリウムのボリウム情報が必要になる。具体的には図３に示した各ディスク制御装置の共有メモリ上に格納されている情報であり、そのボリウムが格納されているディスク駆動装置のデバイスネットワーク上での位置（ディスク駆動装置番号）や、ボリウムの容量やフォーマット等の情報である。このボリウム情報は、ボリウムの再配置の実行に先立ち、移動元と異動先のディスク制御装置の間で交換しておく。この交換もデバイスネットワークを用いる。デバイスネットワークではなく、専用のネットワークを用いる方式を採用することももちろん可能である。また、全ディスク制御装置の中に、事前に、その制御装置がアクセスできるディスク駆動装置やボリウムに対する情報等をすべて格納しておけば、ボリウムの再配置に先だってボリウムに関する情報交換を行う必要はない。
【００５７】
最後に、ボリウム再配置制御プロセッサ３０は、保留していた経路変更プロセッサ２８の機能を回復させることにより入出力を再開させる。以上の手順により、ボリウムの再配置による負荷分散が行われる。
【００５８】
図４では、ディスク制御装置とディスク駆動装置がそれぞれ２台の場合を例に取ったが、本発明の負荷分散は、デバイスネットワークで結合した任意台数のディスク制御装置と任意台数のディスク駆動装置及びボリウムに対して適用できる。また、ディスク制御装置の能力が足りない場合は、ディスク駆動装置の台数はそのままで、ディスク制御装置だけを増設し負荷分散することにより、システム全体のスループットを高めることもできる。
【００５９】
本発明の特徴の一つは、ボリウム再配置を行っても実際のデータの移動が不要な点である。このため、秒オーダー以下の非常に短い時間での再配置が可能となる。また、その他の特徴として、ディスク制御装置間で共有し同時に参照し合う情報が無い事も挙げられる。すなわちボリウム再配置時以外は、ディスク制御装置とその配下のボリウムは、従来の単体のディスク制御装置と同様の動作を行う。特に、他のディスク制御装置との間で、ボリウムに格納する（されていた）入出力データのやりとりを行わない。これにより、ディスク制御装置間のスムーズな負荷分散の実現と、ディスク制御装置の増設によるスケーラブルな性能向上の両立が達成できる。
【００６０】
本発明の目的は、経路制御装置を使用しなくても達成可能である。この方式を第二の実施例として次に示す。
【００６１】
図９に第二の実施例におけるディスク制御装置の一構成例を示す。本実施例においては、経路制御装置を使用しない。このため、例えば図１２の（ａ）から（ｂ）のように、各ディスク制御装置が制御するボリウムが変更された場合、ボリウムＡ１３に対するフレームは、変更後もディスク制御装置８ａに届いてしまう。ここで各ディスク制御装置が担当するボリウムの範囲を細線で示している。
【００６２】
このような誤配を防ぎ、かつディスク制御装置とその制御装置に制御されるボリウムの変更を、ホストコンピュータ上の適用プログラムから隠蔽するために、本実施例では、ホストコンピュータ１上で動作する入出力制御ユーティリティプログラムを用いる。
【００６３】
入出力制御ユーティリティを用いた、ディスク制御装置と、そのディスク制御装置に制御されるボリウムの変更の具体的な隠蔽方式を次に述べる。
【００６４】
ここでは、図１２の（ａ）から（ｂ）のように、各ディスク制御装置が制御するボリウムを変更する場合について述べる。図６(a)は、図１２(a)の状態の時点の、ホストコンピュータ１内部のディスクアクセスに関する制御構造を詳細に示した図である。ホストのオペレーティングシステムは、ＩＢＭ社により開発されたＭＶＳ（マルチプル・バーチャル・ストレージ）と仮定する。この図において、ＵＰＡ１２は、ユーザプログラムエリアの略であり、仮想記憶アドレス内のユーザ領域を示す。同様にＳＱＡ１３は、システム・キュー・エリアの略であり、仮想記憶アドレス内のオペレーティングシステムの領域を示す。サブチャネル１４は、実際にディスク制御装置等との入出力を実行する機構であり、チャネルパス９ａ、９ｂが接続さている。この図のシステムでは、最大１２本のチャネルを接続可能であり、各接続機構毎にCHPD01からCHPD12までのIDが割り当てられている。
【００６５】
この図を用い、ボリウムをアクセスする従来の手順を説明する。この図で示したＵＰＡ１２は。ディスク制御装置８ａを用い、ボリウムＡ１３をアクセスする。具体的な手順は、次の通りである。
【００６６】
ディスクアクセスに当たり、最初に参照する構造体は、自分のＵＰＡ内のＤＣＢ（データ・コントロール・ブロック）１５である。 ＤＣＢは、アクセス対象となるデータセットをオープンしたときに作成され、データセットの編成、レコードの論理長、レコードフォーマットの情報等に加え、ＤＥＢ（データ・エクステント・ブロック）１６へのポインタが格納されている。
【００６７】
ＤＥＢもアクセス対象となるデータセットをオープンしたときに作成され、データセットの詳細情報、すなわちアクセス方式やデータセットがＤＡＳＤ上に占めている物理的な区域の情報等に加え、ＵＣＢ（ユニット・コントロール・ブロック）１７へのポインタが格納されている。
【００６８】
ＵＣＢは、システム・キュー・エリアにある情報であり、ホストシステムの立ち上げ時に、ハードウエア構成定義で設定された情報に基づき、それぞれのボリウムに対し生成される。また、内容は後述する入出力制御ユーティリティにより変更できる。ＵＣＢには、ボリウムの詳細情報、すなわちボリウム名、ボリウムシリアル番号、デバイス番号、サブチャネル番号、そのボリウムへアクセスするときに利用可能なチャネルパスＩＤ番号等が格納されている。またボリウムの状態としてボリウムが使用中か否か、つまり利用可能かどうかの情報も格納されている。
【００６９】
例えば、図６（ａ）のＵＣＢ１７は、ボリウム名Ａ１３、デバイス番号１００、アクセス可能状態、使用するチャネルパスID CHPD01が格納されている状態を示している。デバイス番号とは、ボリウム毎に一意に付けられた番号である。
【００７０】
以上の情報構造により、ＤＣＢ、ＤＥＢ、ＵＣＢをたどり、利用可能なチャネルパスIDがCHPD01であることを認識し、チャネルパス９ａおよびディスク制御装置８ａを用いて、ボリウムＡ１３をアクセスする。
【００７１】
これまでの説明から明らかなように、ホストとボリウム間のアクセス経路（チャネルパス）は、ＳＱＡ内のＵＣＢの情報により制御されている。すなわち、ＵＣＢ内の使用するチャネルパスIDの情報を変更することにより、適用プログラムに影響を与えず（適用プログラムは実行中のまま）、利用するチャネルパスを変更することが可能である。
【００７２】
図１２（ｂ）の状態に対応するようにチャネルパスを再設定した、ホスト内部のディスクアクセスに関する制御構造を、図６（ｂ）に示す。図６（ａ）と比較してわかるように、ＵＣＢ１７の使用するチャネルパスIDの情報が、 CHPD01からCHPD11に変更されている。この変更でボリウムＡ１３へのアクセスは、このボリウムを管理するディスク制御装置８ｂへチャネルパス９ｂを利用し直接行うことが可能となる。
【００７３】
ここで入出力制御ユーティリティとは、ディスク制御装置と、そのディスク制御装置に制御されるボリウムの対応の変更に同期して、 ＵＣＢ内の使用するチャネルパスIDの情報を適切に変更するユーティリティプログラムである。これにより、ディスク制御装置に制御されるボリウムの対応の変更を、ホストコンピュータ上の適用プログラムから隠蔽できる。
【００７４】
入出力制御ユーティリティによる、ボリウムが利用するチャネルパスの変更や入出力の保留の方式を図８を用いて説明する。図６で示した場合と同様、入出力制御ユーティリティの領域にも、入出力制御ユーティリティのＵＰＡ１９と、入出力制御ユーティリティのＳＱＡ２０が存在する。
【００７５】
ここでＳＱＡは、全てのプログラムに対し共通領域となっている。すなわち、入出力制御ユーティリティのＳＱＡ２０と、他のプログラムのＳＱＡ１３は同じ領域である。これは、ＭＶＳオペレーティングシステムの機能として実現されている。このため、入出力制御ユーティリティはＵＣＢの情報を書き換える事により、他のプログラムが利用している任意のボリウムの情報の変更が可能である。すなわち、チャネルパスＩＤの情報を書き換えることにより利用するチャネルパスの設定や変更を、ボリウムの状態の情報を「READY(利用可)」から「BUSY(使用中)」に書き換えることにより入出力の保留や再開の制御を行うことができる。
【００７６】
次に、本実施例における、ディスク制御装置間でのデータの移動を伴わないボリウムの再配置による負荷分散の具体的な手続きを、図７のフローチャートを用いて説明する。
【００７７】
各ディスク制御装置はそれぞれの資源に対する利用率をモニタし、各ディスク制御装置でモニタされたボリウム毎のディスク制御装置の負荷の情報は、デバイスネットワーク１０等の情報交換網を通じてサービスプロセッサ１１に集められる。この処理は、経路制御処理装置がサービスプロセッサに変わった以外は第一の実施例と同じである。
【００７８】
サービスプロセッサ１１では、この負荷情報を元に各ディスク制御装置の負荷を計算し、限度以上の負荷の不均衡が生じている場合は、各ディスク制御装置の負荷が均等になるようなボリウムの配置を決定する。この限度は、あらかじめ利用者が指定しておく。具体的な配置は、自動最適配置が指定されている場合は、サービスプロセッサ１１が各ディスク制御装置の負荷が均等になるように自律的に決定する。それ以外の場合は、ユーザが決定し指示する。また同様の機能を、サービスプロセッサではなくディスク制御装置に負わせることも同様に可能である。また、サービスプロセッサは、ＬＡＮ（ローカルエリアネットワーク）等の通信回線１８を経由して、ホストに接続されている。このため、サービスプロセッサはホストのコンソールや一般的な端末としての機能、すなわち、ホストのオペレーティングシステム等のパラメタの設定変更や、任意のホストプログラムの実行等の機能も持つ。
【００７９】
新しいボリウム配置の決定の後、サービスプロセッサはそのボリウム配置に最適になるような、アクセスパスの構成を計算する。ボリウム配置に最適になるようなアクセスパスの構成とは、図６（ｂ）に示すように、そのボリウムに対するチャネルパスIDの情報が、そのボリウムを制御するディスク制御装置につながっているチャネルパスとなっている設定である。
【００８０】
計算された最適アクセスパス情報は、入出力制御ユーティリティに送付される。入出力制御ユーティリティは、ホストシステム上で動作するユーティリティプログラムである。
【００８１】
最適アクセスパス情報を受け取った入出力制御ユーティリティは、その情報に従って、各ボリウムが利用するチャネルパスの変更を行う。この変更に先立ち、チャネルパスの変更を行うボリウム全てに対するアクセスを一時保留状態にする。保留状態への遷移は、各ボリウムのＵＣＢのボリウムの状態情報を、使用中の状態にすることにより達成される。使用中のボリウムに対して発行されるI/Oアクセスは、オペレーティングシステムレベルで一時保留される。I/Oを発行した適用プログラムの立場では、単にI/Oの応答が戻ってくるまでの時間が延びたように見える。この使用中への移行は、チャネルパス、ディスク制御装置やボリウム間の対応が変更されている間に、ボリウムへのアクセスが発生することを防ぎ、これら変更の手順を容易にするためである。
【００８２】
チャネルパスの変更を行うボリウム全てに対するアクセスの一時保留状態への遷移が完了したら、入出力制御ユーティリティは、サービスプロセッサに入出力一時保留状態遷移完了報告を行う。サービスプロセッサはこの報告を受け、各ディスク制御装置にボリウムの再配置を指示する。ここでは第一の実施例と同様に、各ディスク制御装置は、ボリウムを移動し合う相手のディスク制御装置とボリウム情報等の交換を行ったのち、ボリウムの再配置を実行し、その完了をサービスプロセッサに報告する。
【００８３】
サービスプロセッサは、ボリウム移動の対象となった全てのディスク制御装置からの、再配置変更完了報告を確認の後、入出力制御ユーティリティに、各ボリウムが利用するチャネルパスの変更の実行を指令する。
【００８４】
入出力制御ユーティリティは、各ボリウムが利用するチャネルパスの変更を行った後、ボリウムに対するアクセスの一時保留を解除する。
【００８５】
これらの手順により、ホストコンピュータからディスク制御装置へのアクセスパス（チャネルパス）のボリウム遷移と同期した再設定が実行できる。
【００８６】
第二の実施例においても、第一の実施例と同様に、デバイスネットワークで結合した任意台数のディスク制御装置と任意台数のディスク駆動装置及びボリウムに対して適用できる。また、ディスク制御装置の能力が足りない場合は、ディスク駆動装置の台数はそのままで、ディスク制御装置だけを増設し負荷分散することにより、システム全体のスループットを高めることもできる。
【００８７】
また、第一の実施例と同様に、ボリウム再配置を行っても実際のデータの移動が不要であり、秒オーダー以下の非常に短い時間での再配置が可能となる。また、ディスク制御装置間で共有し同時に参照し合う情報が無い。すなわちボリウム再配置時以外は、ディスク制御装置とその配下のボリウムは、従来の単体のディスク制御装置と同様の動作を行う。特に、他のディスク制御装置との間で、ボリウムに格納する（されていた）入出力データのやりとりを行わない。これにより、ディスク制御装置間のスムーズな負荷分散の実現と、ディスク制御装置の増設によるスケーラブルな性能向上の両立が達成できる。
【００８８】
【発明の効果】
本発明によれば、複数のディスク制御装置間で、負荷分散となるボリウムの再配置を実際のデータ移動を伴わずに行い、従来型の単体のディスク制御装置複数個を用いた場合と比較して、より広いスケーラビリティと性能を得ることが出来る。またホストコンピュータがディスク制御装置およびボリウムにアクセスする時に用いるチャネルパスを、前記ボリウム再配置に合わせ最適な経路となるように変更し、さらにその変更をホストコンピュータや適用プログラムから隠蔽することにより、適用プログラムやホストコンピュータの動作の停止が不要になり、前記ボリウム再配置による負荷分散の適用しやすさを高めることができる。
【図面の簡単な説明】
【図１】本発明における、ディスク制御装置とディスク駆動装置の一構成例である。
【図２】ディスク制御装置とディスク駆動装置の一構成例である。
【図３】ボリウム情報の一構成例を示す図である。
【図４】ディスク制御装置が、制御を担当するボリウムを変更することにより負荷分散を実現する方式の一つの例を示す図である。
【図５】ディスク制御装置が、制御を担当するボリウムを変更することにより負荷分散を実現するシステムの、ボリウム再配置の処理の流れを示す図である。
【図６】ホストコンピュータからディスク制御装置へのアクセスパスをボリウム遷移と同期して再設定する方式を示す図である。
【図７】ホストコンピュータからディスク制御装置へのアクセスパスをボリウム遷移と同期して再設定するシステムの、ボリウム再配置およびアクセスパス変更の処理の流れを示す図である。
【図８】ホストコンピュータからディスク制御装置へのアクセスパスを変更する方式を示す図である。
【図９】本発明における、ディスク制御装置とディスク駆動装置の第二の構成例である。
【図１０】ホストコンピュータからディスク制御装置に渡すフレームの例を示す図である。
【図１１】経路制御装置の一構成例を示す図である。
【図１２】ディスク制御装置が、制御を担当するボリウムを変更することにより負荷分散を実現する方式のもう一つの例を示す図である。
【符号の説明】
１…ホストコンピュータ、２…ホストインタフェース、３…共有メモリ、４…キャッシュメモリ、５…ディスクインタフェース、６・６ａ１・６ａ２・６ｂ１・６ｂ２・６ｃ１・６ｃ２…ディスク駆動装置、７…共通バス、８・８ａ・８ｂ・８ｃ …ディスク制御装置、９・９ａ・９ｂ・９ｃ…チャネルパス、１０…デバイスネットワーク、１１…サービスプロセッサ、１２…ユーザプログラムエリア、１３…システムキューエリア、１４…サブチャネル、１５…データコントロールブロック、１６…データエクステントブロック、１７…ユニットコントロールブロック、１８…ＬＡＮ等の通信回線、１９…入出力制御ユーティリティのユーザプログラムエリア、２０…入出力制御ユーティリティのシステムキューエリア、２１…経路制御装置、２２…送信先コントロールユニット番号フィールド、２３…発信元コントロールユニット番号フィールド、２４…ボリウム番号フィールド、２５…コマンド／データフィールド、２６…ホストチャネルインタフェース、２７…ディスクチャネルインタフェース、２８…経路変更プロセッサ、２９…ボリウム−ディスク制御装置対応変換表、３０…ボリウム再配置制御プロセッサ、３１…デバイスネットワークとのインタフェース、３２…ボリウム情報、３３…ボリウム番号フィールド、３４…ディスクインタフェース番号フィールド、３５…ディスク駆動装置番号フィールド、３６…ＨＤＡ番号フィールド、３７…シリンダオフセットフィールド。

Claims (18)

1. ホストシステムと接続された複数のディスク制御装置と、
   ボリウムを格納する複数のディスク駆動装置と、
   上記複数のディスク制御装置と上記複数のディスク駆動装置とを接続するネットワークもしくはスイッチと、
   上記複数のディスク駆動装置のうちの一のディスク駆動装置の管理元を、上記複数のディスク制御装置のうちの一のディスク制御装置から他のディスク制御装置に変更する管理元変更手段とを有し、
   上記一のディスク制御装置と上記他のディスク制御装置は、上記管理元変更手段からの上記一のディスク制御装置から上記他のディスク制御装置への変更の指示に従って、管理するボリウムの変更を実行し、
   上記一のディスク制御装置と上記他のディスク制御装置は、上記一のディスク制御装置と上記他のディスク制御装置による上記ボリウムの変更の実行に先立って、上記ボリウムに関する情報を交換すること特徴とする記憶サブシステム。
2. 上記ボリウムに関する情報は、上記ボリウムが格納されているディスク駆動装置の番号や、上記ボリウムの容量やフォーマットであることを特徴とする請求項１記載の記憶サブシステム。
3. 上記複数のディスク駆動装置内のデータに対してホストコンピュータにより指定されたボリウム番号と、該ボリウム番号によって指定される上記複数のディスク駆動装置内のデータを制御する上記ディスク制御装置を特定するＩＤ情報との対応を保持する手段を有し、
   上記管理元変更手段は上記ボリウム番号と上記ＩＤ情報の対応を変更することを特徴とする請求項１記載の記憶サブシステム。
4. 上記複数のディスク制御装置は、
   上記複数のディスク駆動装置のうち第一のディスク領域を管理する第一のディスク制御装置と、
   上記複数のディスク駆動装置のうち第二のディスク領域を管理する第二のディスク制御装置を備え、
   さらに、上記管理元変更手段は上記第一及び第二のディスク領域の割合を変更することを特徴とする請求項１記載の記憶サブシステム。
5. 上記管理元変更手段は、上記複数のディスク制御装置の負荷に応じて上記管理元の変更を行うことを特徴とする請求項１乃至４のいずれかに記載の記憶サブシステム。
6. 上記ホストシステムと上記複数のディスク制御装置との接続経路情報を保持する手段を有し、
   上記接続経路情報を保持する手段は、上記管理元変更手段が行う管理元の変更に応じて、上記接続経路情報を変更することを特徴とする請求項１乃至５のいずれかに記載の記憶サブシステム。
7. 上記接続経路情報の変更は、
   上記管理元変更手段による、上記ディスク駆動装置または上記ディスク駆動装置内のボリウムと、それらの制御を受け持つ上記ディスク制御装置との対応の変更と同期して、上記接続経路情報を、上記ディスク駆動装置または上記ディスク駆動装置内のボリウムと、その制御を受け持つように変更された上記ディスク制御装置が対応するように変更することを特徴とする請求項６記載の記憶サブシステム。
8. 上記ホストシステムと上記ディスク制御装置との間に接続されたデータ交換の経路を変更する経路変更装置を備え、
   上記経路変更装置は、上記管理元変更手段が行う管理元の変更に応じて、上記データ交換の経路を変更することを特徴とする請求項１記載の記憶サブシステム。
9. 上記ボリウム番号と、該ボリウム番号によって指定される上記複数のディスク駆動装置内のデータを制御する上記ディスク制御装置との対応を保持する手段を有し、
   上記経路変更装置は上記ボリウム番号と上記ディスク制御装置との対応を変更することを特徴とする請求項８記載の記憶サブシステム。
10. 上記経路変更装置は、ディスク制御装置が増設された場合に、上記ボリウム番号と上記増設されたディスク制御装置とを対応付けることを特徴とする請求項９記載の記憶サブシステム。
11. 上記ホストシステム上で実行される適用業務プログラムの実行中に、
    上記管理元の変更または上記データ交換の経路の変更を行うことを特徴とする請求項８乃至１０のいずれかに記載の記憶サブシステム。
12. 上記管理元の変更または上記データ交換の経路の変更は上記ホストシステム上で実行される適用業務プログラムに対して隠蔽されて行われることを特徴とする請求項８乃至１１のいずれかに記載の記憶サブシステム。
13. 上記一のディスク制御装置と上記他のディスク制御装置は、上記ボリウムの管理を止める場合に、上記ボリウムに対するアクセス要求を拒否することを特徴とする請求項１乃至１２のいずれかに記載の記憶サブシステム。
14. 上記複数のディスク制御装置間で通信を行うための通信手段を有することを特徴とする請求項１乃至１３のいずれかに記載の記憶サブシステム。
15. 上記管理元変更手段は、ディスク制御装置が増設された場合に、上記複数のディスク駆動装置のうちの一のディスク駆動装置の管理元を、上記増設されたディスク制御装置に変更することを特徴とする請求項１乃至１４のいずれかに記載の記憶サブシステム。
16. 上記管理元変更手段が行う変更は、上記ホストシステム又は上記複数のディスク制御装置のいずれかのディスク制御装置からの指示に応じて行われることを特徴とする請求項１乃至１５のいずれかに記載の記憶サブシステム。
17. 上記複数のディスク制御装置は上記ホストシステムと第一のネットワークを介して接続され、
    上記第一のネットワークとは別の第二のネットワークによって上記ホストシステムと接続されたサービスプロセッサを備え、
    該サービスプロセッサはさらに上記複数のディスク制御装置と上記複数のディスク駆動装置を接続する請求項１の上記ネットワークもしくはスイッチと接続され、
    上記管理元変更手段が行う変更は、上記サービスプロセッサの指示により行われることを特徴とする請求項１乃至１６のいずれかに記載の記憶サブシステム。
18. 上記管理元変更手段が行う管理元の変更、及び上記接続経路情報の変更が終了するまで、上記ホストシステムからの該記憶サブシステムへの入出力が一時中断することを特徴とする請求項６乃至１０のいずれかに記載の記憶サブシステム。

Images