JP3403920B2 - 記憶システムおよび記憶制御装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、ディスク
アレイ及びディスクコントローラを用いた大規模記憶シ
ステムにおけるディスクコントローラのような記憶制御
装置に係り、特に、システムの拡張に際して、高い信頼
性を維持しつつ、かつ性能がスケーラブルに向上し得
る、柔軟な拡張性が求められる大規模記憶システムに用
いて好適な記憶制御装置に関する。

【０００２】

【従来の技術】銀行等のオンラインシステムの分野で
は、サービスの多様化により顧客データベース上で各個
人に必要な情報量が増加傾向にある。このため、顧客情
報を保存する大規模記憶システムに対しては、情報量増
加に応じて、装置容量が柔軟かつ容易に拡張可能である
ことへのニーズが強まっている。また拡張が行なわれて
も高い信頼性を維持し、かつ性能がスケーラブルに向上
することも望まれている。

【０００３】図２は、従来の大規模記憶システムの一例
を示し、Ｕ．Ｓ．Ｐａｔｅｎｔ５，２３７，６５８に示
されるものと類似の構成である。

【０００４】すなわち、２つのディスクコントローラ
（以下ＤＫＣと略す）ＤＫＣ０（２２７）、ＤＫＣ１
（２２８）は、外部ネットワーク（２３７）により４台
のホストプロセッサ（以下Ｈｏｓｔ ＣＰＵと略す）Ｃ
ＰＵ０（２０１）ないしＣＰＵ３（２０４）に接続され
るようになっている。

【０００５】また、ＤＫＣ０（２２７）、ＤＫＣ１（２
２８）は、ドライブパス（２１３）ないし（２１６）に
より、磁気ディスクドライブ（以下Ｄｒｉｖｅと略す）
（２２９）ないし（２３６）に接続される。

【０００６】ＤＫＣ０（２２７）、ＤＫＣ１（２２８）
の内部共有バス（２２１）、（２２２）には、以下に述
べる各種の印刷回路板Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ
Ｂｏａｒｄ（以下ＰＣＢと略す）が実装、接続されて
いる。ＰＣＢには、キャッシュメモリ（以下Ｃａｃｈｅ
と略す）、チャネルアダプタ（以下ＣＨＡと略す）、デ
ィスクアダプタ（以下ＤＫＡと略す）の３種類のＰＣＢ
がある。

【０００７】Ｃａｃｈｅ００（２３８）、Ｃａｃｈｅ１
０（２３９）は、Ｄｒｉｖｅ（２２９）ないし（２３
６）内に保存されたデータのコピーと、Ｈｏｓｔ ＣＰ
Ｕ（２０１）ないし Ｈｏｓｔ ＣＰＵ（２０４）より
転送され、これから、Ｄｒｉｖｅ（２２９）ないし（２
３６）に保存されるデータとが存在する半導体メモリで
ある。

【０００８】ＣＨＡ００（２１７）ないしＣＨＡ１１
（２２０）は、外部ネットワーク（２３７）とも接続さ
れ、Ｈｏｓｔ ＣＰＵ（２０１）ないし（２０４）とＣ
ａｃｈｅ００（２３８）、Ｃａｃｈｅ１０（２３９）と
の間のデータ転送制御を行う。

【０００９】ＤＫＡ００（２２３）ないしＤＫＡ１１
（２２６）は、ドライブパス（２１３）ないし（２１
６）を介して、Ｄｒｉｖｅ（２２９）ないし（２３６）
と接続し、Ｃａｃｈｅ００（２３８）、Ｃａｃｈｅ１０
（２３９）とＤｒｉｖｅ（２２９）ないし（２３６）と
の間のデータ転送制御を行う。Ｃａｃｈｅ００（２３
６）、Ｃａｃｈｅ１０（２３９）には、ＣＨＡ、ＤＫＡ
が行うデータ転送制御に必要となる制御情報も保存され
る。

【００１０】内部共有バス（２２１）、（２２２）は、
ＣＨＡ、ＤＫＡとＣａｃｈｅ００（２３８）、Ｃａｃｈ
ｅ１０（２３９）間のデータ転送及び制御情報アクセ
ス、並びに、ＣＨＡ、ＤＫＡ間の通信のためのパスとし
て用いられる。

【００１１】ＤＫＣ０（２２７）、ＤＫＣ１（２２８）
は、自身が接続するＤｒｉｖｅ（２２９）ないし（２３
６）に対し、信頼性・性能向上のためのＲＡＩＤ制御を
行なう。広く採用されているＲＡＩＤ制御としては、レ
ベル０（ストライピング）、レベル１（ミラーリン
グ）、レベル３（ストライピング＋パリティ）、レベル
５（ストライピング＋パリティの分散配置）の各ＲＡＩ
Ｄ制御が挙げられる。これら各ＲＡＩＤ制御レベルの詳
細は、文献「Ａ Ｃａｓｅ ｆｏｒ Ｒｅｄｕｎｄａｎ
ｔ Ａｒｒａｙｓ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄ
ｉｓｋｓ （ＲＡＩＤ），ｉｎ ＡＣＭ ＳＩＧＭＯＤ
Ｃｏｎｆｅｒｅｎｃｅ ，Ｃｈｉｃａｇｏ，ＩＬ ，
（Ｊｕｎｅ １９８８）」（ Ｄ．Ｐａｔｔｅｒｓｏ
ｎ， Ｇ．Ｇｉｂｓｏｎ，ａｎｄ Ｒ．Ｈ．Ｋａｒｔｚ
著）に述べられている。

【００１２】上述した従来技術の構成は、元は、１つの
ＤＫＣ０（２２７）のみで構成されていた記憶システム
に対して、外部ネットワーク（２３７）に新たな記憶装
置ＤＫＣ１（２２８）を接続し、記憶システム全体の容
量を拡張する例である。

【００１３】また、各ＤＫＣの内部共有バス（２２
１）、（２２２）は、ＣＨＡ、ＤＫＡ及びＣａｃｈｅ間
を自在に接続できるが、接続が「同時にはただ一つ」
（ｏｎｅａｔ ａ ｔｉｍｅ）である。

【００１４】

【発明が解決しようとする課題】上記従来技術により実
現された記憶システムは、複数の記憶装置から構成され
るために、Ｈｏｓｔ ＣＰＵは、求めるデータがどの記
憶装置内のＤｒｉｖｅ内に存在するかを常に管理する必
要がある。また、拡張時に新たな装置を接続する必要が
あるため、本来装置が１台であれば１つで済むサービス
プロセッサ等の部品を複数含むシステムとなりコスト高
となる。

【００１５】また、拡張単位の観点から見ると、一般
に、記憶装置は、ＲＡＩＤ制御の単位となる、パリティ
グループと呼ばれるＤｒｉｖｅ群を拡張単位とするが、
拡張単位となるパリティグループの容量は、Ｄｒｉｖｅ
単体容量の増大に伴い増加傾向にあり、現状では数十ギ
ガバイト（ＧＢ）にもなる場合がある。これに伴って、
ユーザニーズに合わせた細かい単位での容量拡張が困難
となりつつある。

【００１６】さらに、アーキテクチャの観点から見る
と、記憶装置では多くの場合、内部のＰＣＢ間の接続に
共有バスを用いている。このため一つの装置に多くのＰ
ＣＢを増設していくと共有バスネックが発生し、拡張に
合せたスケーラブルな性能向上が望めない。

【００１７】本発明の目的は、Ｈｏｓｔ ＣＰＵから１
台の装置に見え、柔軟かつ容易な拡張性と、拡張に合わ
せたスケーラブルな性能向上が見込めるアーキテクチャ
とを備えた記憶制御装置を提供することにある。

【００１８】

【課題を解決するための手段】本発明によれば、内部ネ
ットワークを有するＳｕｂ ＤＫＣと呼ぶ比較的小さな
記憶制御装置（ディスクコントローラ）が複数あって、
前記Ｓｕｂ ＤＫＣが内部ネットワークを介して互いに
接続し１台の大きな記憶制御装置を構成する。この大き
な記憶制御装置において記憶装置（ディスク）の容量を
増やす場合は、１台以上の記憶ユニット（ディスクドラ
イブ）と制御回路とから成るＤＫＡ Ｕｎｉｔと呼ぶコ
ンポーネントを２つ１組としてデータのミラーリングを
行いつつ拡張する。

【００１９】

【発明の実施の形態】図１は、本発明の実施の形態のシ
ステム構成図を示す。ここでは図２と同様の構成、同じ
動作をする部分については説明を省略し、図２とは異な
る部分についてのみ説明する。

【００２０】最初に本発明による記憶システムの全体構
成を述べる。図１に示す記憶システムは、図２のＤＫＣ
０（２２７）、ＤＫＣ１（２２８）内の共有バス（２２
１）、（２２２）に代って、それぞれ、内部ネットワー
ク（１３７−０）、（１３７−１）を用い、これら各Ｄ
ＫＣのＤＫＣ内部ネットワーク（１３７−０）、（１３
７−１）は統合接続されて、一つの統合内部ネットワー
ク（１３７）を形成している。

【００２１】この統合接続された統合内部ネットワーク
（１３７）により、各ＤＫＣ（１４０）、（１４１）内
部のＰＣＢを接続するとともに、ＤＫＣ（１４０）、
（１４１）相互間も、統合接続された内部ネットワーク
（１３７）により接続することにより、Ｈｏｓｔ ＣＰ
Ｕ（１４２）ないし（１４５）からは、図１に破線で示
すように、全体で一つの装置ＤＫＣ（１２７）に見え
る。以下、図１の各ＤＫＣ（１４０）、（１４１）をＳ
ｕｂ ＤＫＣと呼び、Ｈｏｓｔ ＣＰＵから見える一つ
の装置としての仮想的な統合ＤＫＣ（１２７）とは区別
する。

【００２２】次に、本発明による装置のＲＡＩＤ制御に
ついて述べる。各ＤＫＡ（１２３）ないし（１２６）の
配下に、ＳＣＳＩインタフェース（１１３）ないし（１
１８）を介して、接続するＤｒｉｖｅ（１２９）ないし
（１３６）毎に、ＲＡＩＤ０（データストライピング、
パリティ無し）の制御を行なう。そして２組のＤＫＡ
（例えば、ＤＫＡ０とＤＫＡ１）配下のＤｒｉｖｅ同士
でＲＡＩＤ１（データミラーリング）の制御を行なう。

【００２３】上記のように、 ＲＡＩＤ０及びＲＡＩＤ
１の２種類のＲＡＩＤ制御を採用することにより、ＤＫ
Ａは、Ｄｒｉｖｅからのデータリード（Ｒｅａｄ）時及
びＤｒｉｖｅへのデータライト（Ｗｒｉｔｅ）時に、デ
ータストライピングの処理と、組みを成すもう一方のＤ
ＫＡへのデータ送信処理とを行なえば良い。この結果、
従来のＲＡＩＤ制御よりも処理が単純化され高速処理が
可能となる。なお、Ｒｅａｄ処理及びＷｒｉｔｅ処理の
詳細は、図６、図７、図８を用いて後述する。

【００２４】次に、本発明による装置の拡張方法につい
て述べる。本発明では、２組のＤＫＡ Ｕｎｉｔと呼ぶ
コンポーネントを拡張単位とする。１組のＤＫＡ Ｕｎ
ｉｔは、一つのＤＫＡ、例えば、ＤＫＡ（１２３）と、
その下に接続する複数台のＤｒｉｖｅ（１２９）及び
（１３０）とから構成される。各ＤＫＡ Ｕｎｉｔ内の
Ｄｒｉｖｅ数は任意で良いが、 ＲＡＩＤ１制御（デー
タミラーリング）を行なうために、２組のＤＫＡ Ｕｎ
ｉｔのＤｒｉｖｅ容量は等しくする必要がある。

【００２５】ＤＫＡ Ｕｎｉｔ内のＤｒｉｖｅ数を１台
とすることにより本発明の最小の拡張単位は、Ｄｒｉｖ
ｅ １台分となる。また、多数のＤＫＡ Ｕｎｉｔを一
台の装置に見せて大規模な拡張を行ないたい場合は、内
部ネットワークを介して新しいＳｕｂ ＤＫＣを接続す
ることで実現できる。

【００２６】このように、本発明による装置ではユーザ
の要求に合わせて自由度の高い装置容量のシステム構成
が可能となる。

【００２７】図３は、Ｓｕｂ ＤＫＣの実装イメージを
図示したものである。Ｓｕｂ ＤＫＣの筐体（３０１）
の背面のマザーボード上に内部ネットワークを形成する
ための二つのハブＨＵＢ０（３０２）及びＨＵＢ１（３
０３）が実装されている。ＨＵＢ０（３０２）及びＨＵ
Ｂ１（３０３）からは、隣接するＳｕｂ ＤＫＣへの接
続コネクタ（３１３）及び（３１４）と、自Ｓｕｂ Ｄ
ＫＣの筐体（３０１）内のＰＣＢ群への接続コネクタ
（３０６）が出ている。

【００２８】ＨＵＢが、ハブＨＵＢ０（３０２）及びＨ
ＵＢ１（３０３）の２組ある理由は二つである。一つ
は、片方のＨＵＢに障害が起きても装置を動作可能とす
るなど、ＨＵＢ障害時のＳｕｂ ＤＫＣの可用性向上の
ためであり、もう一つは、性能向上のためである。ま
た、同じ理由でＰＣＢ群−ＨＵＢ間の接続（３０４）及
び（３０５）、隣り合うＳｕｂ ＤＫＣ間の接続（３１
５）、（３１６）も二重化されている。

【００２９】ＰＣＢ群は、各ＰＣＢが制御するハードウ
ェアリソースと一体化されてＵｎｉｔと呼ぶコンポーネ
ントを構成する。Ｕｎｉｔは３種類があり、既に説明し
たＤＫＡ Ｕｎｉｔ（３０７）と、Ｃａｃｈｅ及びキャ
ッシュメモリが一体化されたＣａｃｈｅ Ｕｎｉｔ（３
１１）と、ＣＨＡ及びチャネル（３１２）が一体化され
たＣＨＡ Ｕｎｉｔ（３１０）とである。各Ｕｎｉｔ
は、ＨＵＢ０（３０２）、ＨＵＢ１（３０３）と接続す
るための２重化されたコネクタ（３０９）を備えてい
る。このような実装構成を採ることにより、装置の構成
変更を容易化できる。

【００３０】図４、図５は、本発明による記憶装置のＳ
ｕｂ ＤＫＣの拡張方法の異なるタイプの例を一般的に
示す。

【００３１】図４の例は、隣接する複数のＳｕｂ ＤＫ
Ｃ、すなわち、Ｓｕｂ ＤＫＣ０（４０１）ないしＳｕ
ｂ ＤＫＣｎ（４０３）が、２倍の数のＨＵＢ（４０
６）ないし（４１９）により接続され、全体としてリン
グ構造のトポロジを持つ統合内部ネットワークを形成す
る。

【００３２】図４の例によれば、Ｓｕｂ ＤＫＣ（４０
１）ないし（４０３）の他に特別なコンポーネントを必
要としないので内部ネットワークを安価に構築できる。

【００３３】また、一つのＨＵＢ又はＳｕｂ ＤＫＣの
障害発生時には、リングネットワークの反対方向からの
アクセスが可能であり、ＨＵＢやＳｕｂ ＤＫＣの故障
にも耐えるシステムとなっている。

【００３４】図５の例は、各Ｓｕｂ ＤＫＣ（５０１）
ないし（５０３）のＨＵＢ（５０６）ないし（５１９）
を、メインハブＭａｉｎ Ｈｕｂ０（５０９）、Ｍａｉ
ｎＨｕｂ１（５１５）を介して統合接続し、全体として
ツリー構造のトポロジを持つ統合内部ネットワークを形
成する。

【００３５】図５の例によれば、任意のＳｕｂ ＤＫＣ
間の通信がＭａｉｎ Ｈｕｂを一回経由するだけで行な
うことができるので、均一なオーバーヘッドで高速な通
信を可能とする。

【００３６】また、各ＨＵＢ（５０６）ないしＨＵＢ
（５１９）に接続するＭａｉｎ Ｈｕｂの数を増やすこ
とにより、Ｍａｉｎ Ｈｕｂの耐故障性を高め、かつ、
ネットワークの性能を上げることができる。

【００３７】図４、図５の例とも装置規模の拡大に合わ
せて内部ネットワークの規模も拡大させていくことがで
き、内部ネットワークがネックになることなく、装置規
模に合わせた性能向上が見込める。

【００３８】図６、図７、図８に、本発明による記憶シ
ステムのＲｅａｄ処理及びＷｒｉｔｅ処理の流れを示
す。

【００３９】本発明による記憶システムでは、ミラーリ
ングされたデータの一方が、マスタドライブＤｒｉｖｅ
−Ｍ（Ｍａｓｔｅｒ）に保存され、もう一方が、スレー
ブドライブＤｒｉｖｅ−Ｓ（Ｓｌａｖｅ）に保存され
る。Ｄｒｉｖｅ−Ｍは、ＤＫＡ−Ｍによって制御され、
Ｄｒｉｖｅ−ＳはＤＫＡ−Ｓによって制御される。ＣＨ
ＡからのデータのＲｅａｄ要求、Ｗｒｉｔｅ要求は必ず
ＤＫＡ−Ｍに対して行なわれ、ＤＫＡ−Ｓは、Ｗｒｉｔ
ｅ時のデータ変更内容の反映処理を行なう。このように
一つのＲｅａｄジョブ又はＷｒｉｔｅジョブを、一つの
ＤＫＡ Ｍ（Ｍａｓｔｅｒ）が集中的に行なうことによ
り、ＤＫＡ間で同期を取る回数を削減し、処理を単純化
かつ高速化できる。

【００４０】またＤＫＡ間で処理負荷の偏りがあると、
マスタＭａｓｔｅｒの処理負荷が高くなるが、これを避
けるため以下の方法を取ることができる。すなわち、Ｄ
ＫＡ配下のＤｒｉｖｅ群を二つに分けて、一方をマスタ
ＭａｓｔｅｒのＤｒｉｖｅ群とし、もう一方をスレーブ
ＳｌａｖｅのＤｒｉｖｅ群とする。これによりランダム
アクセスを仮定すれば、各ＤＫＡで行なわれるＲｅａｄ
ジョブ及びＷｒｉｔｅジョブの内、半分でＭａｓｔｅｒ
の処理、もう半分でＳｌａｖｅの処理を行なうことにな
り処理負荷の均一化が図れる。

【００４１】また、本発明による記憶システムでは、Ｓ
ｕｂ ＤＫＣ内で共有して用いられるキャッシュＣａｃ
ｈｅの他に、各ＤＫＡ内にも、ローカルキャッシュＬｏ
ｃａｌ Ｃａｃｈｅを備えており、各ＤＫＡ配下のＤｒ
ｉｖｅに保存されるデータを一時的に保持できる。これ
によりデータがＳｕｂ ＤＫＣ内のＣａｃｈｅ及びＤＫ
Ａ内のＬｏｃａｌ Ｃａｃｈｅの間で多重化されるため
高い信頼性が得られる。Ｓｕｂ ＤＫＣ内のＣａｃｈｅ
及びＤＫＡ内のＬｏｃａｌ Ｃａｃｈｅの容量は可変で
あり、システム構成、ユーザニーズに合せたチューンナ
ップが可能である。Ｄｒｉｖｅ配下のデータがＤＫＡの
Ｌｏｃａｌ Ｃａｃｈｅに存在するか否か、Ｓｕｂ Ｄ
ＫＣ内のＣａｃｈｅに存在するか否かについての管理
と、キャッシュヒットミスの判定とは、各ＤＫＡで行な
う。このようにＣａｃｈｅの分散管理を行なうことによ
り共有メモリを用いた集中管理を行なった場合に発生す
る共有メモリアクセスネックの問題を解消できる。この
ため各ＤＫＡ Ｕｎｉｔ毎にＣａｃｈｅ管理用のディレ
クトリメモリが必要となる。ＤＫＡ Ｕｎｉｔの構成、
実装の詳細については図９、図１０で後述する。

【００４２】以下各図毎にＲｅａｄ処理、Ｗｒｉｔｅ処
理の流れを述べる。

【００４３】まず、図６により、Ｒｅａｄ時に、Ｃａｃ
ｈｅにヒットした場合の処理を述べる。

【００４４】＜ステップｓｔｅｐ６−１＞Ｈｏｓｔ Ｃ
ＰＵよりＲｅａｄ要求を受けたＣＨＡ（６０１）からＤ
ＫＡ−Ｍ（６０２）へデータＲｅａｄ要求が発行され
る。

【００４５】＜ステップｓｔｅｐ６−２ａ＞ＤＫＡ−Ｍ
（６０２）におけるキャッシュヒットミス判定の結果、
ＤＫＡ−Ｍ （６０２）のＬｏｃａｌ Ｃａｃｈｅにヒ
ットした場合、ＤＫＡ−Ｍ（６０２）からＣＨＡ（６０
１）にデータが送信される。

【００４６】＜ステップｓｔｅｐ６−２ｂ−１＞ＤＫＡ
−Ｍ（６０２）におけるキャッシュヒットミス判定の結
果、Ｓｕｂ ＤＫＣ内のＣａｃｈｅ（６０３）にヒット
した場合、ＤＫＡ−Ｍ（６０２）からＣａｃｈｅ（６０
３）にデータ転送を指示する。

【００４７】＜ステップｓｔｅｐ６−２ｂ−２＞Ｃａｃ
ｈｅ（６０３）からＣＨＡ（６０１）へデータが送信さ
れる。Ｒｅａｄデータを受信したＣＨＡ（６０１）は、
Ｈｏｓｔ ＣＰＵへデータを返す。

【００４８】次に、図７により、Ｒｅａｄ時にＣａｃｈ
ｅにヒットミスした場合の処理を述べる。

【００４９】＜ステップｓｔｅｐ７−１＞Ｈｏｓｔ Ｃ
ＰＵよりＲｅａｄ要求を受けたＣＨＡ（７０１）からＤ
ＫＡ−Ｍ（７０２）へデータＲｅａｄ要求が発行され
る。

【００５０】＜ステップｓｔｅｐ７−２＞ＤＫＡ−Ｍ
（７０２）におけるキャッシュヒットミス判定の結果が
ミスとなり、Ｄｒｉｖｅ Ｍ（７０４）からＤＫＡ−Ｍ
（７０２）内のＬｏｃａｌ ＣａｃｈｅへデータがＲｅ
ａｄされる。

【００５１】＜ステップｓｔｅｐ７−３＞Ｒｅａｄされ
たデータがＤＫＡ−Ｍ（７０２）からＣＨＡ（７０１）
とＣａｃｈｅ（７０３）とへ転送される。転送パスが空
いているときは、ＣＨＡ（７０１）とＣａｃｈｅ（７０
３）とへの転送は並列に行なえる。Ｒｅａｄデータを受
信したＣＨＡ（７０１）は、Ｈｏｓｔ ＣＰＵへデータ
を返す。

【００５２】さらに、図８により、Ｗｒｉｔｅ時の処理
を述べる。

【００５３】＜ステップｓｔｅｐ８−１＞Ｈｏｓｔ Ｃ
ＰＵよりＷｒｉｔｅ要求を受けたＣＨＡ（８０１）から
ＤＫＡ−Ｍ（８０２）へデータＷｒｉｔｅ要求及びＷｒ
ｉｔｅデータが送信される。Ｗｒｉｔｅデータは、ＤＫ
Ａ−Ｍ（８０２）内のＬｏｃａｌ Ｃａｃｈｅに保持さ
れる。

【００５４】＜ステップｓｔｅｐ８−２＞ＤＫＡ−Ｍ
（８０２）はキャッシュヒットミス判定を行なう。判定
結果がヒットであればＤＫＡ−Ｍ（８０２）は、Ｃａｃ
ｈｅ（８０３）上で該当するデータが存在する領域にデ
ータＷｒｉｔｅを指示する。判定結果がミスであればＤ
ＫＡ−Ｍ（８０２）は、Ｃａｃｈｅ（８０３）上の新し
い領域に、データＷｒｉｔｅを指示する。

【００５５】＜ステップｓｔｅｐ８−３＞Ｃａｃｈｅ
（８０３）は、データＷｒｉｔｅ終了後に、ＣＨＡ（８
０１）にＷｒｉｔｅ処理終了を告知し、ＣＨＡ（８０
１）からＨｏｓｔ ＣＰＵへＷｒｉｔｅ終了が伝えられ
る。Ｗｒｉｔｅ終了は以下のステップｓｔｅｐで行なわ
れるＤｒｉｖｅへのデータ書き込みの終了を待つ必要は
ない。

【００５６】＜ステップｓｔｅｐ８−４＞ＤＫＡ−Ｍ
（８０２）内のＬｏｃａｌ Ｃａｃｈｅ上に保持されて
いるＷｒｉｔｅデータをＤｒｉｖｅ Ｍ（８０４）へ書
き込む。

【００５７】＜ステップｓｔｅｐ８−５＞ＤＫＡ−Ｍ
（８０２）は、Ｌｏｃａｌ Ｃａｃｈｅ上に保持されて
いるＷｒｉｔｅデータをＤＫＡ−Ｓ（８０５）に転送
し、Ｄｒｉｖｅ−Ｓ（８０６）への書き込みを指示す
る。

【００５８】＜ステップｓｔｅｐ８−６＞ＤＫＡ−Ｓ
（８０５）は、ＷｒｉｔｅデータをＤｒｉｖｅ−Ｓ（８
０６）へ書き込む。

【００５９】本発明による記憶システムでは、処理の単
純化、高速化のために、Ｃａｃｈｅ、Ｄｒｉｖｅで操作
されるデータは全て固定長フォーマットとするのが望ま
しい。もし、Ｈｏｓｔ ＣＰＵが可変長フォーマットの
データを取り扱っている場合、ＤＫＡ／Ｃａｃｈｅのレ
ベルで可変長−固定長のフォーマット変換を行なう。

【００６０】Ｒｅａｄ時はＣａｃｈｅ上の固定長データ
から必要なサイズのデータを切り出してＣＨＡに送信す
る。Ｗｒｉｔｅ時はＣａｃｈｅ上の固定長データの部分
領域へのＷｒｉｔｅを行なう。この方法を取ることによ
りＣＨＡの処理を単なるデータ移行処理のみに単純化で
き処理の高速化が可能となる。

【００６１】図９は、ＤＫＡ Ｕｎｉｔの実装イメージ
の斜視図（ａ）及び平面図（ｂ）である。ＤＫＡ Ｕｎ
ｉｔはＤＫＡ Ｕｎｉｔ マザーボード（９０１）上
に、ＤＫＡ ボード（９０２）、ＭＰ Ｍｏｄｕｌｅ
（９１１）、Ｍｅｍｏｒｙ Ｍｏｄｕｌｅ（９０９）、
Ｄｒｉｖｅ（９０５）ないし（９１２）が配置される。
ＤＫＡ Ｕｎｉｔ マザーボード（９０１）上のＤｒｉ
ｖｅは活線状態での交換が可能である。

【００６２】ＤＫＡ Ｕｎｉｔ マザーボード（９０
１）は、ＳＣＳＩに代表されるような標準的なＤｒｉｖ
ｅ用バス（９０３）とＰＣＩに代表されるような標準的
なローカルバス（９０４）と電源ラインを備えている。
Ｄｒｉｖｅ用バス（９０３）にはＤＫＡ ボード（９０
２）とＤｒｉｖｅ（９０５）、（９１２）が接続する。
ローカルバス（９０４）にはＤＫＡ ボード （９０
２）、ＭＰ Ｍｏｄｕｌｅ（９１１）、Ｍｅｍｏｒｙ
Ｍｏｄｕｌｅ（９０９）が接続する。

【００６３】ＤＫＡ ボード（９０２）は、内部ネット
ワーク接続用のコネクタ（９１０）を有し、Ｄｒｉｖｅ
用バス（９０３）、ローカルバス（９０４）、内部ネッ
トワークとの間のインタフェース処理を行なう。ＭＰ
Ｍｏｄｕｌｅ（９１１）は、ＤＫＡ Ｕｎｉｔの処理を
制御するプロセッサを内蔵する。Ｍｅｍｏｒｙ Ｍｏｄ
ｕｌｅ（９０９）はＤＫＡ ＵｎｉｔのＬｏｃａｌ Ｃ
ａｃｈｅとＣａｃｈｅ管理のためのディレクトリメモリ
として用いる。

【００６４】図１０は、ＤＫＡ Ｕｎｉｔの内部構成図
を示す。ローカルバス（１０１０）にＤＫＡボード（１
０２５）、マイクロプロセッサモジュール（Ｍｉｃｒｏ
Ｐｒｏｃｅｓｓｏｒ Ｍｏｄｕｌｅ）ＭＰ Ｍｏｄｕｌ
ｅ０（１０１３）ないしＭＰＭｏｄｕｌｅ２（１０１
５）、メモリモジュール（Ｍｅｍｏｒｙ Ｍｏｄｕｌ
ｅ）Ｍｅｍｏｒｙ（１０１２）が接続する。

【００６５】ＤＫＡ ボード（１０２５）は、ＤＫＡボ
ード内バス（１００９）を持つ。ＤＫＡボード内バス
（１００９）には、スカジプロトコルコントローラ（Ｓ
ＣＳＩＰｒｏｔｏｃｏｌ Ｃｏｎｔｒｏｌｌｅｒ）ＳＰ
Ｃ（１００５）、ネットワークインタフェース（Ｎｅｔ
ｗｏｒｋ Ｉｎｔｅｒｆａｃｅ）ＮＩＦ０（１００
６）、 ＮＩＦ１（１００７）、ブリッジ（Ｂｒｉｄｇ
ｅ）ＢＲＧ（１００８）が接続する。

【００６６】ＳＰＣ（１００５）は、Ｄｒｉｖｅ（１０
０１）のＩ／Ｆ（インタフェース）処理を行なう。ＮＩ
Ｆ０（１００６）、ＮＩＦ１（１００７）は、内部ネッ
トワークのＩ／Ｆ処理を行なう。ＢＲＧ（１００８）
は、ローカルバス（１０１０）に対するブリッジであ
る。ＤＫＡ ボード（１０２５）は、Ｄｒｉｖｅ（１０
０１）、Ｍｅｍｏｒｙ Ｍｏｄｕｌｅ（１０１２）内の
Ｌｏｃａｌ Ｃａｃｈｅ、内部ネットワーク間のデータ
転送制御を行なう。Ｍｅｍｏｒｙ Ｍｏｄｕｌｅ（１０
１２）は、Ｌｏｃａｌ ＣａｃｈｅあるいはＣａｃｈｅ
管理用のディレクトリとして用いられるＭｅｍｏｒｙア
クセス制御を行なうメモリモジュールコントロールＭＭ
Ｃ（１０１１）を備えている。Ｍｅｍｏｒｙ Ｍｏｄｕ
ｌｅ（１０１２）は、必要に応じて複数接続可能であ
る。Ｍｏｄｕｌｅ０（１０１３）ないしＭｏｄｕｌｅ２
（１０１５）は，内部にローカルバス（１０１０）Ｉ／
ＦのブリッジインタフェースＢＩＦ０（１０２２）ない
しＢＩＦ２（１０２４）、マイクロプロセッサＭＰ０
（１０１６）ないしＭＰ２（１０１８）、プログラム保
存用メモリ（Ｐｒｏｇｒａｍ Ｍｅｍｏｒｙ）ＰＭ０
（１０１９）ないしＰＭ２（１０２１）を持つ。本発明
における記憶装置ではＭＰ毎に特化した処理を行なわせ
る。図１０の例ではマイクロプロセッサＭＰ０（１０１
６）はＤＫＡ Ｍａｓｔｅｒの処理を行い、マイクロプ
ロセッサＭＰ１（１０１７）はＤＫＡ Ｓｌａｖｅの処
理を行い、マイクロプロセッサＭＰ２（１０１８）はＤ
ｒｉｖｅへのＲｅａｄ／Ｗｒｉｔｅ制御を専門に行な
う。このような処理分担を行なうことでＭＰ間の同期回
数を削減し処理の高速化が図れる。

【００６７】以上本発明の実施の形態を、ＲＡＩＤ構成
および制御の磁気ディスクアレイの場合を例にとって、
説明したが、本発明はこれに限らず、光ディスク装置及
びそのライブラリ装置、その他の大容量記憶装置を用い
た記憶システムの記憶制御装置に適用できるものであ
る。

【００６８】また、統合内部ネットワークを構成するの
に用いたハブ（ＨＵＢ、Ｈｕｂ）としては、公知のファ
イバチャネルＦａｂｒｉｃ、その他の接続装置を適宜用
いることができる。

【００６９】

【発明の効果】以上説明したように、本発明による記憶
システムにおける最小拡張単位は、データミラーリング
されたドライブ１台分の容量であり高い信頼性を維持し
つつユーザニーズに応じた柔軟な拡張が可能となる。

【００７０】また拡張による制御回路規模の増大に対し
ては、内部ネットワークの拡張を行なうことで制御回路
同士の通信ネックを回避し、装置規模に応じた性能向上
が見込める。

【図面の簡単な説明】

【図１】本発明の実施の形態の構成図。

【図２】従来の記憶装置の一例を示す構成図。

【図３】図１のＳｕｂ ＤＫＣの実装イメージ図。

【図４】リング状に拡張された記憶制御装置のブロック
図。

【図５】ツリー状に拡張された記憶制御装置のブロック
図。

【図６】記憶装置のキャッシュヒット時のデータ読み出
し（Ｒｅａｄ）の流れを示す図。

【図７】記憶装置のキャッシュミス時のデータ読み出し
（Ｒｅａｄ）の流れを示す図。

【図８】記憶装置のデータ書き込み（Ｗｒｉｔｅ）の流
れを示す図。

【図９】ＤＫＡ Ｕｎｉｔの実装イメージを示す斜視図
（ａ）及び平面図（ｂ）。

【図１０】ＤＫＡ Ｕｎｉｔの内部構成図。

【符号の説明】

１４２ないし１４５…Ｈｏｓｔ ＣＰＵ、１５０…外部
ネットワーク、１４０、１４１…Ｓｕｂ ＤＫＣ、１２
７…統合記憶制御装置（統合ＤＫＣ）、１３７−０，１
３７−１…ＤＫＣ内部ネットワーク、１３７…統合内部
ネットワーク、１１７ないし１２０…ＣＨＡ、１２３な
いし１２６…ＤＫＡ、１３８ないし１３９…キャッシュ
Ｃａｃｈｅ、１１３ないし１１６…ドライブパス、１２
９ないし１３６…ドライブ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 金澤 広 神奈川県横浜市中区尾上町６丁目81番地 日立ソフトウェアエンジニアリング株式 会社内 (56)参考文献 特開 平９−26892（ＪＰ，Ａ) 特開 平９−16474（ＪＰ，Ａ) 特開 平４−225421（ＪＰ，Ａ) 特開 平６−187101（ＪＰ，Ａ) 特開 平９−120342（ＪＰ，Ａ) 特開 平９−146842（ＪＰ，Ａ) 特開 平６−282382（ＪＰ，Ａ) 特開 平７−328072（ＪＰ，Ａ) 特開 平９−34652（ＪＰ，Ａ) 特表 平８−509565（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/06 - 3/08 G06F 12/16

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】各々複数のドライブを有する複数の記憶装
   置とホストコンピュータからのデータを前記各記憶装置
   に記憶制御させる複数の記憶制御装置とを備えた記憶シ
   ステムにおいて、 前記記憶制御装置の各々は、外部ネットワークを介して
   前記ホストコンピュータと接続されるチャネルインタフ
   ェース回路と、配下の前記記憶装置と接続されるドライ
   ブインタフェース回路と、前記ホストコンピュータから
   のアクセス要求があったデータを一時保存するキャッシ
   ュメモリとを備え、前記記憶制御装置の各々における前記チャネルインタフ
   ェース回路、 前記ドライブインタフェース回路および前
   記キャッシュメモリの間を相互に接続して少なくとも２
   以上のスイッチングハブを含むスイッチングネットワー
   クで構成し、更に前記記憶制御装置間において前記スイ
   ッチングネットワークのスイッチングハブ同士を接続す
   る統合内部ネットワークを設け、 前記チャネルインターフェース回路は、アクセス要求の
   あった記憶装置に対応したドライブインターフェース回
   路に前記統合内部ネットワーク内のスイッチングネット
   ワークを介してコマンドを送信し、該コマンドを受信し
   たドライブインターフェース回路は、メモリモジュール
   に蓄積されたキャッシュ管理用のディレクトリを参照し
   て、前記記憶装置へのデータのアクセス制御を行うこと
   によって、前記ホストコンピュータから前記複数の記憶
   制御装置が仮想的に統合された一つの記憶制御装置とし
   て認識される ことを特徴とする記憶システム。
2. 【請求項２】前記統合内部ネットワークにおいて、前記
   記憶制御装置間における前記スイッチングネットワーク
   のスイッチングハブ同士の接続を、全体としてリング構
   造またはツリー構造のトポロジを持つことを特徴とする
   請求項１記載の記憶システム。
3. 【請求項３】ホストコンピュータからのデータを複数の
   ドライブを有する記憶装置に記憶制御させる記憶制御装
   置において、外部ネットワークを介して前記ホストコンピュータと接
   続されるチャネルインタフェース回路と、配下の前記記
   憶装置と接続されるドライブインタフェース回路と、前
   記ホストコンピュータからのアクセス要求があったデー
   タを一時保存するキャッシュメモリとを備え 、更に、前記チャネルインタフェース回路、前記ドライブ
   インタフェース回路および前記キャッシュメモリの間を
   相互に接続する少なくとも２以上のスイッチングハブを
   含むスイッチングネットワークを備えた内部ネットワー
   クを設け、 前記チャネルインターフェース回路は、アクセス要求の
   あった記憶装置に対応したドライブインターフェース回
   路に前記内部ネットワークのスイッチングネットワーク
   を介してコマンドを送信し、該コマンドを受信したドラ
   イブインターフェース回路は、メモリモジュールに蓄積
   されたキャッシュ管理用のディレクトリを参照して、前
   記記憶装置へのデータのアクセス制御を行うことを特徴
   とする記憶制御装置 。
4. 【請求項４】前記ドライブインターフェース回路におい
   て、前記メモリモジュールとしてローカルキャッシュメ
   モリを有することを特徴とする請求項３記載の記憶制御
   装置。