JP5147586B2 - ストレージ装置及びその制御方法 - Google Patents

Description

本発明はストレージ装置及びその制御方法に係わり、特に、スケーラビリティに優れたグリッドストレージシステムに係る制御技術に関するものである。

サーバなどのホスト計算機に接続され、ホスト計算機からのデータを格納し、格納したデータをホスト計算機に提供するストレージ装置が存在する。ストレージ装置は、主として、複数のハードディスクドライブ（ＨＤＤ）をアレイ状に備えたディスクアレイ装置として構成される。ホスト計算機は、ストレージ装置に対して上位装置となる。この種のストレージ装置を構成する制御装置として、下記公報記載のように、複数のディスクアレイ制御ユニットからなるディスクアレイ制御装置が存在する。
特開２００１−２５６００３号公報

この種のストレージ装置において、ホスト計算機等の上位装置と記憶デバイスとの間でデータの転送に伴う制御を行なう制御装置をモジュール化し、ユーザが複数のモジュールを順次増設することによって、データ処理能力を順次拡張できるように設計されたストレージ装置が存在する。

このストレージ装置は、グリッドストレージとして知られており、ユーザが扱うデータ量に合わせてストレージ装置の規模を拡張できるため、すなわち、スケーラビリティに優れているため、ユーザにとって、必要以上の初期投資を避けることができるという利点がある。

モジュール化された制御装置（Disk Array Controller :ＤＫＣ）はそれ自身１つの制御資源として上位装置に対して動作する。一方、モジュール化されたＤＫＣが複数接続されたものも同様に、複数の制御資源としてではなく１つの制御資源として上位装置に対して動作する。

モジュール化された制御装置（Disk Array Controller :ＤＫＣ）はそれ自身１つの制御資源として上位装置に対して動作する。一方、モジュール化されたＤＫＣが複数接続されたものも同様に、複数の制御資源としてではなく１つの制御資源として上位装置に対して動作する。

ＤＫＣは、例えば、ＳＶＰ（Service Processor）と称される管理部を備えている。管理部はデータを直接扱わないが、ストレージ装置の障害情報をユーザに参照させたり、ストレージ装置の構成情報をユーザに設定、変更、及び参照させたり、ストレージ装置の保守に関する情報をユーザに参照させるなどの各種管理のためのユーザインターフェースを備えている。

ところで、複数のＤＫＣモジュールを接続したグリッドストレージにおいて、それぞれのＤＫＣモジュールのＳＶＰが互いに関連なく動作すると、グリッドストレージを統一された制御資源として管理できないという問題がある。

そこで、本発明は、ストレージシステムに制御モジュールを順次追加できるように設計されても、上位装置に対して、統一された制御資源として管理できるようにしたストレージ装置及びその制御方法を提供することを目的とするものである。

本発明はこの目的を達成するために、複数の制御モジュールのそれぞれに存在する管理部のうち、複数のモジュールに対して統一的な管理を実行する管理部を設定し、この管理部に管理ユーザがアクセスし、管理ユーザがこの管理部を介して複数のモジュールを統一的に管理するようにしたことを特徴とするものである。

本発明は、ストレージシステムに制御モジュールを順次追加できるように設計されても、上位装置に対して、統一された制御資源として管理できるようにしたストレージ装置及びその制御方法を提供することができる。

次に、本発明の実施形態について説明する。図１は本発明に係わるストレージ装置全体の概要を示す斜視図である。このストレージ装置は、二つのＤＫＣモジュール１０Ａと１０Ｂとが互いに接続されて、一つのシステムを構成している。

二つのＤＫＣモジュールは１９インチ標準ラックのような汎用的フレーム１８に着脱自在に搭載される。ストレージ装置は、二つのＤＫＣモジュール１０Ａ，１０Ｂのそれぞれに対して、二つのＤＫＵモジュール（１２Ａ，１２Ｂ）（１２Ｃ、１２Ｄ）を備えている。

ＤＫＵモジュールは、ＤＫＣモジュールから転送されるユーザデータを格納する部位であり、ハードディスクドライブなどの不揮発性記憶媒体により構成されるＨＤＤ−ＢＯＸ、Serial Attached SCSI（ＳＡＳ）などのデータ転送プロトコルに対応したSAS Switch（ＳＳＷ）１４、および電源（ＰＳ）１６により構成される。記憶資源は、ＨＤＤの他、フラッシュメモリなどの半導体メモリでもよい。ＳＳＷは主に、記憶媒体へのデータ転送・記憶媒体からＤＫＣモジュールへのデータ読み出し時のバイパス制御、障害報告などを行う。

上位ホストとの間のパスを増やしたい、記憶容量を増やしたい、などのユーザの要求に従って、ＤＫＣモジュールおよびＤＫＵモジュールを、モジュール毎に、標準ラックに対して増設でき、反対に減設することが可能である。

ＤＫＣモジュールは、単独で一つのストレージ装置として上位装置に対して機能することができる。すなわち、ＤＫＣモジュール１０Ａは、システムに、ＤＫＣモジュール１０Ｂが組み込まれていない場合には、上位ホストからＤＫＵ１２Ａ，１２Ｂに対するデータのライト及びリード要求を単独で制御することができ、一方、ＤＫＣモジュール１０ＡとＤＫＣモジュール１０Ｂとが相互に結合された場合には、二つのＤＫＣモジュールが一体となって一つの高性能・高機能なストレージ装置として動作する。すなわち、例えば、ＤＫＣモジュール１０Ａのポートに上位ホストから送られたコマンドを、ＤＫＣモジュール１０Ｂが処理できるし、その逆も可能である。

図２は、図１に示すストレージ装置を備えるストレージシステムのハードウエアのブロック構成図を示すものである。ストレージシステムは、ＤＫＣモジュール１０ＡとＤＫＣモジュール１０Ｂとが、ＰＣＩのような、パソコンの内部バスアーキテクスチャ、好ましくは、ＰＣＩエクスプレスのような高速シリアルデータ転送プロトコルを実現するパス２６（Ｘパス）によって接続されている。上位ホスト２８は、ＳＡＮなどのネットワーク３０を介して、ＤＫＣモジュール１０Ａ及び１２Ｂに接続している。

ＤＫＣモジュール１０Ａ（１２Ｂ）は、大きくは、処理系装置（ＣＴＬ）２０Ａ（２０Ｂ）、電源装置２２Ａ（２２Ｂ）、および管理系装置２４Ａ（２４Ｂ）に分けられる。

ＣＴＬ（２０Ａ，２０Ｂ）はデータを実際に処理する部位であり、図２に示された後述の各要素を備えている。図３は、これら各要素の構成をより詳しく説明するブロック図である。

以下、図２と図３に基づいて、ＤＫＣモジュールを構成するハードウエア要素を説明する。上位ホスト２８は、上位ホストのデータプロトコルに対応したプロトコルチップ（ＰＲＣ）を有するチャネルアダプタパッケージ（ＣＨＡ-ＰＫ）に接続している。ＬＲはローカルルータであり、Ｍは揮発性のMemory DIMMである。

記憶媒体のデータプロトコルに対応したプロトコルチップを有するディスクアダプタパッケージ（ＤＫＡ-ＰＫ）は、図１のＤＫＵモジュールに接続している。符号３２Ａ，３２Ｂは、それぞれＤＫＵの記憶領域を表す内部/外部論理ボリュームである。内部論理ボリュームとは、ＤＫＣに接続されたＤＫＵによって形成される論理ボリュームであり、外部論理ボリュームとは、外部のストレージシステムの記憶デバイスによって形成される論理ボリュームである。

さらに、ＣＴＬ（２０Ａ，２０Ｂ）は、上位ホスト２８と記憶媒体との間でのデータのバッファリングを行うキャッシュメモリパッケージ（ＣＭ-ＰＫ）と、命令・演算処理を行うマイクロプロセッサパッケージ（ＭＰ-ＰＫ）と、ＣＨＡ―ＰＫ、ＤＫＡ−ＰＫ、ＣＭ-ＰＫ、そしてＭＰ-ＰＫの相互間でのデータやコマンドのやり取りを橋渡し（Switching）する、スイッチパッケージ（ＳＷ-ＰＫ）と、を備えている。

ＣＭ−ＰＫのＣＭＡはCache Memory Adapterであり、ＭＣＨはMemory Controller Hubであり、そしてＬＭはLocal Memoryであり、ＳＷ-ＰＫのＭＰＡはMicro Processor Pass Adapterである。ＣＴＬの各要素間でのデータの転送は、例えば、PCI-EXPRESSのような内部高速データ転送プロトコルにより実現される。

各ＤＫＣモジュールのＣＴＬは、耐障害性の観点から複数のクラスタによって構成されている。各クラスタは、ＣＨＡ、ＤＫＡ、ＣＭ、ＭＰがＳＷによって相互に接続された構成を備えている。ＣＨＡ、ＤＫＡ、ＣＭ、ＭＰ及びＳＷそれぞれのハードウエア資源は、パッケージ化されており、ユーザの使用環境や要求に従って各パッケージを増設したり、あるいは減設したりできる。“ＰＫ”はパッケージを意味する。

これらパッケージを今ある第１のＤＫＣモジュールに追加できない場合には、第２のＤＫＣモジュールを第１のＤＫＣモジュールに追加して、その追加されたＤＫＣモジュールにユーザが望むパッケージを増設すればよい。

既述の二つのＤＫＣモジュール間のパス２６は、各ＤＫＣモジュールのＳＷ−ＰＫ間に形成されている。パスの耐障害性の観点から、各ＤＫＣモジュール間のパスは冗長化され、複数のルートが存在する。そのために、各ＤＫＣモジュールには、ＳＷのパッケージが少なくとも１pair（ＳＷパッケージが２枚）実装され、ＤＫＣモジュール１０Ａの1つのＳＷパッケージと、ＤＫＣモジュール１０Ｂの１つのＳＷパッケージとの間にパスが形成される。ＤＫＣモジュールに１pairのＳＷパッケージがあるとすると、それぞれのＳＷパッケージについてパスが形成される。

二つのＤＫＣモジュールがＸパスで結合されることにより、二つのＤＫＣモジュールはそれぞれ他のＤＫＣモジュールのハードウェア資源を共有することができ、二つのＤＫＣモジュールが結合されたストレージシステムは、１つのＤＫＣモジュールよりも高性能な一つの制御資源を実現することができる。

例えば、二つのＤＫＣモジュールの一方のＤＫＣモジュールの処理系装置のＭＰは、ＳＷ及びパス２６を介して他のＤＫＣモジュールのＣＭ、ＣＨＡ、ＤＫＡ、そしてＭＰにアクセスすることができる。

従って、一方のモジュールのＭＰは、他モジュール配下の対ホストパス（上位ホスト２８）、および対ディスクパス（内部／外部論理ＶＯＬ）３２Ａ，３２Ｂにアクセスすることができる。すなわち、命令・演算処理を行う各々のＭＰは、自モジュール・他モジュールを問わず、独立して命令・演算処理を行うことができる。

例えば、管理サーバはＳＶＰを介して、ＤＫＣモジュールの構成情報として、あるＣＨＡの上位ホスト向けポートに接続する論理ボリューム（Logical Unit：LU）を予め管理テーブルに設定できる。

この時、例えば、ストレージ装置は、ＤＫＣモジュール１０ＡのＣＨＡポートに、他のＤＫＣモジュール１０Ｂの配下の論理ボリュームに対するパスを管理テーブルに定義することも可能である。

これは、既述のＸパスにより２つのＤＫＣモジュール間でハードウェア資源を共有できるがため、可能になる。上位ホスト２８は、ＤＫＣモジュール１０ＡとＤＫＣモジュール１０Ｂとを区別することなく、１つのストレージ装置として認識する。

管理系装置２４Ａ，２４Ｂはデータを直接は扱わないが、処理系装置２０Ａ，２０Ｂの障害情報をユーザに参照させたり、処理系装置の構成情報をユーザに設定、変更、及び参照させたり、処理系装置の保守に関する情報をユーザに参照させるなどの各種管理情報を管理クライアントである管理サーバ４２，４４に提供するインターフェースを備えている。

主要なハードウェアとして、管理系装置は、管理系情報を管理し、ユーザとのインターフェースとなるＳＶＰ（Service Processor）と、第１のＤＫＣモジュール１０ＡのＳＶＰ０と第２のＤＫＣモジュール１０ＢのＳＶＰ１との間のＬＡＮ通信のためのＨＵＢを備えている。ＳＶＰの障害が、二つのＤＫＣモジュールの管理系装置同士の結合に影響しないように、一方のＤＫＣモジュールのＳＶＰはＨＵＢ経由で他モジュールのＳＶＰと結合している。

第１のＤＫＣモジュールのＨＵＢ０と第２のＤＫＣモジュールのＨＵＢ１との間にはモジュール間の直接の通信のためのＬＡＮ３８が形成されている。また、ＨＵＢ０とＨＵＢ１はＬＡＮネットワーク４０に接続されており、このＬＡＮネットワーク４０には第１の管理サーバ４２と第２の管理サーバ４４が接続されている。

複数のＤＫＣモジュール同士が結合する場合、互いに連結する複数の管理系装置はアクティブ／スタンバイの主従関係を持つ。複数のＳＶＰの一つがアクティブな状態となり、残りのＳＶＰがスタンバイの状態となる。

アクティブモードのＳＶＰは、自モジュールの管理情報にアクセスして、これを参照したり、変更、新たに管理情報を設定することができるばかりでなく、ＬＡＮ３８を経由して他モジュールのスタンバイモードのＳＶＰにアクセスして、他モジュールの管理情報にもアクセスすることができる。

例えば、ＳＶＰ０がアクティブモードであるとすると、ＳＶＰ０の自モジュールであるＤＫＣモジュール１０Ａの処理系装置２０Ａから収集した管理情報と、スタンバイ状態のＳＶＰ１が所属する他モジュールであるＤＫＣモジュール２０Ｂの処理系装置１２Ｂから収集した情報とを統合管理し、管理ユーザへ提供する。

一方、スタンバイ状態のＳＶＰ１は、自モジュール及び他モジュールの管理情報には通常アクセスせず、アクティブ状態のＳＶＰ０からＬＡＮ３８を経由して定期的にアクティブＳＶＰ０が持つ全ての管理情報の取得を行う。したがって、スタンバイモードのＳＶＰはアクティブモードのＳＶＰに同期化されていることになる。

アクティブモードのＳＶＰが管理系ユーザとのＩ／Ｆを持ち、ユーザはアクティブのＳＶＰにアクセスすることにより、二つのＤＫＣモジュールが結合したストレージ装置を一つのＤＫＣとして管理可能とする。

管理系装置のアクティブ／スタンバイの関係は、動的に変更され、アクティブ状態のＳＶＰがスタンバイ状態になり、スタンバイ状態のＳＶＰがアクティブ状態に切り替わることもある。

この切り替わりの契機は、ＳＶＰへの設定の変更や、アクティブモードのＳＶＰに障害が生じた場合などである。障害がアクティブモードのＳＶＰに発生すると、このＳＶＰがスタンバイモードに切り替わり、もともとスタンバイモードのＳＶＰがアクティブモードに切り替わる。これによって、図２のストレージシステムは、管理系ユーザに対して、複数のＤＫＣモジュールが統一された管理系装置を継続して有するように動作可能である。

アクティブ状態のＳＶＰを介して、ユーザが複数のＤＫＣモジュールを統一して管理できるようにするために、管理サーバ４２，４４に対して、アクティブ／スタンバイの状態を持つ複数の管理系を一つに見せるに方式について説明する。

ストレージシステムの管理者は、アクティブであるＳＶＰのＩＰアドレスを特定のものになるように予め決めておき、管理サーバはそのアクティブのＳＶＰのＩＰアドレスに対してアクセスするようにする。

複数のＳＶＰの間で、アクティブ／スタンバイのモードの切り替えが行われた際には、複数のＳＶＰ間でＩＰアドレスの切り替えを行い、アクティブのＳＶＰは予め決めたＩＰアドレスを持つ。

例えば、予めアクティブモードとなるＳＶＰのＩＰアドレスを“***.***.***.15”と定めると、管理サーバが常に***.***.***.15にアクセスするようにする。

ＤＫＣモジュール１０ＡのＳＶＰ０がアクティブであり、ＤＫＣモジュール１０ＢのＳＶＰ１がスタンバイの状態にあるとき、ＳＶＰ０はIPアドレス“***.***.***.15”を有し、ＳＶＰ１は、IPアドレスとして、例えば、“***.***.***.14”を有する。

後述するように、ＳＶＰ０に障害が発生するなど何らかの理由で、複数のＳＶＰに、アクティブ／スタンバイの切り替えが必要である際には、新たにアクティブモードとなるＳＶＰ１がＳＶＰ０のIPアドレスを“***.***.***.14”に変更し、自身のＩＰアドレスを“***.***.***.15”に変更する。

これにより、複数存在する管理サーバからは、アクティブモードのＳＶＰ、即ち、ＩＰアドレスとして特定の値“***.***.***.15”を持つＳＶＰが認識され、スタンバイモードのＳＶＰは管理サーバによって認識されない。

なお、ＳＶＰは次の各機能を管理ユーザ(管理サーバ)に提供する。ストレージシステムの構成情報・ユーザによって設定された情報の参照・変更、ストレージシステムの障害情報の参照、ストレージシステムの保守操作のユーザＩ／Ｆ（障害部位交換作業、回復作業時の装置オペレーションユーザＩ／Ｆ）、モニタ情報（ポートIOPS（I/O per Second）、CM使用率、MP使用率、LEDV IOPS等ハードウエアの稼動状況）の参照、各種ユーザ管理アプリケーションのハードウェアプラットフォーム（Webエンジン機能）の設定、参照、及び電源状態情報の参照。

構成情報とは、ＤＫＣモジュールに実装されているハードウェア資源の有無・種類などの情報である。例えば、ユーザがオプションで追加するＣＭ−ＰＫ（キャッシュメモリパッケージ）の枚数、ＣＭ−ＰＫに搭載するキャッシュメモリの種類・容量、ＣＨＡの種類・枚数、ユーザの固有設定値などが構成情報として処理系装置のマイクロプログラムによって取り扱われる。

構成情報は、ＤＫＣモジュールの停止時、ＭＰ−ＰＫのフラッシュメモリなどの不揮発メモリ内、および、それらのバックアップとしてＳＶＰのハードディスクなどの不揮発媒体に格納されている。

構成情報は、ストレージ装置の起動を契機として、ＭＰ−ＰＫの不揮発メモリからＭＰ−ＰＫの揮発性ローカルメモリ（ＬＭ）にロードされる。ＬＭの構成情報は、随時最新の情報に更新され、装置計画停止時は、計画停止処理の中で各ＭＰ−ＰＫの不揮発性のフラッシュメモリに格納される。

電源状態情報とは、パッケージ単位での電源状態の情報である。パッケージは省電力モードをとれるようになっている。ＭＰ−ＰＫは、自分が属するＤＫＣモジュールや他のＤＫＣモジュールの各種パッケージにアクセスする際に、それらパッケージの電源状態を把握しておく必要がある。

電源状態情報は、ＤＫＣモジュールの立上げが完了した後、マイクロプログラム中の省電力モード機能のＪＯＢが動作し始めた段階で、ＭＰ−ＰＫのＬＭのある特定のメモリ領域が確保され、その領域に電源状態情報が管理される。

電源状態情報は、装置が起動している間、省電力モード機能のＪＯＢが管理し、電源状態情報は常に更新される。装置の計画停止時は、状態情報は保持される必要が無いため、計画停止処理後の電源オフのタイミングで揮発される。

モニタ情報は、ＭＰ−ＰＫのＬＭ内に格納される。モニタ情報は、電源状態情報と同じように、装置の立上げ完了後、制御マイクロプログラム中のモニタ機能のＪＯＢが動作し始めた段階で、ＭＰ−ＰＫのＬＭのある特定のメモリ領域が確保され、その領域でモニタ情報が管理される。

モニタ情報は、装置が起動している間、モニタ機能のＪＯＢが管理し、モニタ情報は状態に合わせて常に更新される。装置計画停止時は、状態情報は保持しておく必要が無いため、計画停止処理後の電源オフのタイミングで揮発される。

図４は、ＤＫＣモジュールの代表ＭＰ−ＰＫによって実行されるマイクロプログラムが管理する構成情報・電源状態情報・モニタ情報の管理テーブルの一例であり、図４Ａはストレージシステムが１つのモジュールから構成されているもののテーブルであり、図４Ｂはストレージシステムが２つのモジュールから構成されているもののテーブルである。

ストレージシステムが複数のモジュールからなるグリッド構成である場合、複数のモジュールに存在する複数のＭＰ−ＰＫの中で全てのＭＰ−ＰＫのＭＰは独立してマイクロプログラムを実行する。

これらの管理テーブルは、例えば、全ＭＰ−ＭＰのＬＭに格納されている。全ＭＰのそれぞれは管理テーブルなど共通の情報を把握し、各々独立して動作することができる。各ＭＰはあるハードウエア資源にアクセスする際、アクセス先のハードウエアの有無、省電力モードの状態を予め把握する必要があるため、それぞれが構成情報、電源状態情報等を例えばＬＭに有している。モジュール増設時は、図４Ａの“実装情報"の“モジュール増設"のbitが立ち、図４Ｂのように、モジュール１のテーブル領域に各種構成情報等が反映・更新されていく。

図２において、ＤＫＣモジュール１０Ａ（１２Ｂ）は電源装置２２Ａ（２２Ｂ）を有している。電源装置は、ＰＳ０−ＰＳ３までの４つの電源と、電源制御を行なうPower Controller（PCTL）、とを備えている。電源から、処理系装置のＣＨＡ−ＰＫなどの各要素、及び管理系装置に電力が供給される。

電源は最大４台、最小２台がＤＫＣモジュールに設置される。電源1台当たりに２台のDC-DC Converterを内蔵し、電源２台でも合計４系統の電源境界をつくることができる。従って、電源が最小の２台であっても、Converterが1台故障しても４系統の電源境界を維持することができる。符号３６Ａ，３６Ｂはそれぞれ、PCTL-電源-処理系装置間の電源制御に使用される制御信号である。

次に、ストレージシステムが、複数のＤＫＣモジュールの各管理系装置のモードを切り替える動作について説明する。図５は、その動作の詳細を示すフローチャートである。ストレージシステムの管理者は、ＤＫＣモジュール１０ＡのＳＶＰ０に“アクティブモード”を設定する（５００）。ＳＶＰは所定の制御フラグを備え、このフラグに“アクティブモード”又は“スタンバイモード”が設定される。ＳＶＰは、この制御フラグをチェックして、自身のモードを判定してそのモードにしたがって行動する。

次いで、管理者は、ＤＫＣモジュール１０Ａに他のモジュールが接続されているか否かを判定し（５０２）、図２のようにＤＫＣモジュール１０Ｂが接続されている場合には、この判定を肯定し、ＳＶＰ1に“スタンバイ”を設定する（５０４）。一方、この判定を否定した場合には、フローを終了する。

ＳＶＰ０とＳＶＰ１との間ではＬＡＮ３８を介してハートビートパケットを転送しあっており、ＳＶＰ１がＳＶＰ０からのハートビートを検出できないときには、ＳＶＰ１は、ＳＶＰ０になんらかの原因によって異常が生じたと判断する（５０６）。

その後、ＳＶＰ１は、ＬＡＮ３８を介してＳＶＰ０の電源を強制的にオフし（５０８）、自身のステイタスを“スタンドバイモード”から“アクティブモード”に切り替える（５１０）。

これが正常に終了すると、ストレージシステムに対する管理権が、ＳＶＰ０からＳＶＰ１に切り替える処理を行なう（５１０）。この処理が正常に終了できない場合には、ＳＶＰ１は、ストレージシステムの管理者に異常終了を報告する（５１４）。ＳＶＰ０の電源がオフされることにより、異常モードから正常モードに復帰して、ＳＶＰ０とＳＶＰ１との間でストレージシステムに対する管理権にコンフリクトが発生しないようにされている。

なお、ＤＫＣモジュール１０ＡのＨＵＢは、異常となったＳＶＰ０とは独立して動作しているため、ＤＫＣモジュール１０ＢのＳＶＰ１は、ＤＫＣモジュール１０ＢばかりでなくＤＫＣモジュール１０ＡのＰＣＴＬなど各ハードウエア資源にアクセスすることができる。

一方、ＳＶＰ０に異常がなく、ストレージシステムにＤＫＣモジュールの増設がある場合には（５１６，５１８）、ＤＫＣモジュールの増設に合わせて、管理者は、増設されたモジュールのＳＶＰ１に“スタンバイモード”を設定する（５２０，５２４）。

一方、ストレージシステムからＤＫＣモジュールが減設された場合には（５１８）、減設されたモジュールのＳＶＰが“スタンバイモード”にあるか否かを判定し（５２２）、それが肯定された場合には、減設処理を行い、減設されたモジュールのＳＶＰが“アクティブモード”にあると判定された場合には、被減設対象のモジュールのＳＶＰは、“スタンバイモード”であるので、これを“アクティブモード”に切り替えた後（５２６）、減設処理を行う（５２８）。

“スタンバイモード”であるＳＶＰのステイタスを“アクティブモード”に切り替え、“アクティブモード”のＳＶＰを“スタンバイモード”に切り替える際、ユーザは“アクティブモード”のＳＶＰから“スタンバイモード”のＳＶＰに対して切り替え操作を行うことができる。

“アクティブモード”のＳＶＰが“スタンバイモード”のＳＶＰに対して管理系情報の転送をＬＡＮ３８経由で開始し、転送を正常終了した時点でＳＶＰ同士の間で管理情報の同期がとられ、ここで、モジュール間でＳＶＰのステイタス・モードの切り替えが行われる。

なお、図２のように２つのＤＫＣモジュールが存在するケースで、ユーザが自発的に二つのＳＶＰの間でステイタスの切り替えを行ってもよい（５３０，５３２）。例えば、ハードウェアメンテナンス時にこの切り替えが行なわれる。

ユーザによる、ＳＶＰのステイタスの切り替え操作の際、“アクティブモード”のＳＶＰが管理サーバに提供するＧＵＩ画面の一例を図６で示す。切り替え操作は“アクティブ”のＳＶＰからのみ可能である。

図６のＧＵＩ画面上では、ＤＫＣモジュール別にそれぞれFRONT側、REAR側から見た装置構成・装置状態が一ユーザに目で分かるようになっている。網掛け部はそのコンポーネントが未実装であることを示す。また、異常があるコンポーネントは、コンポーネント単位での点滅表示等で異常部位を容易に特定できる。

ＳＶＰのステイタスの情報は、図のようにＧＵＩ画面上で表示され、ユーザはどちらのモジュールのＳＶＰが“アクティブモード”又は“スタンバイモード”が容易に判断できるようになっている。また、切り替えの操作もＧＵＩ画面上で操作できるようになっている。

既述のように、複数のモジュール間で結合が形成され、上位ホストが複数のモジュールのハードウエア資源を共有する場合、上位ホストからモジュールへのＩ／Ｏの頻度が少ない軽負荷状態では、モジュールのハードウエア資源を省電力化することが望ましい。

省電力化は、ハードウエア資源のパッケージ単位で省電力モードのオン／オフによって行なわれる。省電力モードとは、例えばＭＰ−ＰＫであれば、ＣＬＫ周波数の低減、ＭＰ単位でのスタンバイモードへの移行、また、ＣＭ−ＰＫであれば、メモリＤＩＭＭ単位でのスタンバイモードへの移行をいう。

ただし、省電力モードの形態として、ＰＫに給電される電源をＰＫの入力端でＯＮ／ＯＦＦさせる方式、または、ＰＫへの給電をＡＣ−ＤＣの出力端でＯＮ／ＯＦＦさせる方式でもよい。図７は、処理系装置の各種ＰＫの省電力モードの可否とその実施形態を示す。

ＰＫ単位に対する省電力モードのＯＮ／ＯＦＦ切り替え制御は、ＤＫＣモジュール１０ＡとＤＫＣモジュール１０Ｂとからなるストレージ装置にある、風数のＭＰ−ＰＫのうち、代表のＭＰ−ＰＫが実行するマイクロプログラムによって達成される。

省電力モードのＯＮ／ＯＦＦ切り替え制御のためには、装置構成情報、モニタ情報、装置の障害情報などを必要とし、制御マイクロプログラムはこれらの情報を参照し、切り替え制御を行う。

ＰＫの中で、ＳＷ−ＰＫを省電力モードに切り替えることはできない。例えば、ＣＭ−ＰＫでは、負荷状況によってその使用率が変動するため、使用率が低い状態でＣＭ−ＰＫを省電力モードへ移行することができる。しかしながら、ＳＷ−ＰＫは、先ず自ＤＫＣモジュール内でＣＨＡ、ＤＫＡ、ＣＭ−ＰＫ、ＭＰ−ＰＫ間でのデータの橋渡しを行っており、ＤＫＣモジュール間でのデータの橋渡しを行うものであるから、ＣＭ−ＰＫのように選択的に省電力モードへの切り替えを行うことはできない。

次に、２つのＤＫＣモジュールが一つのストレージシステムを構成するケースで、ＣＭ−ＰＫへの負荷が変動することに応じてＣＭ−ＰＫの一部が省電力モードへ移行（CM OFF処理）、また、省電力モードから通常モードへ復帰（CM ON処理）する例の動作を図８のフローチャートで説明する。このケースにおけるCM ON/OFF処理の動作フローについて説明する。

ここでは、図２のように２つのＤＫＣモジュールが接続されたケースで、ＤＫＣモジュール１０Ａの管理系のＳＶＰ０が“アクティブモード”にあり、ＤＫＣモジュール１０Ｂの管理系ＳＶＰ１が“スタンバイモード”にあるとする。

代表のＭＰ−Ｐは制御マイクロプログラムを実行し、自身のＬＭ中の構成情報を参照する（８００）。また、ＭＰ−ＰＫはＬＭ中のモニタ情報（ポートＩＯＰＳ、ＣＭ使用率、ＭＰ使用率、ＬＥＤＶ ＩＯＰＳ等）を取得する（８０２）。

制御マイクロプログラムを実行するＭＰは、使用率≦２５％のＣＭ−ＰＫが２枚以上、かつ動作率≦２５％のＭＰ-ＰＫが1つ以上あるかを判定する（８０４）。

ここで、ＤＫＣモジュール１０ＡのＣＭ−ＰＫ、ＤＫＣモジュール１０ＢのＣＭ−ＰＫが使用率≦２５％、ＤＫＣモジュール１０Ａの１つのＭＰ-ＰＫが動作率≦２５％とする。

そこで、制御マイクロプログラムは、条件に該当するＣＭ―ＰＫのＯＦＦ処理を行う（８０６）。この処理の詳細は図９に示されている。制御マイクロプログラムは、ＯＦＦされるＣＭ-ＰＫからＯＦＦされないＣＭ-ＰＫにデータのコピーを開始する（８０６Ａ）。制御マイクロプログラムは、ＬＭ内の管理情報としてコピー処理の管理情報をＬＭに更新登録する（８０６Ｂ）。

コピー処理の管理情報とは、主として、コピーするデータのセグメント毎の管理ＩＤ、コピー完了フラグ、コピー元情報（セグメントのＤＫＣモジュールＩＤ、キャッシュアドレス）、及びコピー先情報（セグメントのＤＫＣモジュールＩＤ、キャッシュアドレス）により構成される。

コピー処理が完了し、コピー完了フラグがクリアされたセグメントの管理情報は、随時新しい管理情報が登録されるに従ってクリアされ更新される。上記コピー処理の管理情報のテーブルを図１３に示す。

開始にあたって、制御マイクロプログラムは、データのコピー元、コピー先のアドレスの設定、コピー処理を担当する担当ＭＰ−ＰＫを決定する。ここでは、ＤＫＣモジュール１０ＢのＣＭ−ＰＫがコピー元、ＤＫＣモジュール１０ＡのＣＭ-ＰＫがコピー先、担当ＭＰ−ＰＫがＤＫＣモジュール１０ＡのＭＰ−ＰＫとなる。

制御マイクロプログラムはコピーを開始すると、既述の８０４の条件に従って、ＯＦＦ処理開始条件の判定（８０６Ｃ） 、一定時間でのＣＭからＣＭへのデータのコピー（８０６Ｄ）、管理系ＳＶＰ（アクティブモードにあるＳＶＰ）が持つコピーの管理情報の更新（８０６Ｅ）、の処理の完了（先に定義した、コピー完了フラグが全て立つ状態）まで繰り返される（８０６Ｆ）。

ここで一定時間としたのは、ユーザの使用状態によって、ＣＭ使用率、ＭＰ使用率等が動的に変動するため、ある一定時間間隔として、“８０６Ｃ”のＯＦＦ処理開始条件での判定が考慮される必要があるからである。

制御マイクロプログラムが、コピーが完了したと判定すると、コピー元ＣＭ−ＰＫ（ＤＫＣモジュール１０ＢのＣＭ-ＰＫ）をＯＦＦする省電力モードへ移行させる（８０６Ｉ、８０６Ｊ）。

さらに、制御マイクロプログラムは、ＬＭ中の管理情報にコピー元ＣＭ−ＰＫの省電力モードを更新登録する（８０６Ｋ）。

制御マイクロプログラムは、ＣＭ−ＰＫに係わるコピーを繰返し処理する過程で、ＯＦＦ処理を開始する条件が成立しないと判定すると、その時点でＯＦＦ処理を中止し（８０６Ｇ）、管理情報を更新する（８０６Ｈ）。すなわち、図１３に示すコピー処理の管理情報を全てクリアして、コピーのタスクを全てクリアする。

制御マイクロプログラムが、ステップ８０４を否定判定し、ＯＦＦ済みのＣＭ−ＰＫがあり（８０８）、かつ、使用率≧７５％となるＣＭ−ＰＫが１枚以上存在することを判定すると（８１０）、オフ済みのＣＭ−ＰＫをオンさせる処理を行う（８１２）。

コピー先ＣＭ−ＰＫがオンされると、全てのＭＰ−ＰＫのＬＭの管理情報が更新され、オフされていたＤＫＣモジュール１０ＢのＣＭ-ＰＫが利用可能となり、７５％を超えていたＣＭ使用率は緩和される。なお、図４Ａで管理される構成情報、電源状態情報は全てのＭＰ−ＰＫが所有する。全てのＭＰが上記情報を持つことにより、各ＭＰが独立して動作できる。

次に、ＣＭ−ＰＫの省電力モードについて説明する。ＣＭ−ＰＫのメモリＤＩＭＭのスタンバイモードを省電力モードとする。図１０にＣＭ−ＰＫの内部ブロック図を示す。符号１００は、DC/DCコンバータであり、符号１０２はOscillator（振動子）である。DIMM（Dual Inline Memory Module）１０６がキャッシュメモリアダプタ（ＣＭＡ）１０４に接続している。

符号１０８はＰＲＯＭ（Programmable Read Only Memory）である。ＰＲＯＭは、ＰＫ固有情報（バージョン情報よび部品情報など）を格納している。符号１１０はバックボードコネクタであり、符号１１２は電源を制御するマイコンである。バックボードコネクタとＣＭＡとは一時記憶される処理系データのやり取りを行う。

メモリＤＩＭＭのスタンバイモードでは、電源部（電源制御マイコン含む）およびメモリＤＩＭＭ以外のＬＳＩ等が電源オフの状態となり、メモリＤＩＭＭ各々がデータを消去させないためだけの必要最低限のリフレッシュ周期で、自分自身でリフレッシュ動作を繰り返している。

メモリＤＩＭＭの省電力モードはセルフ−リフレッシュモードとも呼ばれ、停電時のキャッシュメモリのバックアップモード時などでも、このセルフ−リフレッシュモードが使用される。

複数のＤＫＣモジュールが一つのストレージシステムを構成するケースでのリード・ライト処理のフローチャートを以下に示す。複数のＤＫＣモジュールのうちの代表のＭＰ−ＰＫが制御マイクロプログラムを実行し、ＬＭ内の構成情報・電源状態情報を参照・管理し、省電力モードにあるパッケージの有無に関わらず、リード／ライト処理を行う。

図１１は、リード処理を説明するフローチャートである。ＣＨＡが上位ホストからリードコマンドを受信する（１１００）。ＣＨＡのＬＲは、ＬＲ配下のメモリ内に格納されている管理テーブルを参照して、このリードコマンドの処理を担当する担当ＭＰ―ＰＫを決定し、ＬＲは担当ＭＰ―ＰＫに対して、ステップ１１０２に示すように、リードコマンドを送信する（これをルーティングという）。

ＬＲのメモリ内の管理テーブルには、論理ボリュームの一つの管理単位であるLogical Unit（ＬＵ）に対して担当するＭＰを関連付ける情報が格納されており、ＬＲはリードコマンドのアドレスからＬＵを特定し、担当ＭＰを決定することができる。

ＬＲの管理テーブルの情報は、装置起動時にＭＰのＬＭからロードされ、装置構成の変更（例えば、ＣＨＡ／ＤＫＡ／ＭＰ−ＰＫの増減設、対上位ホストパスの変更など）、および電源状態情報の変更のタイミングで情報が随時更新される。従って、例えば、省電力モードに入っているＭＰ−ＰＫに対しては、そのＭＰ−ＰＫは構成上存在していないものと見なされ、コマンドのルーティングは行われない。

ここで、ＬＲが担当ＭＰを決定するに当たり、担当ＭＰが基本ＤＫＣモジュールにあるか、増設DKCモジュールにあるかは関係ない。全てのモジュール内のハードウェア資源は、２つのモジュール間のＸパスにより、モジュール間の跨ぎを意識することなくお互いに共有される。

また、省電力モードに移行できるＰＫ種は、既述のとおり、ＳＷ−ＰＫ以外のＰＫとなる。ＳＷ−ＰＫは、モジュール内およびモジュール間でのハードウェア資源間のデータの橋渡しを行っており、装置起動時は常時アクティブの状態となっている。

ＬＲからリードコマンドを受信したＭＰは、ＬＭを参照する（１１０４）。ＭＰのＬＭには、自身が管理するＣＭのデータのアドレス情報が格納されている。ＭＰはコマンドに含まれるアドレス情報からリードデータがＣＭ上に存在するかどうかの判定を行う（１１０６）。

リードデータがＣＭ上に存在する場合は、ＭＰはコマンド送信元のＣＨＡに対してＣＭ上のデータのアドレスを返す（１１０８）。当該リードデータがＣＭ上に存在しない場合は、ＭＰはＣＭ上にリードデータがステージング可能な領域が存在するかどうかの判定を行う（１１１４）。

ＣＭ上にリードデータがステージング可能な領域が存在する場合は、ＭＰはＤＫＡに対して記憶媒体上に存在する当該リードデータのアドレス情報を渡す（１１２０）。

ＣＭ上にリードデータがステージング可能な領域が存在しない場合は、ＭＰは（Least Recently Used（LRU）則））に従ってＤＫＡに対してデステージする最も最近使われていないデータ（オールドデータ）のアドレスを渡す（１１１６）。

ＭＰからオールドデータのアドレスを受信したＤＫＡのＬＲは、ＣＭ上のオールドデータを記憶媒体上にデステージする（１１１８）。

ＭＰから受信した記憶媒体上のアドレス情報を元に、ＤＫＡのＬＲは記憶媒体上のデータをＣＭ上にステージングする（１１２２）。ＣＨＡのＬＲはＣＭ上のリードデータを読み出す（１１１０）。ＣＨＡはリードデータを上位ホストに返す（１１１２）。

次に、ライト処理について説明する。ＣＨＡが上位ホストからライトコマンドを受信する（１２００）。ＣＨＡのＬＲはＬＲ配下のメモリ内に格納されている管理テーブルを参照して、当該ライトコマンドの処理を担当する担当ＭＰを決定し、ＬＲは担当ＭＰに対してライトコマンドを送信する（１２０２）。ＬＲのメモリ内の管理テーブルには、ＬＵに対して担当するＭＰを関連付ける情報が格納されており、ＬＲはライトコマンドのアドレスからＬＵを特定し、担当ＭＰを決定することができる。ライトコマンドを受けたＣＨＡ―ＰＫがＤＫＣモジュール１０Ａのものであっても、担当ＭＰ−ＰＫはＤＫＣモジュール１０Ｂのものでよいし、ライトコマンドを受けたＣＨＡ―ＰＫがＤＫＣモジュール１０Ｂのものであっても、担当ＭＰ−ＰＫはＤＫＣモジュール１０Ａのものでよいしその逆でもよい。

ＬＲからライトコマンドを受信したＭＰは、ＬＭを参照する（１２０４）。ＭＰのＬＭには、自身が管理するＣＭのデータのアドレス情報が格納されている。ＭＰはＣｍｄに含まれるアドレス情報から当該ライトデータのアドレスがＣＭ上に存在するかどうかの判定を行う（１２０６）。

ライトデータのアドレスがＬＭの管理テーブル上に存在する場合は、ＭＰはコマンド送信元のＣＨＡに対してＣＭ上のライトする領域の同一アドレスを（１２０８）返す。

ＣＨＡのＬＲはＣＭ上の同一アドレスにデータを更新記録する（１２１０）。

当該ライトデータのアドレスがＬＭの管理テーブル上に存在しない場合（１２０６）は、ＭＰはＣＭ上にライト可能な領域が存在するかどうかの判定を行う（１２１４）。

ＣＭ上にライト可能な領域が存在する場合は、ＭＰはＤＫＡに対してライト可能な領域のアドレス情報を渡す（１２１６）。ＣＭ上にライト可能な領域が存在しない場合は、ＭＰはＤＫＡに対してデステージする最も最近使われていないデータのアドレスを渡す（１２２０）。

ＭＰからオールドデータのアドレスを受信したＤＫＡのＬＲは、ＣＭ上のオールドデータを記憶媒体上にデステージする（１２２２）。ＣＨＡのＬＲはＣＭ上にデータをライトする（１２１８）。ＣＨＡは上位ホストにライト完了を報告する（１２１２）。

以上の実施形態では、二つのＤＫＣモジュールを結合したシステムであったが、３基以上のＤＫＣモジュールを結合するシステムにも本発明は応用可能である。

本発明に係わるストレージ装置全体の概要を示す斜視図である。 図１に示すストレージ装置を備えるストレージシステムのハードウエアのブロック構成図である。 図２のストレージ装置の各要素の構成をより詳しく説明するブロック図である。 ＤＫＣモジュールの代表ＭＰ−ＰＫによって実行されるマイクロプログラムが管理する構成情報・電源状態情報・モニタ情報の管理テーブルの一例であり、ストレージ装置が１つのモジュールから構成されているもののテーブルである。 ストレージ装置が２つのモジュールから構成されているもののテーブルである。 ストレージ装置が、複数のＤＫＣモジュールの各管理系装置のモードを切り替える動作の詳細を示すフローチャートである。 “アクティブモード”のＳＶＰが管理サーバに提供するＧＵＩ画面の一例である。 処理系装置の各種ＰＫの省電力モードの可否とその実施形態を示すテーブルである。 ２つのＤＫＣモジュールが一つのストレージ装置を構成するケースで、ＣＭ−ＰＫへの負荷が変動することに応じてＣＭ−ＰＫの一部が省電力モードへ移行（CM OFF処理）、また、省電力モードから通常モードへ復帰（CM ON処理）する例の動作を示すフローチャートである。 制御マイクロプログラムは、条件に該当するキャッシュメモリパッケージのＯＦＦ処理の詳細は示すフローチャートである。 キャッシュメモリパッケージのブロック図である。 ストレージシステムのリード処理を説明するフローチャートである。 そのライト処理を説明するフローチャートである。 コピー処理に関する管理情報のテーブルである。

符号の説明

１０Ａ，１０Ｂ：ＤＫＣモジュール（制御資源）、１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ：ＤＫＵモジュール（記憶資源）、１８：標準ラック（汎用的フレーム）、２６：高速シリアルデータ転送プロトコルを実現するパス（Ｘパス）、２２Ａ，２２Ｂ：電源装置、２４Ａ，２４Ｂ：管理系装置、３０：ＳＡＮなどのネットワーク

Claims (14)

1. 計算機からの記憶資源に対するリード及びライト要求を処理する制御資源をモジュール化し、少なくとも１つのモジュールを備え、他のモジュールを順次前記少なくとも一つのモジュールに追加できるように構成されたストレージ装置であって、
   前記複数のモジュール同士を高速内部バス規格で接続する接続路と、
   前記複数のモジュールのそれぞれの管理部に接続する管理ネットワークと、
   前記管理ネットワークに接続する管理装置と
   を備え、
   前記複数の管理部の少なくとも１つがアクティブとし、他の管理部がスタンバイとして設定され、
   前記管理装置は前記複数の管理部のうち前記複数のモジュールを統一管理する当該アクティブの管理部にアクセスするインターフェースを備え、
   前記複数のモジュールに新たなモジュールが接続されると、前記新たなモジュールの管理部をスタンバイに設定し、
   前記複数のモジュールのうち１のモジュールの接続を解除すると、当該接続を解除するモジュールの管理部がアクティブの場合、当該接続を解除するモジュールの管理部をスタンバイにし、前記複数のモジュールのうち他のモジュールの管理部をアクティブにし、当該接続を解除するモジュールの接続を解除する
   ストレージ装置。
2. 前記計算機から、前記複数のモジュールのうち、第１のモジュールへのリード又はライトコマンドを、前記接続路を介して、第２のモジュールが受領し、当該コマンドを処理する
   請求項１記載のストレージ装置。
3. 前記第１のモジュールと前記第２のモジュールとはそれぞれ、
   前記計算機を接続する第１のアダプタと、
   記憶資源を接続する第２のアダプタと、
   前記計算機との間で送受信されるデータを一時記憶するキャッシュメモリと、
   前記リード及びライト要求に対するプログラムを実行するマイクロプロセッサと前記接続路で接続された前記複数のモジュールの管理情報を格納するローカルメモリとを有するマイクロプロセッサパッケージと、
   前記第１のアダプタと、前記第２のアダプタと、前記キャッシュメモリと、そして、前記マイクロプロセッサと、を互いに接続するスイッチとを備える
   請求項２記載のストレージ装置。
4. 前記接続路は、前記第１のモジュールのスイッチと、前記第２のスイッチとの間に形成されている
   請求項３記載のストレージ装置。
5. 前記複数のモジュールのうち、第１のモジュールの前記管理部が前記アクティブのモードにあり、第２のモジュールの前記管理部が前記スタンバイのモードにあり、前記第１のモジュールの前記管理部が前記第２のモジュールの前記管理部から前記第２のモジュールの管理情報を取得し、当該取得した前記第２のモジュールの管理情報を前記第１のモジュールの管理情報とともに保存する
   請求項１記載のストレージ装置。
6. 前記第１のモジュールの前記管理部は前記保存した管理情報を前記第２のモードの前記管理部にコピーする
   請求項５記載のストレージ装置。
7. 前記第１のモジュールの前記管理部が前記アクティブから前記スタンバイにモードを変更し、この変更に合わせて、前記第２のモジュールの前記管理部が前記スタンバイから前記アクティブにモードを変更する
   請求項５記載のストレージ装置。
8. 前記第２のモジュールの前記管理部が前記第１のモジュールの前記管理部をオフし、前記スタンバイからアクティブにモードを変更する
   請求項５記載のストレージ装置。
9. 前記アクティブのモードにある前記管理部は第１の識別情報を備え、前記スタンバイのモードにある前記管理部は第２の識別情報を備え、前記管理装置は前記第１の識別情報を認識して、前記アクティブのモードにある前記管理部にアクセスする
   請求項１記載のストレージ装置。
10. 前記第１のアダプタと、前記第２のアダプタと、前記キャッシュメモリと、そして、前記マイクロプロセッサと、の少なくとも一つは、省電力モードをとり得る
    請求項３記載のストレージ装置。
11. 前記スイッチは省電力モードをとり得ない
    請求項１０記載のストレージ装置。
12. 前記キャッシュメモリを当該キャッシュメモリの使用率または前記マイクロプロセッサの稼働率に基づいて、省電力モードにするか否か判断し、
    前記キャッシュメモリを省電力モードにする際、
    当該キャッシュメモリに格納されたデータを他のキャッシュメモリにコピーし、
    前記管理情報を更新する
    請求項１０に記載のストレージ装置。
13. 前記マイクロプロセッサは、当該マイクロプロセッサを備えるマイクロプロセッサパッケージ内の前記ローカルメモリに格納された前記管理情報を参照して、前記リード及びライト要求に対するプログラムを実行する
    請求項３記載のストレージ装置。
14. 計算機からの記憶資源に対するリード及びライト要求を処理する制御資源をモジュール化し、少なくとも１つのモジュールを備え、他のモジュールを順次前記少なくとも一つのモジュールに追加できるように構成されたストレージ装置の制御方法であって、
    複数のモジュールのそれぞれに存在する管理部のうち、前記複数のモジュールに対して統一的な管理を実行する管理部を設定し、
    この管理部に管理ユーザがアクセスし、
    管理ユーザがこの管理部を介して前記複数のモジュールを統一的に管理するようにした
    ストレージ装置の制御方法。
    

Images