JP6213130B2 - ストレージ制御装置、ストレージ制御プログラム及びストレージ制御方法 - Google Patents

Description

本発明は、ストレージシステムの制御装置に関する。

ストレージシステムの構成要素として、情報を記憶する複数のディスク装置を格納するドライブエンクロージャ（Drive Enclosure（ＤＥ））がある。複数のディスク装置は、ＲＡＩＤ（Redundant Array of Inexpensive Disks）グループを形成している。

ＤＥ上で障害が発生した場合、まずＤＥ内のディスク装置、入出力モジュール（Input/Output Module（ＩＯＭ）、電力供給ユニット（Power Supply Unit（ＰＳＵ））等の活性交換可能なユニットを保守部品と交換する。活性交換とは、装置が動作している状態のまま、内部の部品を取り外して交換することをいう。ディスク装置、ＩＯＭ、ＰＳＵ等のユニットの交換後も、そのＤＥに障害が継続して発生した場合、故障の要因の１つとして、ＤＥ内のディスク受けコネクタ（ディスクスロット）が故障していることが考えられる。このような場合、ＩＯＭ、ＰＳＵ等は被疑箇所ではないと判断され、そのＤＥの交換を行う。ＤＥの交換を行う場合、ストレージシステムの運用を止めるため、ストレージシステムの停止可能なタイミングを待つ必要がある。ストレージシステムを停止することが可能な状態となったら、ストレージシステムの電源を落としてシステム運用を停止する。交換対象のＤＥから、新しいＤＥ（保守ＤＥ）へ元の順番通りにディスク装置を移設し、交換対象ＤＥと保守ＤＥを入れ替え、ＤＥ内に配設されているケーブルの接続も元に戻してＤＥ交換が完了する。この後に、交換したディスク装置に対してデータの書き戻し処理等によりＲＡＩＤの再構築（リビルド）を実施する。

また、他の情報処理システムの保守技術として、以下のものがある。例えば、第１の技術として、半導体メモリを二重化することなく、半導体メモリを構成する任意の半導体メモリユニットの活線保守を行う技術がある。

第２の技術として、ディスクアレイシステムは、一つ以上のＲＡＩＤグループを提供する複数のデータディスクのうち何れかのデータディスクに障害が生じたことを検出する。すると、障害が生じたデータディスクと同一のＲＡＩＤグループに属する他のデータディスクを用いて何れかのスペアディスクにコレクションコピーを行う。障害が生じたデータディスクが交換用の新たなデータディスクに交換されると、ディスクアレイシステムは、スペアディスクをデータディスクとして管理変更し、データディスクをスペアディスクとして管理変更する。これにより、データ復旧時間を短縮する。

第３の技術として、次の技術がある。ディスクアレイを構成するディスク装置に故障ディスク装置が発生する。すると、復旧手段はホットスワップ機能により故障ディスク装置のデータを予備ディスク装置に復旧し、故障ディスク装置の代わりに予備ディスク装置を使用したディスクアレイ構成に変更する。故障ディスク装置が正常なディスク装置に交換される。すると、復旧手段は業務運用を停止させず且つディスクアレイの冗長状態を維持した状態で、予備ディスク装置のデータを交換ディスク装置に復旧し、予備ディスク装置の代わりに交換ディスク装置を使用したディスクアレイ構成に再度変更する。これにより、ホットスワップ機能を有するディスクアレイ装置において、信頼性を低下させることなくディスクアレイを構成するディスク装置の物理的な配置関係を常に一定に維持する。

特開平７−３２５６７４号号公報 特開２００７−８７０３９号公報 特開平１１−１８４６４３号公報

複数のＤＥは、数珠繋ぎ状（カスケード状）に接続されているため、その中のいずれかをＤＥを交換する場合には通信ができなくなり、一旦システムの運用を停止することになる。そのため、顧客の業務に非常に大きな影響を与えてしまう恐れがある。またシステム停止可能なタイミングになるまでの期間は、交換対象ＤＥを用いて運用を続けなければならず、ＲＡＩＤシステムの冗長性を欠いた状態で運用することになる。この状態でＤＥ内の別のディスクスロットが使用できなくなると、最悪の場合には、データ損失が発生する等の可能性がある。

本発明は、一側面として、筐体の交換が必要な障害が発生しても、交換対象の筐体を有効に活用して、システム運用を継続させる技術を提供する。

ストレージ制御装置は、複数の記憶装置を含む記憶装置アレイをそれぞれ収容する複数のストレージ装置であって、該複数のストレージ装置の各々に収容されている記憶装置アレイをホスト装置からカスケード接続して該カスケード接続における上流側の該ホスト装置と下流側の記憶装置アレイとの間で授受されるデータの中継を行う中継部を各々が備えている該複数のストレージ装置の制御を行う。ストレージ制御装置は、検出部と、移行部と、接続制御部を含む。検出部は、複数のストレージ装置の各々に収容されている記憶装置アレイに含まれる複数の記憶装置のいずれかでの障害を検出する。移行部は、障害を検出した第１の記憶装置を含む第１の記憶装置アレイに含まれている全ての記憶装置のデータを、第１の記憶装置アレイとの間でカスケード接続がされている第２の記憶装置アレイに含まれている１または複数の記憶装置に移行する。接続制御部は、第１の記憶装置アレイが収容されているストレージ装置が備えている中継部による中継は継続し、第１の記憶装置アレイに含まれている全ての記憶装置の接続を切断する。

本発明の一側面によれば、筐体の交換が必要な障害が発生しても、交換対象の筐体を有効に活用して、システム運用を継続させることができる。

本実施形態におけるストレージシステムのブロック図を示す。 本実施形態におけるストレージシステムの一例である。 本実施形態におけるアクセス先変換テーブルの一例を示す。 本実施形態（実施例１）における、保守ＤＥ搭載前と搭載後のストレージシステムの筐体構成の一例を示す。 本実施形態（実施例１）における交換対象ＤＥのＩＯＭからディスク装置を論理的に切り離す場合について説明するための図である。 本実施形態（実施例１）におけるＤＥ交換フロー（その１）を示す。 本実施形態（実施例１）におけるＤＥ交換フロー（その２）を示す。 本実施形態（実施例１）におけるＤＥ交換フロー（その３）を示す。 本実施形態（実施例１）を適用する場合と適用しない場合とのストレージシステム停止時間を説明するための図である。 本実施形態（実施例２）におけるケーブリングの一例を示す。 本実施形態（実施例２）におけるＤＥ交換フローを示す。

上述したように、ストレージシステムの停止可能なタイミングの到来を待つ間、故障したディスクスロットが使えない場合でも、ホットスペアのディスク装置が準備されている場合、暫くはホットスペアのデータを用いてデータを冗長状態で運用可能である。しかし、さらに他のディスクも障害で使用できなくなった際にホットスペアが足りなくなる等の状況になった非冗長状態でも、システムの運用をしなければならなくなる恐れがある。

また、ＤＥ交換時は限られた時間の中でディスクの搭載位置を間違えないようにディスクを入れ替える必要があり、メンテナンス作業者に対する負荷が大きいものである。

本実施形態では、ＤＥ内の障害によりＤＥを筐体ごと交換する必要が発生した場合、装置を運用した状態でデータを保守ＤＥに退避させ、顧客のシステムを停止せずにＤＥ交換を実施する。ここで、ＤＥ交換が必要な場合とは、ＤＥ内のＩＯＭ、ＰＳＵ等の活性交換可能なユニットには不具合がみられず、ＤＥ本体の部品（バックプレーン、筐体等）に問題があると判断した場合を想定している。ＤＥ交換が必要な場合の一例としてＤＥ内のディスクスロットの故障等によって特定のディスクが使用できない等の障害が発生している状態を指す。なお、ＩＯＭの筐体間インターフェースには問題ない状態を想定している。

図１は、本実施形態におけるストレージシステムのブロック図を示す。ストレージシステムは、ストレージ制御装置１と複数の筐体５を含む。ストレージ制御装置１は、複数の筐体５に対してアクセス制御を行う。ストレージ制御装置１の一例として、コントローラモジュール（ＣＭ）１３が挙げられる。複数の筐体５はそれぞれ、複数の記憶装置６を収容する。複数の筐体５は、カスケード接続されている。複数の筐体５のそれぞれの一例として、ディスクエンクロージャ（２０）ＤＥが挙げられる。複数の記憶装置６のそれぞれは、ディスク装置２４が挙げられる。

ストレージ制御装置１は、検出部２、以降部３、接続制御部４、アクセス先変換テーブル８を含む。検出部２は、複数の筐体５のいずれかの筐体に含まれる記憶装置６の障害を検出する。検出部２の一例としては、ＣＰＵ１８が挙げられる。

移行部３は、障害を検出した第１の記憶装置６Ａ１を収容する第１の筐体５Ａに収容された全ての記憶装置６のデータを、第１の筐体５Ａに直接的にまたは間接的にカスケード接続された第２の筐体５Ｂに収容された１または複数の記憶装置６Ｂに移行する。本明細書において、「移行」という表現には、復元（リビルド）または複製（コピー）、もしくは復元（リビルド）と複製（コピー）の組み合わせを含む。移行部３の一例としては、ＣＰＵ１８が挙げられる。

接続制御部４は、カスケード接続に用いられる第１の筐体５Ａの中継部７の接続は継続し、第１の筐体５Ａの全ての記憶装置６Ａの接続を切断する。中継部７の一例として、ＳＡＳエクスパンダ２２が挙げられる。接続制御部４の一例としては、ＣＰＵ１８が挙げられる。

このように構成することにより、カスケード接続されたＤＥ間でのネットワークが中断することがないので、ストレージシステムを停止することなく、定期点検時等の所定の時期まで冗長性を保って安定してシステム運用を継続させることができる。

接続制御部４は、前記第１の筐体５Ａの全ての記憶装置６Ａの接続の切断後、第１の筐体５Ａに収容された全ての記憶装置６Ａへのアクセスを第２の筐体５Ｂに収容された記憶装置６Ｂへのアクセスに変更する。ここで、接続の切断を行う場合、接続制御部４は、アクセス先変換テーブル８に格納された筐体または筐体内の記憶装置のアクセス先を、第1の筐体または第１の筐体内の各記憶装置６Ａから、第２の筐体５Ｂまたは第２の筐体５Ｂ内の各記憶装置６Ｂへ変更する。

このように構成することにより、変更先の筐体または変更先の筐体の各記憶装置へアクセスすることができる。

第１の筐体５Ａに直接的にまたは間接的に、第２の筐体５Ｂがカスケード接続された場合、移行部３は、第１の筐体５Ａに収容された全ての記憶装置６Ａのデータを、該第２の筐体５Ｂに収容された１または複数の記憶装置６Ｂに移行する。

このように構成することにより、第２の筐体５Ｂがカスケード接続された場合、移行部３は、自動で、第１の筐体５Ａに収容された全ての記憶装置６Ａのデータを、第２の筐体５Ｂに収容された１または複数の記憶装置６Ｂに移行することができる。ここで、移行の形態には、以下の３つのパターンがある。

１つ目の移行パターンとしては、移行部３は、復元部３−１、複製部３−２を含む。復元部３−１は、第１の筐体５Ａのうちの第１の記憶装置６Ａ１以外のＲＡＩＤグループを構築する記憶装置６Ａのパリティデータに基づいて、次の復元を行う。すなわち、復元部３−１は、第２の筐体５Ｂに含まれる、第１の記憶装置６Ａ１に対応する第２の記憶装置６Ｂ１に、第１の記憶装置６Ａ１のデータを復元する。この場合、複製部３−２は、第１の筐体５Ａのうちの第１の記憶装置６Ａ１以外の各記憶装置６Ａのデータを、第２の筐体５Ｂにおいて、対応する記憶装置６Ｂに複製する。

２つ目の移行パターンとしては、第１の筐体５Ａに待機用の第３の記憶装置がある場合のパターンがある。この場合、復元部３−１は、第１の筐体５Ａのうちの第１の記憶装置６Ａ１以外のＲＡＩＤグループを構築する記憶装置６Ａのパリティデータに基づいて第１の記憶装置６Ａ１のデータを第３の記憶装置６Ａ２に復元する。それから、復元部３−１は、第３の記憶装置から、第２の筐体５Ｂに含まれる、第３の記憶装置に対応する第４の記憶装置に対して、第１の記憶装置６Ａ１のデータを複製する。

３つ目の移行パターンとしては、複製部３−２は、第１の筐体５Ａに収容された全ての記憶装置６Ａのデータを、第２の筐体５Ｂに収容された1または複数の記憶装置６Ｂに複製する。その複製後、復元部３−１は、第２の筐体５Ｂにおいて、第１の筐体５Ａの第１の記憶装置６Ａに対応する記憶装置以外の記憶装置のパリティデータに基づいて、第２の筐体５Ｂにおいて、第１の筐体５Ａの第１の記憶装置６Ａに対応する記憶装置に、第１の記憶装置６Ａのデータを復元する。

このように構成することにより、障害対象ディスク装置と同じディスクエンクロージャに搭載されたその他のディスク装置から、新規搭載した保守ディスクエンクロージャ内の、対応するスロットのディスクデータを複製する。

図２は、本実施形態におけるストレージシステムの一例である。ストレージシステム１１は、サーバ等のホスト１０と接続されている。ストレージシステム１１は、ＲＡＩＤコントローラを有するコントローラエンクロージャ（ＣＥ）１２と、複数のディスク装置２４を搭載するドライブエンクロージャ（ＤＥ）２０とを含む。ＤＥ２０はそれぞれ同じ構成であり、同じスロット数を有する。

ＣＥ１２は、コントローラモジュール（ＣＭ）１３（１３−０，１３−１）を含む。ＣＭ１３（１３−０，１３−１）は、ホスト１０から送信されたデータをディスク装置２４に書き込んだり、ホスト１０からの要求に応じて、ディスク装置２４からデータを読み出すためのコントローラモジュールであり、ディスク装置２４の動作制御を行う。ここで、一方のＣＭ１３を０系ＣＭと称し、ＣＭ０（１３−０）で表す。他方のＣＭを１系ＣＭと称し、ＣＭ１（１３−１）で表す。

各ＣＭ１３は、記憶装置１４、チャネルアダプタ（Channel Adapter（ＣＡ））１５、チップセット１６、キャッシュ１７、中央演算装置（Central Processing Unit（ＣＰＵ））１８、デバイスアダプタ（Device Adapter（ＤＡ））１９を含む。記憶部１４、ＣＡ１５、チップセット１６、キャッシュ１７、ＣＰＵ１８、ＤＡ１９は、内部バスを介して接続されている。

記憶装置１４（１４−０，１４−１）は、例えば、ＳＳＤ（Solid State Drive）、ハードディスクドライブまたは半導体メモリ装置であり、後述するアクセス変換テーブルや後述する処理を実行するプログラム等を格納する。ＣＡ１５（１５−０，１５−１）は、ストレージシステム１１と接続されているホスト１０に対するインターフェース制御部である。チップセット１６（１６−０，１６−１）は、ＣＡ１５、ＣＰＵ１８、ＤＡ１９を接続するためのスイッチ装置である。キャッシュ１７（１７−０，１７−１）は、データを一時的に保持する記憶装置である。ＣＰＵ１８（１８−０，１８−１）は、ＣＭ１３全体を制御する演算装置である。ＣＰＵ１８（１８−０，１８−１）は、記憶装置１４から後述するプログラムを読み出すことにより、検出部２、移行部３、接続制御部４として機能する。ＣＰＵ１８−０とＣＰＵ１８−１とは、通信線を介して、相互に通信し、一方のＣＭ内のユニットが故障した場合に他方のＣＭへホスト１０からのアクセスを迂回させる。ＤＡ１９（１９−０，１９−１）は、ＤＥ２０に対するインターフェース制御部である。

ここで、ＣＭ０に関する構成要素については、符号の末尾に「−０」を付与して表し、ＣＭ１に関する構成要素については、符号の末尾に「−１」を付与して表す。なお、ＣＭ０，ＣＭ１に共通する事項については、符号の末尾に「−０」または「−１」を付さないで説明する。

ＤＥ２０は、入出力モジュール（ＩＯＭ）２１（２１−０，２１−１）、ミッドプレーン２３、ディスク装置２４（２４ａ，２４ｂ，・・・２４ｃ，２４ｄ）を含む。

ＩＯＭ２１（２１−０，２１−１）は、ＤＥ２０を統括的に制御するとともに、ＣＭ０，ＣＭ１とディスク装置２４との間でデータを中継するスイッチ装置としての処理を実行する。このようなスイッチ装置の一例として、ＳＡＳエクスパンダがある。ＳＡＳは、Serial Attached SCSI（Small Computer System Interface）の略称である。

ＳＡＳエクスパンダ２２−０は、ＣＭ０（１３−０）のＤＡ１９−０に接続され、ＳＡＳエクスパンダ２２−１は、ＣＭ１（１３−１）のＤＡ１９−１に接続されている。また、ＩＯＭ２１−０，２１−１は、他のＤＥのＩＯＭと接続することも可能である。

ミッドプレーン２３は、ＩＯＭ０とディスク装置２４間、またはＩＯＭ１とディスク装置２４間を中継するボードである。

ディスク装置２４（２４ａ，２４ｂ，・・・２４ｃ，２４ｄ）は、データを記憶する大容量の複数の記憶装置であり、例えば、ＳＳＤ（Solid State Drive）、ハードディスクドライブまたは半導体メモリ装置である。複数のディスク装置２４のうちいずれかをホットスペアとして用いる場合、そのホットスペアを除いた、複数のディスク装置２４は、ＲＡＩＤグループを構成する。また、ホットスペアがない場合、全てのディスク装置２４は、ＲＡＩＤグループを構成する。

図３は、本実施形態におけるアクセス先変換テーブルの一例を示す。アクセス先変換テーブルは、ＣＭ１３の記憶装置１４に格納されている。アクセス先変換テーブルは、論理的なアクセス先を、物理的なアクセス先に変換するためのテーブルである。アクセス先変換テーブルは、「論理アクセス先」、「物理アクセス先」のデータ項目を含む。「論理アクセス先」には、ＤＥの論理的な名称が格納される。「物理アクセス先」には、ＤＥの物理的な名称が格納される。アクセス先のＤＥ（またはＤＥ内のディスク装置２４）が変更された場合、「物理アクセス先」に変更後のディスク名が設定されるが、「論理アクセス先」は変更されない。これにより、ＣＭ１３は、ＤＥ２０へのアクセスについて、論理アクセス先でのみ管理しておけるので、物理的にアクセス先のＤＥが変更されても、ＣＭ１３の動作に変更はない。図３（Ａ）、図３（Ｂ）についての説明は、後述する。

以下では、本実施形態の実施例について説明する。
（実施例１）
実施例１では、ＣＥ１２は、ＤＥ２０内のディスク装置の故障等を検出した後に保守モード状態となる。この保守モード状態において、ＣＭ１３が、新たなＤＥ２０の搭載を検出した場合、ホットスペアのディスク装置の有無に応じて、故障したディスク装置（対象ディスク装置）のデータ復元方法を判断する。

ケース１：ミッドプレーン２３にホットスペア（ディスク装置）が搭載されている場合、ＣＭ１３は、ホットスペアに復元された対象ディスク装置のデータを、新規搭載した保守ＤＥ内の、対象ディスク装置に対応する位置に搭載されたディスク装置２４に復元する。

ケース２：ホットスペアがない場合、ＣＭ１３は、対象ディスク装置以外のＲＡＩＤグループのディスク装置のパリティデータを用いて、対象ディスク装置のデータを、保守ＤＥ内の、対象ディスク装置に対応する位置に搭載されたディスク装置に復元する。ＣＭは、交換対象ＤＥに搭載された各ディスク装置（対象ディスク装置を除く）から、保守ＤＥ内の、交換対象ＤＥに搭載された各ディスク装置（対象ディスク装置を除く）に対応する位置に搭載されたディスク装置へ、データをコピーする。

ケース３：なお、実施例１においては具体的な説明は省略するが、次のようにしてもよい。すなわち、ＣＭ１３は、交換対象ＤＥに搭載された全てのディスク装置（対象ディスク装置を除く）のデータを、保守ＤＥ内において対応するディスク装置にコピーする。これから、ＣＭ１３は、コピーした保守ＤＥのディスク装置のパリティデータを用いて、対象ディスク装置のデータを、保守ＤＥ内の、対象ディスク装置に対応する位置に搭載されたディスク装置に復元してもよい。

以下では、ケース１〜３の事象を「交換対象ＤＥから保守ＤＥへのデータの移行」と表現する。保守ＤＥへのデータへの移行が完了した場合、ＣＭ１３は、交換対象ＤＥのＩＯＭからディスク装置の接続を切り、ハードウェアの正常部分を使って運用を継続する。これにより、装置停止をせずに所定時期まで冗長性を保ってシステム運用を継続させることができる。

図４は、本実施形態（実施例１）における、保守ＤＥ搭載前と搭載後のストレージシステムの筐体構成の一例を示す。図４（Ａ）は、保守ＤＥ搭載前のストレージシステム１１の筐体構成例である。図４（Ａ）の場合、ストレージシステム１１の一例として、１筐体のＣＥ１２と、複数のＤＥ２０ａ，２０ｂ，２０ｃとを含む。ＣＥ１２と複数のＤＥ２０ａ，２０ｂ，２０ｃは、ＳＡＳケーブル等を用いた高速インターフェース（Ｉ／Ｆ）でカスケード接続されている。

図４（Ｂ）は、保守ＤＥ搭載後のストレージシステム１１の筐体構成例である。図４（Ｂ）では、図４（Ａ）に保守のために用いるＤＥ４（保守ＤＥ）が、カスケード接続された末端のＤＥ２０ｃに、接続されている。したがって、通常のシステム運用においては、ＤＥ２０ａ，２０ｂ，２０ｃが稼働している。

図４（Ａ）及び図４（Ｂ）の例では、ＣＥとＤＥ１との間に関しては、ＣＭ０（１３−０）の出力ポートと、ＩＯＭ０（２１−０１）の入力ポートが接続され、ＣＭ１（１３−１）の出力ポートと、ＩＯＭ１（２１−１１）の入力ポートが接続されている。ＤＥ１（２０ａ）とＤＥ２（２０ｂ）との間に関しては、ＩＯＭ０（２１−０１）の出力ポートと、ＩＯＭ０（２１−０２）の入力ポートが接続され、ＩＯＭ１（２１−１１）の出力ポートと、ＩＯＭ１（２１−１２）の入力ポートが接続されている。ＤＥ２（２０ｂ）とＤＥ３（２０ｃ）との間に関しては、ＩＯＭ０（２１−０２）の出力ポートと、ＩＯＭ０（２１−０３）の入力ポートが接続され、ＩＯＭ１（２１−１２）の出力ポートと、ＩＯＭ１（２１−１３）の入力ポートが接続されている。

ＤＥ３（２０ｃ）と保守ＤＥ４（２０ｄ）との間に関しては、ＩＯＭ０（２１−０３）の出力ポートと、ＩＯＭ０（２１−０４）の入力ポートが接続され、ＩＯＭ１（２１−１３）の出力ポートと、ＩＯＭ１（２１−１４）の入力ポートが接続されている。

図４（Ａ）及び図４（Ｂ）の例では、ストレージシステム１１内のＤＥに障害が発生し、ＤＥの交換が必要となった場合を想定する。ここで、障害発生前の、アクセス先変換テーブルは、図３（Ａ）の状態であるとする。すなわち、論理アクセス先“Ａ”に対応する物理アクセス先が“ＤＥ１”であるとする。論理アクセス先“Ｂ”に対応する物理アクセス先が“ＤＥ２”であるとする。論理アクセス先“Ｃ”に対応する物理アクセス先がＤＥ３であるとする。ＤＥに障害が発生し、ＤＥ交換が必要となった場合に、ストレージシステム１１を稼動し続けた状態でカスケード構造の最下層のＤＥ３（２０ｃ）に、保守のために用いるＤＥ４（２０ｄ）を接続する。

図４（Ａ）及び図４（Ｂ）の例では、ＤＥ交換が必要となったＤＥをＤＥ２（２０ｂ）と仮定する。まず、ＣＭ１３は、交換が必要となったＤＥ２（２０ｂ）内のディスク装置のデータを、ＤＥ２（２０ｂ）を停止せずに保守ＤＥ２０ｄへ移行する。このとき、ＣＭ１３は、交換対象ＤＥと保守ＤＥ間で、両方のＤＥのデータが完全に一致するまでデータのミラーリングを行うことにより、ＤＥ２（２０ｂ）のデータを保守ＤＥ（２０ｄ）へ複製する。ミラーリング中に、論理アクセス先Ｂに書き込みアクセスがあった場合、アクセス先変換テーブル８において、論理アクセス先Ｂに対応する物理アクセス先はＤＥ２であるから、ＤＥ２に書き込みアクセスが生じる。この場合でも、ミラーリングにより、ＤＥ２（２０ｂ）に書き込まれたデータは、保守ＤＥ４（２０ｄ）に反映される。

データ移行完了後、交換対象ＤＥ２（２０ｂ）のＩＯＭからディスク装置を論理的に切り離し、交換対象ＤＥ２の役割をカスケードＤＥに対するスイッチ機能（中継機能）のみとする。さらに、アクセス先変換テーブルの論理アクセス先Ｂに対応する物理アクセス先がＤＥ２からＤＥ４へ書き換えられる。

図５は、本実施形態（実施例１）における交換対象ＤＥのＩＯＭからディスク装置を論理的に切り離す場合について説明するための図である。交換対象ＤＥ２のＩＯＭから全てのディスク装置を論理的に切り離した後、交換対象ＤＥ２は、上述の通り、カスケード状に接続されたＤＥに対するスイッチ装置、すなわち中継装置として機能する。このように構成することにより、ストレージシステムを停止せずにカスケード接続された各ＤＥへのアクセスパスを末端側まで確保することができる。また、メンテナンス時に合わせて交換対象ＤＥを回収できるようになる。

図６Ａ、図６Ｂ及び図６Ｃは、本実施形態（実施例１）におけるＤＥ交換フローを示す。以下では、ＤＥ内のミッドプレーン側のディスクスロットの故障により、ＤＥ（例えば図４のＤＥ２（２０ｂ））内の特定のディスク装置のデータが読み取れなくなった場合、すなわちＤＥ２に障害が発生した例について説明する。ＤＥ２（２０ｂ）内の特定のディスク装置のデータへの読み出しアクセスまたは書き込みアクセスにおいてエラーが発生した場合、ＤＥ２は、そのエラーが発生したことを示すエラーメッセージをＣＭ１３に通知する。ＣＭ１３は、ＤＥ２からエラーメッセージを受信すると、ＤＥ内のディスク装置の異常を検知し、保守モードに移行する。それから、ＣＭ１３、具体的には、ＣＰＵ１８は、本実施形態に係るプログラムを読み出して、検出部２、移行部３、接続制御部４として機能し、以下の処理を行う。

まず、ＣＭ１３が、障害が発生したＤＥ２（２０ｂ）にホットスペアが搭載されているかを判定する（Ｓ１）。ここでは、ＣＭ１３のファームウェアがＤＥ２（２０ｂ）に対して、ホットスペアが搭載されているかを確認するコマンドを送信する。

ＤＥ２（２０ｂ）は、そのコマンドを受信すると、ホットスペアが搭載されている場合には、ホットスペアが搭載されている旨を応答し、ホットスペアが搭載されていない場合には、ホットスペアが搭載されていない旨を応答する。ＣＭ１３は、その応答結果に基づいて、ＤＥ２にホットスペアが搭載されているかを判定する。

ＤＥ２がホットスペアを搭載していない場合（Ｓ１でＮｏ）、メンテナンス作業者は、データが読み取れなくなったディスク装置（以下、「対象ディスク装置」という）の交換を行う（Ｓ３）。

ＤＥ２がホットスペアを搭載している場合（Ｓ１でＹｅｓ）、ＣＭ１３は、ＤＥ２（２０ｂ）内の、対象ディスク装置以外のディスク装置に格納されたパリティデータを用いて、対象ディスク装置のデータをホットスペアに復元する（Ｓ２）。その後、メンテナンス作業者は、対象ディスク装置の交換を行う（Ｓ３）。

ＣＭ１３は、対象ディスク装置の交換により、ディスク装置の不具合が解消したか否かを判定する（Ｓ４）。ディスク装置の不具合が解消しない場合とは、ディスク装置を交換したにもかかわらず、障害が復旧しなかったため、ＤＥを交換する必要があると判明した場合を想定している。具体的には、各ＤＥは、自身に搭載されているディスク装置にアクセスできない等のエラーが発生した場合、そのエラーが発生したことを示すエラーメッセージをＣＭ１３に通知する。ＣＭ１３は、そのエラーメッセージを受信すると、ＤＥ内のディスク装置の異常を検知する。

対象ディスク装置の交換により、ディスク装置の不具合が解消した場合、すなわち、ＤＥ（２０ｂ）からＣＭ１３へエラーメッセージが通知されなかった場合（Ｓ４でＹｅｓ）、ＣＭ１３は、ＤＥ２にホットスペアが搭載されているかを判定する（Ｓ５）。ＤＥ２にホットスペアが搭載されているか否かの判定は、Ｓ１で説明したので省略する。

ＤＥ２にホットスペアが搭載されている場合（Ｓ５でＹｅｓ）、ＣＭ１３は、Ｓ３においてホットスペアに復元された対象ディスク装置のデータを交換後のディスク装置にコピーすることにより、交換後のディスク装置にデータを復元する（Ｓ６）。これにより、ＤＥ不具合の解消処理が完了する（Ｓ８）。

ＤＥ２にホットスペアが搭載されていない場合（Ｓ５でＮｏ）、ＣＭ１３は、ＤＥ２において、交換したディスク装置以外のディスク装置に格納されたパリティデータを用いて、交換後のディスク装置にデータを復元する（Ｓ７）。これにより、ＤＥ不具合の解消処理が完了する（Ｓ８）。

Ｓ４において、対象ディスク装置の交換により、ディスク装置の不具合が解消しなかった場合、すなわち、ＤＥ２（２０ｂ）からＣＭ１３へエラーメッセージが通知された場合（Ｓ４でＮｏ）、メンテナンス作業者は、次の作業を行う。すなわち、メンテナンス作業者は、ストレージシステム１１を形成するＤＥのうち、カスケードの末端に相当するＤＥ３（２０ｃ）に対して、保守ＤＥ（２０ｄ）を接続する（Ｓ９）。

ＣＭ１３は、新たに接続された保守ＤＥ（２０ｄ）を認識する（Ｓ１０）。すると、ＣＭ１３は、ストレージシステム１１の状態がレディ（Ｒｅａｄｙ）状態か否かを判定する（Ｓ１１）。ストレージシステム１１の状態がＲｅａｄｙ状態である場合（Ｓ１１でＹｅｓ）、ＤＥの増設手順が行われる。

ストレージシステム１１の状態がＲｅａｄｙ状態でない場合（Ｓ１１でＮｏ）、ＣＭ１３は、ＤＥ２または保守ＤＥにホットスペアが搭載されているかを判定する（Ｓ１３）。ＤＥ２または保守ＤＥにホットスペアが搭載されているか否かの判定は、Ｓ１で説明したので省略する。

ＤＥ２にホットスペアが搭載されている場合（Ｓ１３でＹｅｓ）、ＣＭ１３はＤＥ２の対象ディスク装置のデータを、ホットスペアから保守ＤＥ内の同じスロットのディスク装置にコピーする（Ｓ１４）。

ＤＥ２にホットスペアが搭載されていない場合（Ｓ１３でＮｏ）、ＣＭ１３はＤＥ２において故障ディスク装置以外のディスク装置に格納されたパリティデータを用いて、保守ＤＥ内にて、故障ディスク装置と同じスロットのディスク装置に復元する（Ｓ１５）。

その後、ＣＭ１３は、交換対象ＤＥの他ディスク装置のデータを、保守ＤＥにて、同じスロットのディスク装置に複製する（Ｓ１６）。

ＣＭ１３は、交換対象ＤＥと保守ＤＥとの間で、データが一致しているかを判定する（Ｓ１７）。交換対象ＤＥと保守ＤＥとの間で、データが一致していない場合（Ｓ１７でＮｏ）、ＣＭ１３は、交換対象ＤＥと保守ＤＥとの間で、各ディスク装置２４のミラーリングを行う。

交換対象ＤＥと保守ＤＥとの間で、データが一致している場合（Ｓ１７でＹｅｓ）、ＣＭ１３は、アクセス先変更テーブルを更新すると共に、図５で説明したように、ＳＡＳエクスパンダ２２とディスク装置２４との接続を論理的に切断する（Ｓ１９）。すなわち、ＣＭ１３のファームウェアは、アクセス先変換テーブル８の対象となる論理アクセス先に対応する物理アクセス先を、交換対象ＤＥから保守ＤＥへ書き換える。また、ＣＭ１３は、ＳＡＳエクスパンダ２２において、ディスク装置２４と接続している全ポートを使用不可にすることにより、ＳＡＳエクスパンダ２２とディスク装置２４との接続を論理的に切断する。

この状態で、ＣＭ１３は、システム運用を継続する。物理的にアクセスするＤＥの物理アドレスに変更があっても、論理アドレスには変更がない。ＣＭ１３のＣＰＵ１８は、論理アドレス先を用いて、ＤＥへアクセス要求を行っているから、ＤＥを切り替える前と同じ状態で論理アドレス先にアクセスすることができ、システム運用の変更は生じない。

なお、ＳＡＳエクスパンダ２２とディスク装置２４との接続が論理的に切断されても、ＳＡＳエクスパンダ２２は有効に機能しているので、交換対象ＤＥは中継装置として機能を継続する。これにより、装置停止をせずに所定時期まで冗長性を保ってシステム運用を継続させることができる。

その後、メンテナンス作業者は、装置の停止が可能か否か判定する（Ｓ２０）。装置の停止が可能な場合（Ｓ２０でＹｅｓ）、装置停止可能なタイミングが到来したら（Ｓ２１）、メンテナンス作業者は、ストレージシステム１１の電源を落とす。ここで、装置停止可能なタイミングとは、例えば、年末年始等の顧客の長期休暇で、顧客の業務に影響を与えないタイミングをいう。装置の停止ができない場合（Ｓ２０でＮｏ）については、実施例２（図９）にて説明する。

メンテナンス作業者は交換対象ＤＥを外し、その交換対象ＤＥがあった位置に保守ＤＥを接続する（Ｓ２３）。メンテナンス作業者は、交換対象ＤＥをラックから外す（Ｓ２４）。メンテナンス作業者は、保守ＤＥをラックに搭載する（Ｓ２５）。メンテナンス作業者は、保守ＤＥにケーブルを再接続する（Ｓ２６）。これにより、保守ＤＥの接続が完了する（Ｓ２７）。

このように、例えば、ＤＥにホットスペアを搭載していない場合、保守ＤＥが接続された後、ＲＡＩＤグループの残りのディスク装置を用いて保守ＤＥの同スロットのディスク装置に、交換対象ＤＥ内の特定のディスク装置のデータを復旧する。復旧後、交換対象ＤＥ内の残りのディスク装置のデータも、保守ＤＥのディスク装置へ複製する。ストレージシステム１１を停止せずに複製を行う為、交換対象ＤＥと保守ＤＥ間でデータのミラーリングを取り、両方のＤＥのデータが完全に一致した後、交換対象ＤＥはディスク装置を切り離し、カスケードＤＥに対するスイッチ装置のみの役割とする。すなわち、交換対象ＤＥは中継機能のみを有効にした状態にしておき、カスケード接続された複数のＤＥに対する中継器として機能させる。また、上述したように、ＣＭ１３のファームフェアは、アクセス先変換テーブル８の対象となる論理アクセス先に対応する物理アクセス先を交換対象ＤＥから保守ＤＥへ書き換える。この状態で、ＣＭ１３は、システム運用を継続する。物理的にアクセスするＤＥの変更があっても、アクセス先変換テーブル８の論理アドレスには変更がないので、ＣＭ１３は、ＤＥを切り替える前と同じ状態で論理アドレス先にアクセスすることができ、システム運用の変更は生じない。

本実施形態を用いることで、ストレージシステム１１を停止することなくデータの移行（復元または複製／複製及び復元）が可能となる。また、ＲＡＩＤの冗長性を欠いた状態での運用を最小限にできる。また、交換対象ＤＥは電源を入れたまま稼動しておくことが可能なので、年末年始等の定期メンテナンス時などシステムを止められる際に回収する。データの移行（復元または複製／複製及び復元）を予め実施しているため、長時間のシステム停止をさせることなく、オペレータに負担をかけずにＤＥ交換を完了することが可能である。

なお、移行のパターンとして、ＣＭ１３は、さらに、交換対象ＤＥに収容された全てのディスク装置２４のデータを、保守ＤＥに収容されたディスク装置に複製してもよい。
この場合、その複製後、ＣＭ１３は、保守ＤＥにおいて、交換対象ＤＥの故障したディスク装置に対応するディスク装置以外のディスク装置のパリティデータに基づいて、次の処理を行っても良い。すなわち、ＣＭ１３は、保守ＤＥにおいて、交換対象ＤＥの故障したディスク装置に対応するディスク装置に、その故障したディスク装置のデータを復元してもよい。

図７は、本実施形態（実施例１）を適用する場合と適用しない場合とのストレージシステム停止時間を説明するための図である。本実施形態を適用しない場合、ディスク装置の交換に２０分、ＤＥ交換に１０分、ケーブル再接続に２０分、リビルド時間に１００分、合計で１５０分かかる。ここで、リビルド時間は、例としてディスク装置の容量６００［ギガバイト（ＧＢ）］、書き込み速度１００［メガバイト（ＭＢ）／ｓ］である時の見積時間であり、各種条件によってリビルド時間は変わる。

ディスク装置の寿命は、数年（例えば、５年）である。ディスク装置の寿命にあわせて保守ＤＥに大量のデータ移行を行う長期保守時にも、本実施形態を用いることにより、効率的にＤＥ交換を行える。加えて、装置停止中にディスク装置の移設もデータ移行もしなくてよくなる為、オペレータに対する負荷の軽減にも繋げられる。

保守ＤＥの置き場所が無く早急にＤＥを交換したい場合でも、装置停止時間を短縮することができる。

（実施例２）
実施例２では、ＤＥのラック搭載位置を問題にしなければ、さらに、次の操作を実施することで、ストレージシステムを停止せずに交換対象ＤＥを回収可能である。ストレージシステム１１において、ＣＭ−ＤＥ間、ＤＥ−ＤＥ間を接続するケーブルの内、片系を取り外し、保守ＤＥを交換対象ＤＥに置き換えた状態で再ケーブリングを実施する。この再ケーブリングが行われている間のシステム運用は、他系で継続されている。それから。データの経路を、再ケーブリングによって新たに接続された系に切り替える。残りの系のケーブルに対して同様に再ケーブリングを実施する。ケーブリング後に両系ともアクティブ‐アクティブ（両系動作）とする。その後、交換対象ＤＥを回収する。

以下に、本実施例の詳細を説明する。
図８は、本実施形態（実施例２）におけるケーブリングの一例を示す。実施例１において、交換対象ＤＥのデータを保守ＤＥに移行した後、装置を停止することができない場合には、図８（Ａ）のように、データ経路を、例えば１系に片寄し、０系のケーブルの接続を変更する。

図８（Ａ）のケーブリングを説明すると、図４において、ＤＥ２を保守ＤＥに置き換えると想定する。すると、ＤＥ１のＩＯＭ２１−０１のアウトポートに接続されているケーブルの反対側の末端を、ＤＥ２のＩＯＭ２１−０２のインポートから、保守ＤＥのＤＥ２のＩＯＭ２１−０４のインポートへ挿しかえる。

また、ＤＥ３のＩＯＭ２１−０３のインポートに接続されているケーブルの反対側の末端を、ＤＥ２のＩＯＭ２１−０２のアウトポートから、保守ＤＥのＩＯＭ２１−０４のアウトポートへ挿しかえる。これにより、ケーブリングの状態が、図８（Ａ）の状態になる。

ケーブリング形態を図８（Ａ）に変更した後で、ＣＭ１３が正常に、各ＤＥのディスク装置にアクセスすることができるかを確認する。ＣＭ１３が正常に、各ＤＥのディスク装置にアクセスすることができると確認できた後、ＣＭ１３はデータ経路を０系に片寄する。すなわち、ＣＭ１３は０系側の、ＳＡＳエクスパンダとケーブルを介して、各ＤＥにアクセスする。図８（Ｂ）のように、再度１系のケーブルの接続を変更する。そして再度、ＣＭ１３が正常に、各ＤＥのディスク装置にアクセスすることができるかを確認する。確認後に０系及び１系ともアクティブ‐アクティブとする。

図９は、本実施形態（実施例２）におけるＤＥ交換フローを示す。図９のフローは、図図６ＣのＳ２０において、装置の停止ができない場合に行なわれる。

Ｓ２０において、メンテナンス作業者は、保守可能なタイミングを待つ（Ｓ３０）。保守可能なタイミングが到来したら、メンテナンス作業者は、ストレージシステム１１の電源を落とさずに、活性保守でＳ３１以降の手順を実施できる。

メンテナンス作業者は、ストレージシステム１１において、片系のケーブルの接続を変更し、保守ＤＥを交換対象ＤＥに置き換えた状態で再ケーブリングを実施する（Ｓ３１）。この間のシステム運用は、もう一方の系で継続されている。

その後、メンテナンス作業者は、ＣＭ１３が正常に、各ＤＥのディスク装置にアクセスすることができるかを確認する（Ｓ３２）。ＣＭが正常に、各ＤＥのディスク装置にアクセスすることができると確認できた後、メンテナンス作業者は、他系のケーブル接続を変更する（Ｓ３３）。メンテナンス作業者は、ＣＭ１３が正常に各ＤＥのディスク装置にアクセスすることができるかを確認する。メンテナンス作業者は、その確認後に０系及び１系ともアクティブ‐アクティブとする。その後、メンテナンス作業者は、交換対象ＤＥを回収する。

本実施例２を用いることで、ＤＥのラック搭載位置を問題にしなければ、装置停止せずに交換対象ＤＥを回収可能となる。もし、ＤＥのラック搭載位置を元の状態に戻したいならば、年末年始等の定期メンテナンス時などシステムを止められる際にＤＥのラック搭載位置を元の状態に戻すことができる。

なお、本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

１ ストレージ制御装置
２ 検出部
３ 移行部
３−１ 復元部
３−２ 複製部
４ 接続制御部
５ 筐体
５Ａ 第１の筐体
５Ｂ 第２の筐体
６，６Ｂ，６Ｂ 記憶装置
６Ａ１ 第１の記憶装置
６Ａ２ 第３の記憶装置
６Ｂ１ 第２の記憶装置
６Ｂ２ 第４の記憶装置
７ 中継部
８ アクセス先変換テーブル
１０ ホスト
１１ ストレージシステム
１２ コントローラエンクロージャ（ＣＥ）
１３（１３−０，１３−１） コントローラモジュール（ＣＭ）
１４（１４−０，１４−１） 記憶装置
１５（１５−０，１５−１） チャネルアダプタ
１６（１６−０，１６−１） チップセット
１７（１７−０，１７−１） キャッシュ
１８（１８−０，１８−１） ＣＰＵ
１９（１９−０，１９−１） デバイスアダプタ（ＤＡ）
２０ ドライブエンクロージャ（ＤＥ）
２１（２１−０，２１−１） 入出力モジュール（ＩＯＭ）
２２ ＳＡＳエクスパンダ
２３ ミッドプレーン
２４（２４ａ，２４ｂ，・・・２４ｃ，２４ｄ） ディスク装置

Claims (9)

1. 複数の記憶装置を含む記憶装置アレイをそれぞれ収容する複数のストレージ装置であって、該複数のストレージ装置の各々に収容されている記憶装置アレイをホスト装置からカスケード接続して該カスケード接続における上流側の該ホスト装置と下流側の記憶装置アレイとの間で授受されるデータの中継を行う中継部を各々が備えている該複数のストレージ装置の制御を行うストレージ制御装置であって、
   前記複数のストレージ装置の各々に収容されている前記記憶装置アレイに含まれる前記複数の記憶装置のいずれかでの障害を検出する検出部と、
   障害を検出した第１の記憶装置を含む第１の記憶装置アレイに含まれている全ての記憶装置のデータを、前記第１の記憶装置アレイとの間で前記カスケード接続がされている第２の記憶装置アレイに含まれている１または複数の記憶装置に移行する移行部と、
   前記第１の記憶装置アレイが収容されているストレージ装置が備えている中継部による前記中継は継続し、前記第１の記憶装置アレイに含まれている全ての記憶装置の接続を切断する接続制御部と、
   を備えることを特徴とするストレージ制御装置。
2. 前記接続制御部は、前記第１の記憶装置アレイに含まれている全ての記憶装置の接続の切断後、前記第１の記憶装置アレイに含まれている全ての記憶装置へのアクセスを前記第２の記憶装置アレイに含まれている記憶装置へのアクセスに変更する
   ことを特徴とする請求項１に記載のストレージ制御装置。
3. 前記第１の記憶装置アレイとの間で前記第２の記憶装置アレイがカスケード接続された場合、前記移行部は、前記第１の記憶装置アレイに含まれている全ての記憶装置のデータを、該第２の記憶装置アレイに含まれている１または複数の記憶装置に移行する
   ことを特徴とする請求項１または２に記載のストレージ制御装置。
4. 前記移行部は、
   前記第１の記憶装置アレイのうちの前記第１の記憶装置以外のＲＡＩＤグループを構築する記憶装置のパリティデータに基づいて、前記第２の記憶装置アレイに含まれる、前記第１の記憶装置に対応する第２の記憶装置に、該第１の記憶装置のデータを復元する復元部と、
   前記第１の記憶装置アレイのうちの前記第１の記憶装置以外の各記憶装置のデータを、前記第２の記憶装置アレイにおいて、対応する記憶装置に複製する複製部と、
   を備える請求項１〜３のうちいずれか１項に記載のストレージ制御装置。
5. 前記第１の記憶装置アレイに待機用の第３の記憶装置がある場合に、前記復元部は、前記第１の記憶装置アレイのうちの前記第１の記憶装置以外の前記ＲＡＩＤグループを構築する記憶装置のパリティデータに基づいて前記第１の記憶装置のデータを前記第３の記憶装置に復元し、前記第３の記憶装置から、前記第２の記憶装置アレイに含まれる、該第３の記憶装置に対応する第４の記憶装置に対して、前記第１の記憶装置のデータを複製する
   ことを特徴とする請求項４に記載のストレージ制御装置。
6. 複数の記憶装置を含む記憶装置アレイをそれぞれ収容する複数のストレージ装置であって、該複数のストレージ装置の各々に収容されている記憶装置アレイをホスト装置からカスケード接続して該カスケード接続における上流側の該ホスト装置と下流側の記憶装置アレイとの間で授受されるデータの中継を行う中継部を各々が備えている該複数のストレージ装置の制御を行うストレージ制御装置に、
   前記複数のストレージ装置の各々に収容されている前記記憶装置アレイに含まれる前記複数の記憶装置のいずれかでの障害を検出し、
   障害を検出した第１の記憶装置を含む第１の記憶装置アレイに含まれている全ての記憶装置のデータを、前記第１の記憶装置アレイとの間でカスケード接続がされている第２の記憶装置アレイに含まれている１または複数の記憶装置に移行し、
   前記第１の記憶装置アレイが収容されているストレージ装置が備えている中継部による前記中継は継続し、前記第１の記憶装置アレイに含まれている全ての記憶装置の接続を切断する
   処理を実行させることを特徴とするストレージ制御プログラム。
7. 前記第１の記憶装置アレイに含まれている全ての記憶装置の接続の切断後、ストレージ制御装置に、前記第１の記憶装置アレイに含まれている全ての記憶装置へのアクセスを前記第２の記憶装置アレイに含まれている記憶装置へのアクセスに変更する処理を実行させる
   ことを特徴とする請求項６に記載のストレージ制御プログラム。
8. 複数の記憶装置を含む記憶装置アレイをそれぞれ収容する複数のストレージ装置であって、該複数のストレージ装置の各々に収容されている記憶装置アレイをホスト装置からカスケード接続して該カスケード接続における上流側の該ホスト装置と下流側の記憶装置アレイとの間で授受されるデータの中継を行う中継部を各々が備えている該複数のストレージ装置の制御を行うストレージ制御装置により実行されるストレージ制御方法であって、
   前記ストレージ制御装置は、
   前記複数のストレージ装置の各々に収容されている前記記憶装置アレイに含まれる前記複数の記憶装置のいずれかでの障害を検出し、
   障害を検出した第１の記憶装置を含む第１の記憶装置アレイに含まれている全ての記憶装置のデータを、前記第１の記憶装置アレイとの間で前記カスケード接続がされている第２の記憶装置アレイに含まれている１または複数の記憶装置に移行し、
   前記第１の記憶装置アレイが収容されているストレージ装置が備えている中継部による前記中継は継続し、前記第１の記憶装置アレイに含まれている全ての記憶装置の接続を切断する
   ことを特徴とするストレージ制御方法。
9. 前記第１の記憶装置アレイに含まれている全ての記憶装置の接続の切断後、ストレージ制御装置は、前記第１の記憶装置アレイに含まれている全ての記憶装置へのアクセスを前記第２の記憶装置アレイに含まれている記憶装置へのアクセスに変更する
   ことを特徴とする請求項８に記載のストレージ制御方法。