JP5403849B2 - 二重制御装置を有する冗長データ記憶システムおよびその動作方法 - Google Patents

Description

本発明は、一般的にはコンピュータ・システムに関し、特に、冗長データ記憶システムにおけるフェイルオーバ（ｆａｉｌｏｖｅｒ）制御に関するが、これのみに関するわけではない。

コンピュータ・システムは、入力装置、出力装置、１つまたはそれ以上のプロセッサ、および記憶媒体を含むことができる。オペレーティング・システムは、アプリケーション環境と、ファイルが作成され、変更され、または削除される時に記憶容量を割り当てる（また割り当てを解除する）ためのファイル・システムとを提供する。例えば、サーバおよび記憶装置アレイのような、特殊化されたコンピュータ・システムもまた、ネットワークまたは他の接続を経てアクセスされる記憶容量を割り当てるためのファイル・システムを用いる。サーバおよび記憶装置アレイは、例えば、ＲＡＩＤレベルなどの所望の記憶フォーマットに依存して、複数のディスク・ドライブ上にファイルを記憶する。ユーザ・データ・ファイルは、１つまたはそれ以上のディスク・ドライブ上の、１つまたはそれ以上の領域にマップされる。マッピングは、ミラー・データまたはパリティ・データの記憶を含む。データ・ファイルの、１つまたはそれ以上のディスク・ドライブへのマップされ方を記述する構成情報は、テーブルまたはメタデータと呼ばれる他のデータ構造内に含まれる。ファイルが作成され、変更され、または削除される時は、記憶容量の割り当て、または割り当ての解除を反映するようにメタデータは更新される。

システムは、マルチスレッド式に、またマルチタスキング式に、同時に多くのプロセスを実行することができる。（システム・プロセスまたはユーザ・アプリケーションなどの）１つのプロセスの異常な実行は、１つまたはそれ以上のプロセスを不完全に終わらせて、システム障害（ｓｙｓｔｅｍ ｆａｉｌｕｒｅ）の可能性を増大させうる。必要とされるのは、そのような障害に続いて行われる、システムの強力な再起動の支援におけるマスタ制御装置から冗長制御装置へのスイッチングのような、そのような障害から回復するための高度の解決法である。

ここで具現されるように、また特許請求の範囲に後述されるように、本発明は、一般的には、冗長データ記憶システムを動作させる装置および関連の方法を提供することを目的とする。

ある実施例においては、第１のメモリ空間のトップレベル制御を行う第１の制御装置と、第１のメモリ空間とは異なる第２のメモリ空間のトップレベル制御を行う第２の制御装置とを含む、冗長データ記憶システムが提供される。このシステムは、第２のメモリ空間に第１の制御装置により状態情報を非同期的に書込むようにされ、あるいは、このシステムは第１のメモリ空間に第２の制御装置により状態情報を非同期的に書込むようにされる。ある実施例においては、メモリ空間は反射メモリ（ｒｅｆｌｅｃｔｉｖｅ ｍｅｍｏｒｙ）を含むことができる。このシステムは、現存する状態についての状態情報変更要求に関連して、制御装置の１つにより作成されたクラッシュ回復記録を利用する。このクラッシュ回復記録および変更された状態情報は、メモリ空間のバス結合マップト・メモリ領域（ｂｕｓ ｊｏｉｎｉｎｇ ｍａｐｐｅｄ ｍｅｍｏｒｙ ｒｅｇｉｏｎ）を含むデータ転送ウィンドウなどの通信リンクを経て反射的に書込まれる。

ある実施例においては、第１の制御装置および第２の制御装置を有する冗長データ記憶システムを動作させる方法が提供される。この方法は、第１の制御装置のトップレベル制御のもとで第１の制御装置により第１のメモリ空間内に状態情報を書込むステップと、第１のメモリ空間とは異なる第２のメモリ空間であって、第２の制御装置のトップレベル制御のもとにあるこの第２のメモリ空間に状態情報を非同期的に反射的に書込むステップとを含む。この方法はさらに、冗長データ記憶システムによる状態情報変更要求に応答して、第１のメモリ空間において第１の制御装置により状態情報を変更するステップと、第２のメモリ空間に変更された状態情報を非同期的に反射的に書込むステップとを含む。好ましくは、この方法は、現存する状態についての状態情報変更要求に関連させることにより、状態情報を変更するステップに先立ってクラッシュ回復記録を作成するステップと、第２のメモリにクラッシュ回復記録を非同期的に反射的に書込むステップとを含む。この方法は、第２の制御装置に関連するプロセッサ・キャッシュを無効化することにより、現存の状態情報と、変更された状態情報との間の不一致を解決するステップを含むことができる。この方法は、前に第２のメモリに書込まれた状態情報を用いることにより、冗長記憶システムにおける制御を第２の制御装置にスイッチするステップを含むことができる。このスイッチするステップは、前に第２のメモリに書込まれた状態情報を、クラッシュ回復記録と組み合わせるステップを含むことができる。解決するステップは、変更された状態情報を成功裏に反射的に書込んだ後に、クラッシュ回復記録をクリアするステップをさらに含みうる。

ある実施例においては、少なくとも２つの独立した制御装置と、制御をこれらの制御装置の間でスイッチする手段とを有する記憶装置アレイを含む、冗長データ記憶システムが提供される。このスイッチする手段は、状態情報変更要求に関連する制御装置の１つによりクラッシュ回復記録を作成することを特徴とする。このスイッチする手段は、制御装置の１つにより、他の制御装置のメモリ空間へ、状態情報を非同期的に反射的に変更することを特徴とする。このスイッチする手段は、状態情報の変更に関連する制御装置の間の状態情報の不一致を解決することを特徴とする。
特許請求の範囲に記載されている本発明の実施例の特徴である、これらの特徴および他の特徴は、以下の詳細な説明を読み、また関連する図面を点検するとき明らかとなろう。

本発明の実施例を有利に実行できる代表的な環境を説明するために、図１は、大容量記憶装置を利用した記憶領域ネットワーク（ＳＡＮ）を特徴とする冗長データ記憶システム１００を示す。
システム１００は、ホストＡ、Ｂ、およびＣとしてそれぞれが特定されている、いくつかのホスト・コンピュータ１０２を含む。ホスト・コンピュータ１０２は、組織若しくはファブリック（ｆａｂｒｉｃ）１０６を経て、互いに対話すると共に、（ＡおよびＢによりそれぞれ示されている）１対のデータ記憶装置アレイ１０４とも対話する。組織１０６は、好ましくは、ファイバチャネルに基づく交換ネットワークであることを特徴とするが、インタネットを含む他の構成も同様に利用することができる。

それぞれのアレイ１０４は、（Ａ１、Ａ２およびＢ１、Ｂ２により示されている）１対の制御装置１０８と、好ましくは、ＲＡＩＤ（独立ディスクの冗長アレイ）として動作するハード・ディスク・ドライブであることを特徴とする一組のデータ記憶装置１１０とを含む。制御装置１０８およびデータ記憶装置１１０は、好ましくは、さまざまな制御装置１０８が並列冗長リンクを利用し、またシステム１００により記憶されるユーザ・データの少なくともいくらかが、少なくとも一組のデータ記憶装置１１０内に冗長フォーマットで記憶されるように、障害許容構成を利用する。

さらに、Ａホスト・コンピュータ１０２およびＡデータ記憶装置アレイ１０４は、第１のサイトに物理的に位置することができ、Ｂホスト・コンピュータ１０２およびＢデータ記憶装置アレイ１０４は、第２のサイトに物理的に位置することができ、Ｃホスト・コンピュータ１０２は、さらに第３のサイトにありうるものと考えるが、これは単に例としてのことであって、このように限定されるわけではない。

図２は、制御装置１０８の選択された１つを詳細に示す。制御装置１０８は、単一集積回路内に具現することができ、または所望するように、いくつかの別個の回路の間に分散させることができる。好ましくは、プログラム可能なコンピュータ・プロセッサであることを特徴とする、関連するキャッシュ１１３を有するメイン・プロセッサ１１２は、（フラッシュ・メモリなどのような）不揮発性メモリ１１４内、およびダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）１１６内に記憶されているプログラミング・ステップおよび処理データに従って、トップレベル制御を行う。

組織インタフェース（Ｉ／Ｆ）回路１１８は、組織１０６を経て他の制御装置１０８およびホスト・コンピュータ１０２と通信し、装置Ｉ／Ｆ回路１２０は、記憶装置１１０と通信する。Ｉ／Ｆ回路１１８、１２０および経路制御装置１２２は、キャッシュ・メモリ１２４の使用によるなどして、記憶装置アレイ１０４とホスト１０２との間に、指令およびデータのための通過通信経路を形成する。それぞれの経路制御装置１２２および対応するＩ／Ｆ回路１１８、１２０は、別個に図示されているが、一体的に構成できることを理解すべきである。（図２に部分的に示されている）バス１２６のような通信リンクは、制御装置１０８Ａ１、１０８Ａ２を接続し、万一の制御装置１０８の障害の場合における障害許容構成を提供する。

図３は、バス１２６による経路制御装置１２２Ａ１、１２２Ａ２のリンキングの方法を示す、システム１００の部分の図である。システム１００は、制御装置１０８Ａ１、１０８Ａ２の一方を、アレイ１０４の動作を処理するためのマスタ制御を行うものとして、また他方の制御装置１０８Ａ１、１０８Ａ２を、マスタ制御装置の万一の障害または使用不可能の場合の冗長制御装置として、指定することができる。その目的のために、制御装置１０８Ａ１は、メモリ空間１２８Ａ１のトップレベル制御を行い、また制御装置１０８Ａ２は、メモリ空間１２８Ａ１とは異なるメモリ空間１２８Ａ２のトップレベル制御を行う。メモリ空間１２８は、ＤＲＡＭ１１６の部分を含むことができる。

メモリ１２８Ａ１は、メモリ１２８Ａ２のマップト・メモリ領域１３０Ａ２内にミラーリングされるマップト・メモリ領域１３０Ａ１を有する。同様にして、マップト・メモリ領域１３０Ａ２は、メモリ１２８Ａ１のマップト・メモリ領域１３０Ａ１内にミラーリングされる。バス１２６と協働するこれらのマップト・メモリ領域１３０Ａ１、１３０Ａ２は、データをマスタ制御装置１０８に局所的に書込む時に、データを冗長制御装置１０８に反射的に書込むためのデータ転送ウィンドウ１３２を画定する。

換言すれば、マップト・メモリ領域１３０Ａ１、１３０Ａ２は、それぞれのメモリ１２８Ａ１、１２８Ａ２の反射メモリ部分であることを特徴とする。例えば、データが制御装置１０８Ａ１により、局所的書込み指令に応答してメモリ１２８Ａ１に書込まれた時は、経路制御装置１２２Ａ１はそのデータを１つまたはそれ以上のパケット内に付随的にパケット化し、そのパケットをデータ転送ウィンドウを通らせ、そのデータを反射メモリ１３０Ａ２内の対応するアドレスに反射的に書込む。同様にして、経路制御装置１２２Ａ２により、局所的書込み指令に応答してメモリ１２８Ａ２に書込まれたデータは、反射メモリ１３０Ａ１に反射的に書込まれる。

アレイ１０４のデータ記憶容量は、与えられたアレイ１０４内のデータ記憶装置１１０のエクステントにより定められる。状態情報は、アレイ１０４に書込むことができ、またアレイ１０４から読取ることができる順序付きデータであり、データ構造およびオブジェクト属性を定める。例えば、状態情報は、論理ディスクの存在および論理ディスクの識別を定めることができる。状態情報はまた、論理ディスクをホストに呈示するための環境を特定することができる。

状態情報は、オブジェクト属性を変更するためのユーザ指令が到着した時には変更される。本発明の実施例は、冗長制御装置１０８に対し、万一のフェイルオーバの場合に、常に変化し続ける状態情報により定められるシステム１００の現在の状態を冗長制御装置１０８に供給するための、高速かつ効率的な装置および関連する方法を意図している。その目的のために、マスタ制御装置１０８は、好ましくは、最新の状態情報に対する冗長制御装置１０８の実質的に即時のアクセスのために、変更された状態情報を非同期的に反射的に書込む。「非同期的に」とは、冗長制御装置１０８からマスタ制御装置１０８へ返送される反射的書込みの受理通知に関連する遅延なしに、変更された状態情報がデータ転送ウィンドウ１３２を通して、関連する反射メモリ１３０に直接記憶されることを意味する。

統一された外部状態内に存在する、この比較的にゆるく結合された構成の多重プロセッサ１１２Ａ１、１１２Ａ２の利点は、万一のフェイルオーバの場合における、現在の状態に対する冗長制御装置１０８の即時のアクセス可能性を含む。これは、フェイルオーバからの回復時に、直ちにシステム１００の強力な再起動を可能にする。例えば、本発明の実施例により実行される実施例は、フェイルオーバに続く１秒未満内でのシステム１００の再起動を支援するように意図されている。

マスタ制御装置１０８が状態情報を更新している間に生じるフェイルオーバは、制御装置１０８の間の安定した状態を不確実なままとしうる。この潜在的問題を解決する１つの方法は、マスタ制御装置１０８によりクラッシュ回復記録を作成し、それを冗長制御装置１０８に反射的に書込むことである。このクラッシュ回復記録は、システム１００の現在の状態に対しての、システム１００による状態情報変更要求に関連する。換言すれば、クラッシュ回復記録は、システム１００による構成変更要求から生じる状態変更を定める記憶データである。クラッシュ回復記録は、制御装置１０８により、現在の状態を損失させ、または不整合とするイベントを矯正するために用いられる。

クラッシュ回復記録は、好ましくは、可能な限りそれが状態回復中になんらかのプロセスを再開するために用いられないように、処方データでなく、結果データのみから成るようにする。このようにして、回復記録は、回復のために知能または意思決定を必要としない。むしろ、クラッシュ回復は、アドレス決定および書込みのような機械的計算のみを含む。

この構成は、回復コードを簡単かつ信頼性の高いものとする。データを書込むべき場所の実際のアドレスは、回復記録内の位置により暗に示すことができ、他の構成物（すなわち、論理装置番号）を参照することにより暗に示すことができ、または、回復記録内の実際のアドレスにより明示することができる。特に有利なのは、これが、回復記録を状態情報のべき等更新（ｉｄｅｍ ｐｏｔｅｎｔ ｕｐｄａｔｉｎｇ）のためのコード内に用いられうるようにし、可能な最も速い回復を保証することである。システム１００内のアドレス特定用の位置は、更新されるべきそれぞれのマップ、テーブルまたは他のデータ構造のための回復記録に書込むことができる。あるいは、論理装置番号および記憶装置格子番号のような回復記録内の情報は、記憶アドレスを発生できる情報を与えることができる。

図４は、本発明の実施例による冗長データ記憶システム１００を動作させる方法１４０における諸ステップを示すフロー・チャートである。システム１００は、最初ブロック１４２において、マスタ制御装置に制御を割り当てる。マスタ制御装置１０８は、どちらか一方の制御装置１０８Ａ１、１０８Ａ２でありえ、それに応じて、冗長制御装置１０８は、他方の制御装置１０８Ａ１、１０８Ａ２となる。説明のため、以下の記述において方法１４０は、制御装置１０８Ａ１をマスタ制御装置と仮定して開始される。

制御装置１０８Ａ１の制御のもとで、システム１００は、ブロック１４４において、通常のデータ転送および操作動作を行う。ブロック１４６においては、システム１００により、割り当て（または割り当て解除）要求またはオブジェクト属性変更などに関連するような、状態情報変更要求が指令されたかどうかが決定される。もしブロック１４６の決定が、ノー（ｎｏ）であれば制御はブロック１４４における通常動作に戻る。そうでなければ、制御はブロック１４８に進み、そこでは制御装置１０８Ａ１が、クラッシュ回復記録を作成し、そのクラッシュ回復記録をメモリ１２８Ａ１内に局所的に書込む。ブロック１５０においては、制御装置１０８Ａ１が、そのクラッシュ回復記録をメモリ１２８Ａ２に非同期的に反射的に書込む。

有効なクラッシュ回復記録を完了した後、制御はブロック１５２に進み、そこでは制御装置１０８Ａ１が、メモリ１２８Ａ１内の状態情報を、状態情報変更要求に従って、一度に１フィールドずつ局所的に変更する。ブロック１５４においては、制御装置１０８Ａ１が、変更された状態情報をメモリ１２８Ａ２に非同期的に反射的に書込む。決定ブロック１５６は、制御装置１０８Ａ１が、変更された状態情報の最後のフィールドを書込み終わったかどうかを確認し、もし書込み終わっていなければ、ブロック１５８において次のフィールドに進み、さらなる変更のために制御をブロック１５２に戻す。そうでなければ、変更された状態情報の完全なセットがメモリ１２８Ａ１に書込まれ、ブロック１６０において、プロセッサ・キャッシュ１１３Ａ２内のアドレスが反射的書込み（状態更新）により影響を受ける限度まで、制御装置１０８Ａ１が、指令をデータ転送ウィンドウ１３２を通過させて冗長制御装置１０８Ａ２のプロセッサ・キャッシュ１１３Ａ２を無効化する。これは、制御装置１０８Ａ１、１０８Ａ２の間の前の状態と現在の状態との間の不一致を解決する。次に、ブロック１６２において、制御装置１０８Ａ１は、クラッシュ回復記録をクリアし、制御はブロック１４４における通常動作に戻る。

ブロック１６４は、制御装置１０８Ａ１、１０８Ａ２の間で動作制御をスイッチするためのスイッチング動作を示す。スイッチングは、システム１００の通常動作１４４中、または状態情報変更要求１４６に関連する状態情報の更新中に行うことができる。図５は、システム１００の制御を制御装置１０８Ａ１から制御装置１０８Ａ２にスイッチする方法の諸ステップを示すフロー・チャートである。図５には示されていないが、スイッチング動作１６４は、同様にして、制御を制御装置１０８Ａ２から制御装置１０８Ａ１にスイッチすることができる。

説明のため、図４のブロック１４２において割り当てたように、方法１６４は、最初ブロック１６６において制御装置１０８Ａ１をマスタ制御を行うものとして認める。決定ブロック１６８は、制御装置１０８Ａ２への制御のスイッチングが、制御装置１０８Ａ１のフェイルオーバ・イベントまたは他の使用不可能の場合におけるように、必要とされているかどうかを確認する。もしスイッチングが必要とされていなければ、制御はブロック１６６へ戻る。

決定ブロック１６８においてシステム１００からスイッチングの指令があると、ブロック１７０において制御装置１０８Ａ２は、メモリ１２８Ａ２内に有効なクラッシュ回復記録が存在するかどうかを決定する。もし存在すれば、ブロック１７２において制御装置１０８Ａ２は、前にブロック１７４においてメモリ１２８Ａ２内に記憶された状態情報を得て、それを前にブロック１７６において記憶されたメモリ１２８Ａ２からのクラッシュ回復記録と組み合わせる。次に、制御はブロック１７８に進み、そこでは制御装置１０８Ａ２が、制御装置１０８の間の状態情報の不一致を、プロセッサ・キャッシュ１１３Ａ１を無効化し、かつ記憶されているクラッシュ回復記録をクリアすることによるなどして解決する。

もしブロック１７０において、有効なクラッシュ回復記録が存在しないことが決定されれば、制御はブロック１８０に進み、そこでは制御装置１０８Ａ２が、ブロック１７４から状態情報を得る。いずれにせよ、制御は次にブロック１８２に進み、次にこのブロックは制御を図４のブロック１４２に進め、そこでは制御装置１０８Ａ２が、アレイ１０４のマスタ制御を行う。

一般に、本発明の実施例は、少なくとも２つの独立した制御装置と、制御をこれらの制御装置の間でスイッチするための手段とを有する記憶装置アレイを含む冗長データ記憶システムを意図している。スイッチするための手段は、制御装置の１つが、クラッシュ回復記録を作成し、状態情報変更要求に関連する状態情報を変更し、かつクラッシュ回復記録および変更された状態情報の両者を他の制御装置に非同期的に反射的に書込むことを特徴とする。スイッチするための手段はまた、制御が実際にスイッチされるかどうかにかかわらず、制御装置の間での状態情報の不一致を解決することを特徴とする。

上述の例は、データ記憶システムの構成に向けてのものである（また、ディスク・ドライブ、ＷＯＲＭドライブ、書込み可能なＣＤ−ＲＯＭ、ＤＶＤ、ＥＰＲＯＭ、半導体ＲＡＭ、およびＥＥＰＲＯＭを含む、しかしこれらに限られるわけではない、任意の媒体を用いた記憶システムに適用することができる）が、本発明の実施例は、ネットワーク・インタフェースおよびグラフィックス・アダプタのような部品および接続構成を含む、コンピュータ・システムの他のハードウェアおよびソフトウェア構成が可能な要素に対し、また、アプリケーション環境の設定、レジスタの設定、パスワードなどのようなソフトウェア構成に対し、適用可能である。例えば、本発明の方法は、もしパスワードが変更されつつある間にクラッシュが起こってパスワードが破損されても、非破損パスワードを書込むために回復記録を用いることができるように、パスワードの設定に適用することができる。従って、システム情報変更要求は、システムの構成情報を更新する任意の要求を含む。

以上の説明においては、本発明のさまざまな実施例の構造および機能の詳細と共に、本発明のさまざまな実施例の多くの特徴および利点を提示したが、この詳細な記述は説明用のものに過ぎず、本発明の原理内において、特に部品の構造および配置につき細部において、添付の特許請求の範囲を記述している用語の広い一般的意味により示される限度まで、変更を行うことができる。例えば、特定の要素は、本発明の精神および範囲から逸脱することなく、特定のデータ記憶装置の構造に依存して変更することができる。

大容量記憶装置を利用した記憶領域ネットワーク（ＳＡＮ）としての特徴を有する冗長データ記憶システムのトップ・レベル機能ブロック図である。（実施例１） 図１の制御装置の選択された１つを示す機能ブロック図である。 図１のシステム内の両制御装置の部分の図である。 本発明の実施例による冗長アレイ記憶システムを動作させる方法を実行するための諸ステップを示すフロー・チャートである。（実施例２） 図４の方法において、制御をスイッチする方法を実行するための諸ステップを示すフロー・チャートである。

符号の説明

１０８Ａ１ 制御装置
１０８Ａ２ 制御装置
１１３Ａ１ プロセッサ・キャッシュ
１１３Ａ２ プロセッサ・キャッシュ
１２８Ａ１ メモリ空間
１２８Ａ２ メモリ空間
１３０Ａ１ マップト・メモリ領域
１３０Ａ２ マップト・メモリ領域
１３２ データ転送ウィンドウ

Claims (5)

1. 第１のメモリ空間のトップレベル制御を行う第１の制御装置と、前記第１のメモリ空間と異なる第２のメモリ空間のトップレベル制御を行う第２の制御装置とを含む冗長データ記憶システムであって、
   状態情報変更要求に応答して、前記第１の制御装置により、状態情報を前記第２のメモリ空間に書込むとともに、前記第２の制御装置のキャッシュブロック内に存在する前記状態情報変更に関連する既存の状態情報を無効化し、前記第２のメモリ空間への状態情報の書込みの受理通知に伴う遅延なしで前記状態情報を前記第２の制御装置に使用可能とさせるようにように構成されている冗長データ記憶システム。
2. 第１の制御装置および第２の制御装置を有する冗長データ記憶システムを動作させる方法であって、
   状態情報変更要求を受けるステップと、
   前記状態情報変更要求を現存の状態に対応付けるクラッシュ回復記録を前記第１の制御装置により生成するステップと、
   前記クラッシュ回復記録の生成の後、前記第１の制御装置のトップレベル制御の下で第１のメモリ空間内において前記状態情報変更要求に従って前記第１の制御装置により前記状態情報を修正するステップと、
   前記第１のメモリ空間とは異なる、前記第２の制御装置のトップレベル制御のもとにある前記第２のメモリ空間に該修正された状態情報および前記クラッシュ回復記録を反射的に書込んで前記第２のメモリ空間への前記修正された状態情報の該書込みの受理通知に伴う遅延なしで前記修正された状態情報を前記第２の制御装置に使用可能とさせるステップと、
   前記第２の制御装置のキャッシュ内に存在する前記状態情報変更要求に関連する現存の状態情報を無効化するステップとを含む方法。
3. 前に前記第２のメモリ空間に書込まれた状態情報を用いることにより、前記冗長記憶システムにおける制御を前記第２の制御装置にスイッチするステップをさらに含む請求項２記載の方法。
4. 前記スイッチするステップは、前に前記第２のメモリ空間に書込まれた状態情報を、前記クラッシュ回復記録と組み合わせるステップを含む請求項３記載の方法。
5. 前記無効化するステップは、前記クラッシュ回復記録をクリアするステップをさらに含む請求項４記載の方法。

Images