JP5396166B2 - 異種レプリケーションエンジンを用いた整合性グループの管理 - Google Patents

Description

本発明は、異種レプリケーションエンジンを使用してストレージシステムを制御する方法、システム及び装置に関する。

災害復旧システムは一般に、２種類の故障、すなわち、ある一時点での突然の壊滅的な故障と、長期間にわたるデータ損失に対応する。２番目のタイプの段階的な災害では、ボリュームへの更新が失われるかもしれない。データ更新の回復を支援するために、データのコピーを遠隔場所に設けてもよい。このような二重又はシャドウコピーは、典型的には、アプリケーションシステムが正ストレージデバイス（primary storage device）に新しいデータを書き込んでいるときに作成される。データのリモートコピーを副サイト（secondary site）に維持するためには、異なるコピー技術が使用され得る（例えばInternational Business Machine Corporation（ＩＢＭ）の拡張遠隔コピー（ＸＲＣ）、結合ＸＲＣ（Coupled XRC）（ＣＸＲＣ）、グローバル・コピー、グローバル・ミラー・コピーなど）。

データミラーリングシステムでは、データはボリュームペアで維持される。ボリュームペアは、正ストレージデバイス（primary storage device）のボリュームと、正ボリューム（primary volume）維持されるデータの同一のコピーを含む副ストレージデバイス（secondary storage device）の対応するボリュームを含む。主及び副ストレージコントローラは、主及び副ストレージデバイスへのアクセスを制御するために使用され得る。特定のデータミラーリングシステムでは、異なるアプリケーションによって異なる正ストレージデバイスに書き込まれた更新が、タイムスタンプとして整合性のある時刻（consistent time-of-day）（ＴＯＤ）の値を使用するように、複数のシステム全体にわたって均一な時間を提供するためにタイマーが使用される。ホストオペレーティングシステム又はアプリケーションは、正ストレージのボリュームにこのようなデータセットを書き込むときに、１つのデータセット又は１組の複数データセットへの更新をタイムスタンプし得る。データ更新の保全性は、正ボリュームへの更新と同じ順序で、ボリュームペアの副ボリュームの更新が行われることを保証することに関連する。アプリケーションプログラムによって提供されるタイムスタンプは、データ更新の論理シーケンスを決定する。

データベースシステムなどの多くのアプリケーションプログラムでは、事前に書き込みが行われていない限り、特定の書き込みを行うことができない。さもなければ、データ保全性が脅かされることになるだろう。保全性が事前のデータ書き込みの発生に依存する、このようなデータ書き込みは、依存書き込み（dependent write）として知られている。すべての書き込みが論理的順序で転送された（すなわち、すべての依存書き込みが、これらに依存している書き込みの前に先に転送された）場合に、主及び副ストレージのボリュームは整合性が取れている。整合性グループは、整合性タイムスタンプ（consistency time stamp）と同じ又はより早いタイムスタンプを有する整合性グループのすべてのデータ書き込みについて整合性のある時間を有する。依存書き込みが、整合性がとれた態様で確保されるように、整合性グループは正ボリュームへの更新の集合である。整合性のある時間とは、副ボリュームへの更新が整合性のあることをシステムが保証する、最新の時間である。整合性グループは、複数のボリュームとストレージデバイスにわたってデータ整合性を維持する。よって、データが副ボリュームから回復された場合、回復されたデータは整合性が取れている。

他のデータミラーリングシステムは、正ボリュームのコピーを提供するために異なるレプリケーション技術を使用する。異なるコピー技術は、異なる方法論とアルゴリズムを使用して整合性グループを形成し得る。アプリケーションが２つのデータミラーリングシステムに格納されたデータを有する場合、両方のシステムが、互いに異なるとともに非互換性であり得る技術の範囲内で、独立して作動すると仮定すると、一方のシステムへの書き込みの、他方のシステムへの書き込みへの依存性は検出されないかもしれない。従って、整合性は、異なるテクノロジーを使用して形成される整合性グループ全体にわたっては維持されないことになる。

上記の理由により、異なるレプリケーション技術全体にわたって整合性グループを管理するための改善された技術が必要とされる。

本発明は、第２ストレージシステムに整合性グループを作成するために、第１及び第２マネージャからコマンドを受信する第１ストレージシステムを制御する技術であって、第１ストレージシステム・主サイト及び第１ストレージシステム・副サイトを含む前記第１ストレージシステムで、ホスト書き込みを受信することと、前記第１ストレージシステムによって、前記第１ストレージシステム・主サイトから前記第１ストレージシステム・副サイトへの前記ホスト書き込みを送信することと、第１マネージャからの第１コマンドの受信に応答して、前記第１ストレージシステムにおけるホスト書き込み操作を休止することと、前記第１ストレージシステムによって、前記ホスト書き込み操作休止の完了に応答して、前記第１マネージャに第１完了メッセージを送信することと、前記第１マネージャからの第２コマンドの受信に応答して、前記第１ストレージシステムにおけるホスト書き込み操作を再開することと、前記第１ストレージシステムによって、前記ホスト書き込み操作の再開に応答して、第２完了メッセージを送信することと、前記第１及び第２ストレージシステムのサイクルを制御するために前記第１及び第２マネージャにコマンドを送信する共通リンクマネージャにより制御されるサイクル番号を示すマーカ付きのランコマンドを、前記第１ストレージシステムによって受信することと、前記第１ストレージシステムによって、前記第１ストレージシステム・主サイトから前記第１ストレージシステム・副サイトへと前記マーカを送信することと、前記第１ストレージシステムによって、前記マーカを第２マネージャに送信することと、前記第１ストレージシステムによって、前記第１ストレージシステム・副サイトに前記ホスト書き込みを適用することと、前記ホスト書き込みの適用を完了した後に、前記第１ストレージシステムによって、前記第１ストレージシステム・副サイトから前記第１ストレージシステム・主サイトに第１メッセージを送信することと、前記第１ストレージシステムによって、前記ホスト書き込みが適用されたという確認が前記第１ストレージシステム・副サイトから受信されたか否かを示す第２メッセージを前記第１マネージャに送信することと、前記第２メッセージを、前記第１マネージャからの第３コマンドの受信に応答して、前記第１マネージャに送信することと、前記第２マネージャからの第４コマンドに応答して、前記第２マネージャに前記マーカを送信することと、前記第２ストレージシステムによって、前記第２マネージャからの第４コマンドに応答して、前記ホスト書き込みを適用することと、前記ホスト書き込みが前記第２ストレージシステムによって適用されたことを示す前記第２メッセージに応答して、前記第１マネージャによって前記マーカを増加させることと、を含む。

他の実施形態では、前記第１ストレージシステムが複数の第１ストレージデバイスを備え、かつ第２ストレージシステムが複数の第２ストレージデバイスを備え、前記第１及び第２ストレージデバイスがそれぞれ、コントローラと記憶ボリュームとを含み、前記第１ストレージデバイスのそれぞれが、前記第１ストレージシステムの操作を実行し、前記第２ストレージデバイスのそれぞれが、前記第２ストレージシステムの操作を実行する。

他の実施形態では、前記第１及び第２ストレージシステムが、各ストレージシステム内の整合性を維持するために異なるレプリケーション方法を実施する。

他の実施形態では、前記第１ストレージシステムによって、前記第２ストレージシステムに前記ホスト書き込みを送信する第１タイミングを決定することと、前記第２ストレージシステムによって、前記第２ストレージシステムに前記ホスト書き込みを送信する第２タイミングを決定することと、を含む。

本発明によれば、異なるレプリケーション技術全体にわたって整合性グループを管理するための改善された技術が提供される。

図１は、コンピューティング環境の一実施形態を示す。 図２は、主及び副コントローラの構成要素の一実施形態を示す。 図３は、主及び副コントローラの構成要素の一実施形態を示す。 図４は、整合性グループを作成するための操作の一実施形態を示す。 図５は、整合性グループを作成するための操作の一実施形態を示す。 図６は、整合性グループを形成するための異なるレプリケーションエンジンの操作の実施形態を示す。 図７は、整合性グループを形成するための異なるレプリケーションエンジンの操作の実施形態を示す。 図８は、整合性グループを形成するための異なるレプリケーションエンジンの操作の実施形態を示す。 図９は、整合性グループを形成するための異なるレプリケーションエンジンの操作の実施形態を示す。 図１０は、整合性グループを形成するための異なるレプリケーションエンジンの操作の実施形態を示す。 図１１は、整合性グループを形成するための異なるレプリケーションエンジンの操作の実施形態を示す。 図１２は、整合性グループを復元するための操作の実施形態を示す。 図１３は、コンピューティング環境の一実施形態を示す。 図１４Ａは、第１ストレージシステムの主サイト及び副サイトのストレージシステムの一実施形態を示す。 図１４Ｂは、第１ストレージシステムの主サイト及び副サイトのストレージシステムの一実施形態を示す。 図１５Ａは、第２ストレージシステムの主サイト及び副サイトのストレージシステムの一実施形態を示す。 図１５Ｂは、第２ストレージシステムの主サイト及び副サイトのストレージシステムの一実施形態を示す。 図１６Ａは、第１ストレージシステムの操作を示す。 図１６Ｂは、第２ストレージシステムの操作を示す。 図１７は、整合性グループを形成するための操作を開始するための第１共通リンケージマネージャの操作の一実施形態を示す。 図１８は、整合性グループを形成するための操作を開始するための第２共通リンケージマネージャの操作の一実施形態を示す。 図１９Ａは、フリーズコマンドを処理するための主サイトにおける第１レプリケーションマネージャの一実施形態を示す。 図１９Ｂは、ランコマンドを処理するための主サイトにおける第１レプリケーションマネージャの一実施形態を示す。 図１９Ｃは、照会コマンドを処理するための主サイトにおける第１レプリケーションマネージャの一実施形態を示す。 図２０Ａは、照会コマンドを処理するための副サイトにおける第１レプリケーションマネージャの一実施形態を示す。 図２０Ｂは、コミットコマンドを処理するための副サイトにおける第１レプリケーションマネージャの一実施形態を示す。 図２１Ａは、フリーズコマンドを処理するための主サイトにおける第２レプリケーションマネージャの一実施形態を示す。 図２１Ｂは、ランコマンドを処理するための主サイトにおける第２レプリケーションマネージャの一実施形態を示す。 図２１Ｃは、照会コマンドを処理するための主サイトにおける第２レプリケーションマネージャの一実施形態を示す。 図２２Ａは、照会コマンドを処理するための副サイトにおける第２レプリケーションマネージャの一実施形態を示す。 図２２Ｂは、コミットコマンドを処理するための副サイトにおける第２レプリケーションマネージャの一実施形態を示す。 図２３は、図１のシステムで使用され得るコンピュータアーキテクチャの一実施形態を示す。

図１は、主マネージャ２ａと副マネージャ２ｂがそれぞれ、共通リンケージマネージャ４ａ、４ｂと、第１レプリケーションマネージャ６ａ、６ｂと、第２レプリケーションマネージャ８ａ、８ｂとを含むコンピューティング環境の実施形態を示す。第１レプリケーションマネージャ６ａ、６ｂ及び第２レプリケーションマネージャ８ａ、８ｂの各々は、共通リンケージ管理部４ａ、４ｂからの一般レプリケーションコマンドを、第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２（図２及び図３）のための特定レプリケーションエンジンコマンド）に変換あるいは翻訳する。第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２は、異なるベンダ又は同じベンダからの異なるレプリケーション技術を実施するレプリケーションエンジンを含む。あるいは、異なるレプリケーションエンジン５０及び５２は、同じレプリケーション方法の異なる実施を提供し得る。マネージャ２ａ及び２ｂは、それぞれベンダ固有ソフトウェア５ａ及び５ｂ（共通リンケージマネージャ４ａの上の層で、共通リンケージマネージャ４ａ、４ｂを呼び出し、かつレプリケーションを管理するリモート管理プログラムである）をさらに含み得る。このようにして、異なるベンダ固有ソフトウェア５a及び５ｂは、レプリケーション操作を実行するために共通リンケージマネージャ４ａ、４ｂを呼び出して、通信することができる。

第１レプリケーションマネージャ６ａ、６ｂは、第１主コントローラ１０ａ及び第１副コントローラ１０ｂ上のレプリケーションエンジン５０のためのレプリケーション操作を制御することができ、第２レプリケーションマネージャ８ａ、８ｂは、第２主コントローラ１２ａ及び第２副コントローラ１２ｂ上のレプリケーションエンジン５２のためのレプリケーション操作を制御することができる。第１主コントローラ１０ａ上のレプリケーションエンジン５０は、第１ソースストレージ１４ａのための変更データを第１ジャーナル１６ａにコピーし、次に、第１ジャーナル１６ａのデータを、第１副コントローラ１２ａによって管理される第１ターゲットストレージ１８ａにコミットする。第２主コントローラ１０ｂ上のレプリケーションエンジン５２は、第２ソースストレージ１４ｂのための変更データを第２ジャーナル１６ｂにコピーし、次に、第２ジャーナル１６ｂのデータを、第２ターゲットストレージ１８ｂにコミットする。

図１に示される構成要素の１つ以上の例があり得る。

異なるレプリケーションエンジン技術は、まだコミットされていない変更データをバッファするために異なる技術を使用し得る。例えば、いくつかのレプリケーション技術は、更新をバッファするためにジャーナルを使用し、他方では、データがコミットされる前に更新を維持するために他の技術を使用する（例えばストレージにまだコミットされていない更新データの「フラッシュコピー」を作成するなど）。

ネットワーク２０は、マネージャ２ａ、２ｂ、主コントローラ１０ａ、１０ｂ、副コントローラ１２ａ、１２ｂ、及びジャーナル１６ａ、１６ｂの間の通信を可能にする。ネットワーク２０は、ストレージエリアネットワーク（ＳＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、インターネット、ワイドエリアネットワーク（ＷＡＮ）、ピアツーピアネットワーク、無線ネットワーク、アービトレート型ループネットワークなどを含み得る。さらに、マネージャ２ａと２ｂとコントローラ１０ａ、１０ｂ、１２ａ、１２ｂとの間に異なるネットワークが存在し得る。

マネージャ２ａ、２ｂ及びコントローラ１０ａ、１０ｂ、１２ａ、１２ｂは、当技術分野で周知の適切な計算装置（例えば、サーバ、エンタープライズストレージサーバなど）を含み得る。ストレージ１４ａ、１４ｂ、１８ａ、１８ｂは、例えば、相互連結したハードディスクドライブ（Redundant Array of Independent Disks（ＲＡＩＤ））、Just a Bunch of Disks（ＪＢＯＤ）、直接アクセス記憶装置（ＤＡＳＤ）、ループ構成で連結したディスク（直列ループ）、ファイバチャネル調停ループ）、シングルストレージデバイス、テープライブラリ、光学ライブラリ、Network Attached Storage（ＮＡＳ）などの複数の記憶装置を含むストレージシステムなどの、当技術分野で周知のストレージシステムで実装され得る。

ジャーナル１６ａ、１６ｂは、別個の中間コンピュータシステム内に実装されてもよく、あるいは、それぞれ第１副コントローラ１０ｂ及び第２副コントローラ１２ｂ内に実装されてもよい。

２つのレプリケーションマネージャだけが示されているが、マネージャシステム２ａ、２ｂには３つ以上のレプリケーションマネージャが存在してもよい。さらに、共通のポイントインタイムにおける共通の整合性グループを形成するために、一緒に作動する多重主及び副コントローラが存在してもよい。

図２は、第１主コントローラ１０ａ及び第１副コントローラ１０ｂ上の構成要素（第１レプリケーションエンジン５０、及び整合性インターバルレプリケーション方法によって第１ジャーナル１６にコピーされる必要がある１つの整合性グループ内の第１ソースストレージ１４ａのボリュームへの更新を示すコピー情報５４（例えば同期していないビットマップ）を含む）の一実施形態を示す。

図３は、第２主コントローラ１２ａ及び第２副コントローラ１２ｂ上の構成要素（第２レプリケーションエンジン５２、及び形成する整合性グループのポイントインタイムを示す整合性グループポイントインタイム５６を含む）の一実施形態を示す。第２レプリケーションエンジン５２は、第２ジャーナル１６ｂに更新を継続して送信するタイムスタンプレプリケーション方法を実施し得るが、しかし、ポイントインタイム５６時点で整合性が取れている第２ジャーナル１６ｂの更新のみが、第２ターゲットストレージ１８ｂにコミットされる。

図４は、整合性グループを形成するために、共通リンケージマネージャ４ａ、第１レプリケーションマネージャ６ａ及び第２レプリケーションマネージャ８ａ、並びに第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２によって実行される操作の一実施形態を示す。共通リンケージマネージャ２ａは、整合性グループを形成するために操作を開始し（ブロック１００）、整合性グループの準備をするために、第１レプリケーションマネージャ６ａ及び第２レプリケーションマネージャ８ａに準備コマンドを発行する（ブロック１０１）。一般準備コマンドの受信に応答して、第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２は、ポイントインタイムにおける第１及び第２整合性グループを作成するために、第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２それぞれに、第１及び第２レプリケーションエンジン特定コマンド（first and second replication engine specific commands）を発行する（ブロック１０２ａと１０２ｂ）。第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２は、異なるレプリケーション方法を用いて整合性グループを作成し、異なるベンダ特定プログラミングインタフェースを使用し得る。特定のレプリケーションエンジンは、共通リンケージマネージャ２ａ、２ｂからの特定の一般レプリケーション要求に応答して、動作を実行しなくてもよい。

第１及び第２レプリケーションエンジン特定整合性グループ作成コマンド（the first and second replication engine specific consistency group forming commands）に応答して、第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２は、決定された整合性グループポイントインタイムにおける整合性が取れている、第１ソースストレージ１４ａ及び第２ソースストレージ１４ｂへの更新の第１及び第２整合性グループをそれぞれ形成する（ブロック１０３ａと１０３ｂ）。レプリケーションエンジン５０及び５２は、非常に異なるベンダ特定技術を使用する整合性グループを形成し得る。

次にレプリケーションエンジン５０及び５２は、整合性グループの準備が完了したと共通リンケージマネージャ４ａに通知する（ブロック１０４ａと１０４ｂ）。レプリケーションエンジン５０及び５２からの通知の受信に応答して、共通リンケージマネージャ４ａは、第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２に対して一般ランコマンドを発行する（ブロック１０５）。共通リンケージマネージャ４ａからランコマンドを受信すると、レプリケーションエンジン５０及び５２は、第１及び第２整合性グループ内のデータを第１ジャーナル１６ａ及び第２ジャーナル１６ｂそれぞれに伝送し得る（ブロック１０６ａと１０６ｂ）。共通リンケージマネージャ４ａは、コミット可能状態及びコミット操作を実行するために、図５のブロック１１０で操作を開始する（ブロック１０７）。コミットとは独立して、共通リンケージマネージャ４は、別の整合性グループを形成する準備ができているとき、次の整合性グループを形成するためにブロック１００に戻る（ブロック１０８）。

図５に関して、共通リンケージマネージャ４ａは、第１及び第２整合性グループのすべてのデータが第１ジャーナル１６ａ及び第２ジャーナル１６ｂでジャーナルされたか否かを判断するために、第１レプリケーションマネージャ６ａ及び第２レプリケーションマネージャ８ａに一般照会を発行し得る（ブロック１１０）。この照会に応答して、第１レプリケーションマネージャ６ａ及び第２レプリケーションマネージャ８ａは、第１及び第２整合性グループ内のデータが第１ジャーナル１６ａ及び第２ジャーナル１６ｂそれぞれにあるか否かを判断するために、すなわち、整合性グループ内のすべてのデータがジャーナルされたと判断するために、第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２とそれぞれ通信する（又はこれらから受信する）ことができる（ブロック１１２ａと１１２ｂ）。

第１レプリケーションマネージャ６ａ及び第２レプリケーションマネージャ８ａは、第１及び第２整合性グループ内のデータがそれぞれ第１ジャーナル１６ａ及び第２ジャーナル１６ｂにあるとの判断に応答して、第１及び第２ジャーナル完了メッセージを共通リンケージマネージャ４ａに伝える（ブロック１１４ａと１１４ｂ）。第１及び第２ジャーナル完了メッセージを受信すると（ブロック１１６）、共通リンケージマネージャ４ａは、第１レプリケーションマネージャ６ａ及び第２レプリケーションマネージャ８ａに一般コミットコマンドを発行する。コミットコマンドの受信に応答して、第１レプリケーションマネージャ６ａ及び第２レプリケーションマネージャ８ａは、第１ジャーナル１６ａ及び第２ジャーナル１６ｂの第１及び第２整合性グループ内のデータをそれぞれ、第１ターゲットストレージ１８ａ及び第２ターゲットストレージ１８ｂそれぞれにコミットするために、第１レプリケーションエンジン５０及び第２レプリケーションエンジン５４（又は副共通リンケージマネージャ）にコマンドを発行する（ブロック１１８ａと１１８ｂ）。レプリケーションエンジン５０及び５４は、ジャーナル１６ａ及び１６ｂにデータをコミットするために異なる技術を使用し得る。第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２それぞれからのコミット完了の受信に応答して、第１レプリケーションマネージャ６ａ及び第２レプリケーションマネージャ８ａは、コミット完了を共通リンケージマネージャ４ａに戻す（ブロック１２０ａと１２０ｂ）。コミット要求が伝えられたすべてのレプリケーションマネージャ６ａ、８ａからコミット完了を受信すると（ブロック１２２）、共通リンケージマネージャ４ａは、後続の整合性グループを作成するために図４のブロック１００に戻り得る。

上述の実施形態では、レプリケーションベンダ（replication vendors）は、共通リンケージマネージャ４ａ、４ｂから一般レプリケーションエンジンコマンドを受信し、次に、ベンダ特定レプリケーションエンジンにおいて要求された一般レプリケーションエンジンコマンドを実行するために必要な対応するベンダ特定レプリケーションエンジンコマンドを実施し得る、ベンダ特定レプリケーションマネージャを提供することによって、そのレプリケーションエンジンを異種レプリケーションエンジン環境に統合させ得る。

一実施形態では、共通リンケージマネージャ４ａ、４ｂは、新しい整合性グループを作成するためにフリーズ及びランコマンドを発行し得る。このような実施形態では、フリーズ及びランコマンドは、図４に関して説明される一般整合性グループ準備及び作成操作に対応する。図６、図７、図８は、フリーズ及びランコマンドを使用する準備及び作成レプリケーションコマンドを実施するために第１レプリケーションマネージャ６ａによって実行される操作の一実施形態を示す。一般準備及び作成コマンドは、フリーズ及びランとは異なるコマンドで実施され得る。

図６に関して、第１レプリケーションマネージャ６ａは、第１ソースストレージ１４ａのボリュームが新しい整合性グループ内に存在するように、共通リンケージマネージャ４ａからフリーズコマンドを受信する（ブロック１５０）。フリーズコマンドは、一般整合税グループ形成準備コマンドに対応する。フリーズコマンドに応答して、第１レプリケーションマネージャ６ａは、形成されている整合性グループのボリュームへのＩ／Ｏを休止するために、第１レプリケーションエンジン５０にフリーズコマンドを送信し（ブロック１５２）、第１ソースストレージ１４ａボリュームからターゲットストレージにコピーするためにＩ／Ｏが休止されたときに、ポイントインタイムにおけるボリュームのコピー情報５４を作成し、かつフリーズがフリーズポイントインタイムで完了したというメッセージを第１レプリケーションマネージャに送信する。第１レプリケーションマネージャ６ａは、共通リンケージマネージャ４ａにフリーズポイントインタイム及びフリーズ完了を戻すことができ（ブロック１５４）、その場合、フリーズポイントインタイムは、形成する整合性グループのポイントインタイムである。

共通リンケージマネージャ４ａは、第１レプリケーションマネージャ６ａにランコマンドを発行する（ブロック１５６）。これに応答して、第１レプリケーションマネージャ６ａは、コピー情報５６に示されるソースボリュームデータ（例えば同期していないビットマップ）を第１ジャーナル１６ａにコピーするために、第１レプリケーションエンジン５０にランコマンドを送信する（ブロック１５８）。コピー情報５６のすべてのデータ（すなわち形成されている整合性グループのデータ）が第１ジャーナル１６ａでジャーナルされたときに、第１レプリケーションエンジン６ａは、ジャーナリング完了（journaled complete）を戻すことができる。

図７に関して、第１レプリケーションマネージャ６ａは、共通リンケージマネージャ４ａから一般照会コマンドを受信する（ブロック１８０）。第１レプリケーションマネージャ６ａが、第１整合性グループのすべてのデータがジャーナルされたという確認を第１レプリケーションエンジン５０から受信すると（ブロック１８２）、第１レプリケーションマネージャ６ａは、第１整合性グループがジャーナルされたというメッセージを共通リンケージマネージャ４ａに戻す（ブロック１８４）。そうでない場合、第１レプリケーションマネージャ６ａは、第１レプリケーションエンジン５０が、第１整合性グループがジャーナルされたという確認を戻すのを待つ（ブロック１８６）。他の実施形態では、第１レプリケーションマネージャ６ａは、第１整合性グループのすべての示されたデータがジャーナルされたか否かを判断するために、第１レプリケーションエンジン５０に活発に照会を行い、情報５４をコピーし得る。

図８に関して、第１レプリケーションマネージャ６ａは、共通リンケージマネージャ４ａから一般コミットコマンドを受信する（ブロック２００）。これに応答して、第１レプリケーションエンジン５０に、第１ジャーナル１６ａの第１整合性グループの仮想コピー（例えばFlashCopyR）を第１ターゲットストレージ１８ａに作成させるために、第１レプリケーションマネージャ６ａは、第１のレプリケーションエンジン５０にコマンドを送信する（ブロック２０２）。（FlashCopyは、米国と外国におけるInternational Business Machines, Corp.の登録商標である。）仮想コピー又はFlashCopyは、コピー関係にあるトラックを示すビットマップを維持する。仮想コピー関係５４で示される第１ジャーナル１６ａのトラックを更新する試みがなされると、仮想コピーのポイントインタイムにおけるトラックのデータは、新しいデータで更新される前に、第１ターゲットストレージ１８ａにコピーされる。第１レプリケーションエンジン６ａは、仮想コピー関係にあるデータを示すために使用される仮想コピーデータ構造の作成に応答して、仮想コピーが完了したというメッセージを、第１レプリケーションマネージャ６ａに送信する（ブロック２０４）。次に、第１レプリケーションマネージャ６ａは、第１レプリケーションエンジン６ａからの仮想コピー完了メッセージの受信に応答して、共通リンケージマネージャ４ａにコミット完了を戻す（ブロック２０６）。

図６、図７及び図８で説明された実施形態では、第１レプリケーションマネージャ６ａは、共通リンケージマネージャ４ａ一般レプリケーションコマンド（例えば準備コマンド）を、整合性インターバルレプリケーション方法を実施するベンダ特定レプリケーションエンジンコマンドに変換あるいは翻訳する。この実施形態では、第１レプリケーションエンジンは、「ジャーナル」がコミットされるまで、再び準備することが可能な状態であることを示さない。

図９、図１０及び図１１は、特定のタイムスタンプレプリケーション方法のために、共通リンケージマネージャ４ａ、４ｂからの一般レプリケーションコマンドを実施するために、第２レプリケーションマネージャ８ａによって実行される操作の一実施形態を示す。図９に関して、第２レプリケーションマネージャ８ａは、第２ソースストレージ１４ｂのボリュームが第２整合性グループ内に存在するように、共通リンケージマネージャ４ａから一般準備コマンドを受信する（ブロック２３０）。これに応答して、第２レプリケーションマネージャ８ａは、フリーズコマンドの時間から、又は共通リンケージマネージャ４ａに照会することによって、フリーズポイントインタイム（整合性グループポイントインタイム）を得るために、特定フリーズコマンドを発行する（ブロック２３２）。この時点では、第２レプリケーションマネージャ８ａは、第２レプリケーションエンジン５２のためにフリーズコマンドを実行するための特定の操作を行わない。第２レプリケーションエンジン５２は、第２ソースストレージ１４ｂのための整合性グループのデータを第２ジャーナル１６ｂに時間系列順のデータのタイムスタンプを付けてコピーし続ける（ブロック２３４）。よって、第２ジャーナル１６ｂは、決定されたポイントインタイムにおける第２整合性グループ内のデータ、及び形成されている整合性グループについてのポイントインタイムを超えるタイムスタンプを有するデータをジャーナルしているかもしれない。

他の実施形態では、第２レプリケーションエンジン５２は、共通リンケージマネージャ４ａからの作成（又は準備/フリーズ）コマンドが該当しない場合、その作成（又は準備／フリーズ）コマンドを無視し得る。

図１０に関して、第２レプリケーションマネージャ８ａは、共通リンケージマネージャ４ａから一般照会コマンドを受信する（ブロック２５０）。第２レプリケーションマネージャ８ａが、第２ジャーナル１６ｂが整合性グループ（フリーズ）ポイントインタイムを超えるタイムスタンプを有するデータをジャーナルしたと判断した場合（ブロック２５２）、第２整合性グループのためにジャーナルすべきデータがもはや存在せず、第２レプリケーションマネージャ８ａは、第２整合性グループが第２ジャーナル１６ｂにジャーナルされたというメッセージを共通リンケージマネージャ４ａに戻す（ブロック２５４）。第２レプリケーションマネージャ８ａが、第２整合性グループのすべてのデータが第２ジャーナル１６ｂにジャーナルされたと判断していない場合は（ブロック２５２）、第２レプリケーションマネージャ８ａは、第２整合性グループがいつジャーナルされたかをチェックし続ける。

図１１に関して、第２レプリケーションマネージャ８ａは、共通リンケージマネージャ４ａから一般コミットコマンドを受信する（ブロック２７０）。これに応答して、第２レプリケーションマネージャ８ａは、第２レプリケーションエンジン５２に、第２整合性グループのポイントインタイムにおける第２ジャーナル１６ｂのデータを第２ターゲットストレージ１８ｂにコピーさせるために、第２レプリケーションエンジン５２にコマンドを送信する（ブロック２７２）。第２ジャーナル１６ｂからのコミットを完了すると、第２レプリケーションエンジン５２は、第２レプリケーションマネージャ８ａに対して、整合性グループのポイントインタイムにおける第２ジャーナル１６ｂのデータがコミットされたというメッセージを送信する（ブロック２７４）。これに応答して、第２レプリケーションマネージャ８ａは、共通リンケージマネージャ４ａにコミット完了を戻す（ブロック２７６）。

図９、図１０、図１１で説明された実施形態では、第２レプリケーションマネージャ８ａは、共通リンケージマネージャ４ａ一般レプリケーションコマンドを、タイムスタンプレプリケーション方法を実施するベンダ特定レプリケーションエンジンコマンドに変換あるいは翻訳する。

上述の実施形態では、異なるレプリケーション方法を使用する複数のベンダ特定レプリケーションエンジン全体にわたって共通の整合性グループ制御を提供することによって、共通リンケージマネージャ４ａ、４ｂ及びレプリケーションマネージャ６ａ、６ｂ、８ａ、８ｂは、異なるレプリケーション技術を使用する複数の異種レプリケーションエンジン全体にわたって整合性グループを形成することができる。これによって、消費者は、統合されたストレージ環境で異種レプリケーションエンジンを配備し、かつ共通ポイントインタイムにおいて整合性が取れている整合性グループを提供するために異種レプリケーションエンジンを利用することができる。

図１２は、共通のポイントインタイムを有する第１ターゲットストレージ１８ａ及び第２ターゲットストレージ１８ｂのデータの整合性グループを、対応する第１ソースストレージ１４ａ及び第２ソースストレージ１４ｂに復元するための復元操作を共通リンケージマネージャ４ａ、４ｂが実行するための操作の一実施形態を示す。副共通リンケージマネージャ４ｂは、第１ターゲットストレージ１８ａ及び第２ターゲットストレージ１８ｂに維持されている整合性グループの復元ポイントインタイムを有する第１レプリケーションマネージャ６ｂ及び第２レプリケーションマネージャ８ｂに復元コマンドを送信する（ブロック３００）。復元コマンドに応答して、副マネージャ２ｂにおける第１レプリケーションマネージャ６ｂ及び第２レプリケーションマネージャ８ｂは、第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２に、共通ポイントインタイムを有する第１及び第２整合性グループ内のデータを第１ジャーナル１６ａ及び第２ジャーナル１６ｂにコピーさせるために、第１副コントローラ１０ｂ及び第２副コントローラ１２ｂに実装される第１レプリケーションエンジン５０及び第２レプリケーションエンジン５２それぞれに、ベンダ特定レプリケーションエンジンコマンドを送信する（ブロック３０２）。次に、第１レプリケーションマネージャ６ｂ及び第２レプリケーションマネージャ８ｂは、第１ジャーナル１６ａ及び第２ジャーナル１６ｂからのデータを第１ソースストレージ１４ａ及び第２ソースストレージ１４ｂにコミットするために、それぞれのレプリケーションエンジン５０及び５２を制御し得る（ブロック３０４）。

一実施形態では、主構成要素１０ａ、１２ａ、２ａに故障がある場合に、主サイトから副サイトへのフェイルオーバーが実行され得る。このような場合、副構成要素２ａ、１０ｂ、１２ｂは、主サイトがダウンしている間にアプリケーションＩ／Ｏを受信し得る。主サイトが回復すると、副サイトにおいて形成される最新の整合性グループに正ストレージ１４、１４ｂを復元するために、復元操作が実行され得る。

図１３、図１４、図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７、図１８、図１９Ａ、図１９Ｂ、図１９Ｃ、図２０Ａ、図２０Ｂ、図２１Ａ、図２１Ｂ、図２１Ｃ、図２２Ａ、図２２Ｂは、主サイト及び副サイトにおける複数の異種レプリケーションストレージシステム全体にわたって整合性を維持するための操作の他の実施形態を示す。

図１３は、図１のコンピューティング環境の別の実施形態を示す。主マネージャ２ａと副マネージャ２ｂはそれぞれ、図１に示されるのと同じ構成要素を含む。図１の第１レプリケーションマネージャ６ａは第１主サイト・ストレージシステム２０ａに結合することができ、図１の第２レプリケーションマネージャ８ａは第２主サイト・ストレージシステム２１ａに結合することができる。第１主サイト・ストレージシステム２０ａは、１つのグループを形成する複数の第１主サイト・ストレージデバイス（ＦＰＳＤ１、ＦＰＳＤ２、・・・ＦＰＳＤｎ）２２ａ、２２ｂ・・・２２ｎを含む。第２主サイト・ストレージシステム２１ａは、１つのグループを形成する複数の第２主サイト・ストレージデバイス（ＳＰＳＤ１、ＳＰＳＤ２、・・・ＳＰＳＤｎ）２３ａ、２３ｂ・・・２３ｎを含む。図１の第１レプリケーションマネージャ６ｂは第１副サイト・ストレージシステム２０ｂに結合することができ、図１の第２レプリケーションマネージャ８ｂは第２副サイト・ストレージシステム２１ｂに結合することできる。第１副サイト・ストレージシステム２０ｂは、１つのグループを形成する複数の第１副サイト・ストレージデバイス（ＦＳＳＤ１、ＦＳＳＤ２、・・・ＦＳＳＤｎ）２４ａ、２４ｂ・・・２４ｎを含む。第２副サイト・ストレージシステム２１ｂは、１つのグループを形成する複数の第２副サイト・ストレージデバイス（ＳＳＳＤ１、ＳＳＳＤ２、・・・ＳＳＳＤｎ）２５ａ、２５ｂ・・・２５ｎを含む。第１主サイト・ストレージシステム２０ａと第１副サイト・ストレージシステム２０ｂは、対応するボリュームを有し、各々がペアを形成する。

第２主サイト・ストレージシステム２１aと第２副サイト・ストレージシステム２１ｂも、対応するボリュームを有し、各々がペアを形成する。主サイトと副サイトの間では、２つのシステムがグループ内で整合性を保つために異なるリモートコピー方法を使用するが、複数のグループの間で整合性を維持して、データレプリケーションが実行される。たとえ第１ストレージシステム２０ａ、２０ｂが共通リンケージマネージャによって制御されない場合でも、第１ストレージシステム２０ａ、２０ｂは、ホストから書き込みデータを受信し、ビットマップを使用して副リモートサイトにデータを送信し、かつ１つのボリュームからのデータを副サイトの別のボリュームに適用することによる、１回のサイクルを実施し得る。一方、共通リンケージマネージャによって制御されない場合には、第２ストレージシステム２１ａ、２１ｂは、主サイトと副サイトで異なるサイクルを実行し得る。このようにして、第１ストレージシステム２０ａ、２０ｂは、１回のサイクルで１世代のみを有するかもしれず、そして、共通リンケージマネージャによる位相制御なしで、異なるシステムが独立して操作される場合は、第２ストレージシステム２１ａ、２１ｂは、１回のサイクルで多数の世代を混合し得る。

図１４Ａは、第１主サイト・ストレージデバイス（ＦＰＳＤ）２２（例えば、図１３のＦＰＳＤ２２ａ、２２ｂ・・・２２ｎのうちの１つ）の構成要素を示す。各第１主サイト・ストレージデバイス（ＦＰＳＤ）２２は、ストレージコントローラ（ＣＴＬＦａ）２６ａとストレージボリューム３０とを含む。第１主サイト・ストレージデバイス（ＦＰＳＤ）２２の操作を制御するストレージコントローラ（ＣＴＬＦａ）２６ａは、メモリ（ＭＥＭＦａ）２７ａと、メモリ２７aに格納されたプログラムを実行するためのプロセッサ（ＰＲＣＦａ）２８ａと、２つのビットマップ３１、３２とを含む。メモリＭＥＭＦａ２７ａは、プログラム、制御情報、及びキャッシュ用の読み込み／書き込みデータを格納する。ストレージボリューム３０は、複数のディスクドライブ（例えばハードディスクドライブ（ＨＤＤ））から構成され得る。

図１４Ｂは、第１副サイト・ストレージデバイス（ＦＳＳＤ）２４（例えば図１３のＦＳＳＤ２４ａ、２４ｂ・・・２４ｎのうちの１つ）の構成要素を示す。各第１副サイト・ストレージデバイス（ＦＳＳＤ）２４は、ストレージコントローラ（ＣＴＬＦｂ）２６ｂとストレージボリューム３３、３４とを含み得る。第１副サイト・ストレージデバイス（ＦＳＳＤ）２４の操作を制御するストレージコントローラ（ＣＴＬＦｂ）２６ｂは、メモリ（ＭＥＭＦｂ）２７ｂと、メモリ２７ｂに格納されるプログラムを実行するためのプロセッサ（ＰＲＣＦｂ）２８ｂとを含む。メモリ（ＭＥＭＦｂ）２７ｂは、プログラム、制御情報、及びキャッシュ用の読み込み／書き込みデータを格納する。ストレージボリューム３３、３４は、複数のディスクドライブ（例えばハードディスク装置（ＨＤＤ））から構成され得る。ストレージボリューム３０、３４はホストからアクセス可能であり、ストレージボリューム３３は、主サイトからデータを受信するために使用され得る。

図１５Ａは、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３（例えば図１３のＳＰＳＤ２３ａ、２３ｂ・・・２３ｎのうちの１つ）の構成要素を示す。各第２主サイト・ストレージデバイス（ＳＰＳＤ）２３は、ストレージコントローラ（ＣＴＬＳａ）２９ａとストレージボリューム３５、３６とを含む。第２主サイト・ストレージデバイス（ＳＰＳＤ）２３の操作を制御するストレージコントローラＣＴＬＳａ２９ａは、メモリＭＥＭＳａ３９ａと、プログラムを実行するためのプロセッサＰＲＣＳａ４０ａとを含む。メモリＭＥＭＳａ３９ａは、プログラム、制御情報、及びキャッシュ用の読み込み／書き込みデータを格納する。ストレージボリューム３５、３６は、複数のディスクドライブ（例えばＨＤＤ）から構成され得る。

図１５Ｂは、第２副サイト・ストレージデバイス（ＳＳＳＤ）２５（例えば図１３のＳＳＳＤ２５ａ、２５ｂ・・・２５ｎのうちの１つ）の構成要素を示す。各第２副サイト・ストレージデバイス（ＳＳＳＤ）２５は、ストレージコントローラＣＴＬＦｂ２９ｂと、ストレージボリューム３７、３８とを含む。第２副サイト・ストレージデバイス（ＳＳＳＤ）２５の操作を制御するストレージコントローラＣＴＬＦｂ２９ｂは、メモリＭＥＭＦｂ３９ｂと、メモリ３９ｂに格納されるプログラムを実行するためのプロセッサＰＲＣＦｂ４０ｂとを含む。メモリＭＥＭＳｂ３９ｂは、プログラム、制御情報、及びキャッシュ用の読み込み／書き込みデータを格納する。ストレージボリューム３７、３８は、複数のディスクドライブ（例えばＨＤＤ）から構成され得る。ストレージボリューム３５、３８は、ホストからのアクセスのために使用することができ、ストレージボリューム３６、３７は、主サイトから副サイトへのデータを送受信するために使用され得る。

図１６Ａは、主サイトの第１主サイト・ストレージデバイス（ＦＰＳＤ）２２ａ、２２ｂ・・・２２ｎと、副サイトの第１副サイト・ストレージデバイス（ＦＳＳＤ）２４ａ、２４ｂ・・・２４ｎとの、各ペアの操作流れを示す。第１主サイト・ストレージデバイス（ＦＰＳＤ）２４ａ、２４ｂ・・・２４ｎは、ホストから書き込みデータ（ＷＲ）を受信し（ブロック９００）、そのストレージボリューム３０（図１４Ａ）にデータを格納する。ビットマップ３１（ＢＭ１）は、この書き込みを記録する（ブロック９００）。書き込みデータは副サイトに送信され、ビットマップ３１（ＢＭ１）の対応するビットはクリアされる（ブロック９００）。副サイトでは、第１副サイト・ストレージデバイス（ＦＳＳＤ）２４ａ、２４ｂ・・・２４ｎは、主サイトから送信される書き込みデータ（ＷＲ）を受信し（ブロック９１０）、ストレージボリューム３３（図１４Ｂ）に書き込みデータを格納する。第１主サイト・ストレージデバイス（ＦＰＳＤ）２２ａ、２２ｂ・・・２２ｎからの書き込みデータ送信操作、及び第１副サイト・ストレージデバイス（ＦＳＳＤ）２４ａ、２４ｂ・・・２４ｎ上のストレージボリューム３３へのデータ受信及び格納操作が、システムの負荷に依存して継続される間、ホストからの書き込み（ＷＲ）は、第１レプリケーションマネージャ６ａからのフリーズコマンドに応答して休止され（ブロック９０１）、ＦＰＳＤ２２ａ、２２ｂ・・・.２２ｎのビットマップ３２（ＢＭ２）（図１４Ａ）が起動される。ビットマップ３２（ＢＭ２）が起動された後で、第１主サイト・ストレージデバイス（ＦＰＳＤ）２２ａ、２２ｂ・・・２２ｎは、第１レプリケーションマネージャ６ａ（ＰＦＲＭ）にフリーズ完了通知を送信する（ブロック９０１）。この完了通知によって、共通リンケージマネージャ４ａは、すべての第１主サイト・ストレージデバイス（ＦＰＳＤ１、ＦＰＳＤ２、・・・ ＦＰＳＤｎ）２２ａ、２２ｂ・・・２２ｎ及び第２主サイト・ストレージデバイス（ＳＰＳＤ１、ＳＰＳＤ２、・・・ ＳＰＳＤｎ）２３ａ、２３ｂ・・・２３ｎが、フリーズコマンドに応答して操作を終了し、次の操作の準備ができているか否かを判断することができる（ブロック９０１）。

次に（ブロック９０２）、第１主サイト・ストレージデバイス（ＦＰＳＤ）２２ａ、２２ｂ・・・２２ｎは、第１レプリケーションマネージャ６ａ（ＰＦＲＭ）からマーカ付きのランコマンド（Run command）を受信する。マーカは、該当データを含むサイクル（世代）を示す情報を含む。マーカは、通し番号を含み得る。サイクル番号とは、共通リンケージマネージャ４ａ、４ｂが制御したサイクルをカウントした参照番号である。マーカは、２つのストレージシステム（例えばレプリケーションマネージャ）のサイクルを制御するために使用される通し番号を含み得る。このコマンドに応答して（ブロック９０２）、ホストからの書き込み操作（ＷＲ）が再開され、書き込みは今度はビットマップ３１（ＢＭ１）の代わりにビットマップ３２（ＢＭ２）に記録される。第１主サイト・ストレージデバイス（ＦＰＳＤ）２２ａ、２２ｂ・・・２２ｎは、ホストが再開された後で、第１レプリケーションマネージャ６ａ（ＰＦＲＭ）にラン完了通知を送信し（ブロック９０２）、次に、第１主サイト・ストレージデバイス（ＦＰＳＤ）２２ａ、２２ｂ・・・２２ｎは、ビットマップ３１（ＢＭ１）がクリアされるのを待つ（ブロック９０２）が、これは、ホスト書き込みが休止される前に受信されたすべての書き込みデータが副サイトに送信されていることを意味する。

マーカはサイクル番号の情報を有するが、これは、第１レプリケーションマネージャ６ａ（ＰＦＲＭ）から受信され、主サイトから副サイトに送信される（ブロック９０２）。第１副サイト・ストレージデバイス（ＦＳＳＤ）２４ａ、２４・・・２４ｎのプロセッサ２６ｂ（図１４Ｂ）は、マーカの受信に応答して主サイトに確認を戻し（ブロック９１１）、第１主サイト・ストレージデバイス（ＦＰＳＤ）は、この確認を受信する（ブロック９０３）。第２ストレージシステム２１ａ、２１ｂと、他方の第１副サイト・ストレージデバイス（ＦＳＳＤ）２４ａ、２４ｂ・・・２４ｎとの間の整合性を維持するために、第１副サイト・ストレージデバイス（ＦＳＳＤ）２４ａ、２４ｂ・・・２４ｎは、ストレージボリューム３３からのデータをストレージボリューム３４に適用するために、第１レプリケーションマネージャ６ｂ（ＳＦＲＭ）からのコミットコマンドを待つ。このようにして、第１レプリケーションマネージャ６ｂからのコミットコマンドに応答して、第１副サイト・ストレージデバイス（ＦＳＳＤ）２４ａ、２４ｂ・・・２４ｎは、ストレージボリューム３３のデータをストレージボリューム３４にコピーする（ブロック９１２）。コピーが完了した後で、完了通知が主サイト（ブロック９１２）に送信されて（ブロック９１２）、第１主サイト・ストレージデバイス（ＦＰＳＤ）２２ａ、２２ｂ・・・２２ｎは、２つのビットマップ３１、３２（ＢＭ１、ＢＭ２）（図１４Ａ）をマージし（ブロック９０４）、サイクルを終了する（ＣＹＣＥＮＤ）。これらの操作（ＣＹＣＳＴからＣＹＣＥＮＤまで）は、通常のシステム操作の間に連続して継続される。

本実施形態では、第１ストレージシステム２０ａは、主サイトにおける２つのビットマップと１つのストレージボリュームとを使用する。第１ストレージシステム２０ｂは、副サイトにおける２つのストレージボリュームを使用するが、ビットマップの代わりに２つのキャッシュスロット又はストレージボリューム（例えば主サイトで使用されるような）を使用してもよく、又は副サイトにおいて主サイトからのデータを受信するためのストレージボリューム３３、３４の代わりに２つのビットマップを使用してもよい。

図１６Ｂは、主サイトの第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎと、副サイトの第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎとの、各ペアの操作流れを示す。第２ストレージシステム２１ａ、２１ｂは、１回のサイクルでは作動しない。これは複数サイクル（ＡＣＴ１、ＡＣＴ２、ＡＣＴ３）を有し、これらは独立して、かつ並行して作動できる。ＡＣＴ１では、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎは、ホストから書き込みデータ（ＷＲ）を受信し、ストレージボリューム３５にこのデータを格納する。ホストから受信した書き込みデータ（ＷＲ）を含むジャーナルデータと、順番又は書き込みに関する情報（例えば時間情報又は通し番号）は、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎのプロセッサ２９ａに制御されているストレージボリューム３６に格納される（ブロック９５０）。第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎに結合されたホストがメインフレームタイプである場合は、ホストから受信する書き込みデータに付加されるタイムスタンプは、時間情報のために使用され得る。第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎに結合されたホストがオープンシステムタイプである場合は、時間情報はホストからの書き込みデータに付加されないかもしれず、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎの内部のタイマーが、時間情報を提供するために使用され得る。

セカンドレプリケーションマネージャ８ａ（ＰＳＲＭ）からのフリーズコマンドに応答して、ホストからの書き込みが休止される（ブロック９５１）。ホストが休止された後で（ブロック９５１）、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎのコントローラＣＴＬＳａ２９ａは、第２レプリケーションマネージャ８ａ（ＰＳＲＭ）にフリーズ完了通知を送信する。共通リンケージマネージャ４ａ（ＰＦＲＭ）は、第１主サイト・ストレージデバイス（ＦＰＳＤ１、ＦＰＳＤ２、・・・ ＦＰＳＤｎ）２２ａ、２２ｂ・・・２２ｎ及び第２主サイト・ストレージデバイス（ＳＰＳＤ１、ＳＰＳＤ２、・・・ ＳＰＳＤｎ）２３ａ、２３ｂ・・・２３ｎのすべてがフリーズコマンドに応答して操作を終了し、次の操作の準備ができているか否かを判断することができる（ブロック９５１）。

次に、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎは、第２レプリケーションマネージャ８ａ（ＳＦＲＭ）からのマーカ付きのランコマンドを受信する（ブロック９５２）。このコマンドに応答して、ホストからの書き込み操作が再開され、第２レプリケーションマネージャ８ａ（ＰＳＲＭ）から受信されたマーカがストレージボリューム３６に格納される（ブロック９５２）。マーカは、他のジャーナルデータとしての形態を調節するために修正され得る。次に、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３a、２３ｂ・・・２３ｎは、第２レプリケーションマネージャ８ａ（ＰＳＲＭ）にラン完了通知を送信する（ブロック９５２）。ＡＣＴ１（９５０、９５１、９５２）の操作は、システム操作の間に連続して継続され得る。ＡＣＴ２では、第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎは、主サイトの対応する第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎに読取コマンドを発行する（ブロック９７０）。読取コマンドは、他の操作（ＡＣＴ１、ＡＣＴ３）から独立して定期的に実行される。タイムラップは、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎの負荷に応じて修正され得る。読取コマンドに応答して、第２主サイトデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎは、ストレージボリューム３６（図１５Ａ）のジャーナルデータと、第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎへのマーカを、副サイトに伝送する（ブロック９６０）。

第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎは、主サイトから受信したジャーナルデータを第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎのストレージボリューム３７（図１５Ｂ）に格納する（ブロック９７１）。マーカも、第２主サイト・ストレージデバイス２３ａ、２３ｂ・・・２３ｎ（ＳＰＳＤ）のストレージボリューム３６から読み出され、第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎのストレージボリューム３７に格納され得る。ＡＣＴ２（９７０、９６０、９７１）の操作は、システム操作の間に連続して継続され得る。

ＡＣＴ３では、第２レプリケーションマネージャ８ｂ（ＳＳＲＭ）からのコミットコマンドに応答して、第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎは、ジャーナルデータが形成されたときに書き込みデータに付加された時間情報又は通し番号を使用するジャーナルの順番で、ストレージボリューム３７内のジャーナルデータをストレージボリューム３８（図１５Ｂ）に適用し得る（ブロック９８）。ストレージボリューム３７のジャーナルデータは、マーカ（第２レプリケーションマネージャ８ｂ（ＳＳＲＭ）から受信されたマーカに一致する）を含むジャーナルデータが処理されるまで、ストレージボリューム３８に適用される。ストレージボリューム３７は、両方のボリュームのジャーナルデータが連続データレプリケーションのために使用できるように、ストレージボリューム３６として時間関連情報を含み得るが、ストレージボリューム３８は、ボリューム３５の場合のように、書き込みデータのみを有するように修正され得る（ブロック９８０）。第１ストレージシステム２０ａ、２０ｂと、他方の第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎとの間の整合性を維持するために、第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎは、ストレージボリューム３７からのデータをストレージボリューム３８に適用するために、第２レプリケーションマネージャ８ｂ（ＳＳＲＭ）からのコミットコマンドを待つ。適用操作が完了された後で、第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎは、主サイトに完了通知を送信する（ブロック９８０）。第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎは、適用完了通知を受信する（ブロック９９０）。ＡＣＴ３（９８０、９９０）の操作は、システムがオンの間、連続して継続される。

図１７は、副サイトにおけるレプリケーションマネージャ６ｂ及び８ｂを制御するために共通リンケージマネージャ４ａによって実行される操作を示す。共通リンケージマネージャ４ａが整合性グループを形成するために操作を開始すると（ブロック４００）、共通リンケージマネージャ４ａはマーカを初期化する（ブロック４０２）。共通リンケージマネージャ４ａはマーカを増加させ（ブロック４０６）、主サイトの第１レプリケーションマネージャ６ａ及び第２レプリケーションマネージャ８ａにフリーズコマンドマーカを発行する（ブロック４０８）。共通リンケージマネージャ４ａは、第１レプリケーションマネージャ６ａ及び第２レプリケーションマネージャ８ａからのフリーズコマンドへの応答を待ち（ブロック４１０）、そして応答を受信すると、第１レプリケーションマネージャ６ａ及び第２レプリケーションマネージャ８ａに対してマーカ付きのランコマンドを発行する（ブロック４１２）。ストレージシステムのフリーズコマンドに応答してホスト操作を休止し、かつストレージシステムへのマーカを実施することにより、使用されるストレージシステムは、ホストからの同じ時間情報を有さないメインフレームタイプ又はオープンタイプのいずれであってもよい。なぜならば、ストレージシステムがマーカを用いて共通位相（common phase）を実現できるからである。共通リンケージマネージャ４ａは、次の整合性グループを形成するための許可について照会を行うために、第１及び第２レプリケーションマネージャに照会コマンドを発行する（ブロック４１４）。すべてのレプリケーションマネージャ６ａ及び８ａが次の整合性グループを形成する許可をもって応じる場合は、ブロック４０６に戻って制御は進み、次の整合性グループを形成する。そうでない場合、許可が与えられなければ、ブロック４１２に戻って制御は進み、両方のレプリケーションマネージャ６ａ及び８ａが次の整合性グループを形成するための許可をもって応じるのを待つ。

図１８は、副サイトのレプリケーションマネージャ６ｂ及び８ｂを制御するために共通リンケージマネージャ４ｂによって実行される操作の一実施形態を示す。副共通リンケージマネージャ４ｂが整合性グループをコミットするための操作を開始すると（ブロック４５０）、共通リンケージマネージャ４ｂは、各第１副サイト・ストレージデバイス（ＦＳＳＤ）２４ａ、２４ｂ・・・２４ｎ及び各第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎからの最新マーカについて照会するために、第１レプリケーションマネージャ６ｂ及び第２レプリケーションマネージャ８ｂに対して、照会コマンドを発行する（ブロック４５２）。共通リンケージマネージャ４ｂは、第１レプリケーションマネージャ６ｂ及び第２レプリケーションマネージャ８ｂから最新マーカを受信するのを待ち（ブロック４５４）、複数の最新マーカの中の最小マーカを決定する（ブロック４５６）。最小マーカが変わった場合は（ブロック４５８）、共通リンケージマネージャ４ｂは、第１レプリケーションマネージャ６ｂ及び第２レプリケーションマネージャ８ｂに対して、最小マーカ付きのコミットコマンドを発行する（ブロック４６０）。そうでない場合、最小マーカが変わっていなければ（ブロック４５８）、ブロック４５０へ戻って制御は進む。さらに、コミットコマンドを発行した後に（ブロック４６０）、共通リンケージマネージャ４ｂはブロック４５０に戻る。

図１９Ａは、共通リンケージマネージャ４ａからのフリーズコマンドを処理するために、主サイトの第１レプリケーションマネージャ６ａによって実行される操作の一実施形態を示す。主サイトの第１のレプリケーションマネージャ６ａが共通リンケージマネージャ４ａからのフリーズコマンドを受信すると（ブロック５００）、第１レプリケーションマネージャ６ａは、第１主サイト・ストレージデバイス（ＦＰＳＤ）２２ａ、２２ｂ・・・２２ｎの各コントローラＣＴＬＦａ２６ａにフリーズコマンドを送信する（ブロック５０２）。このコマンドに応答して、コントローラＣＴＬＦａ２６ａは、ソースストレージ３０のボリュームへのＩ／Ｏを休止し、そして、フリーズがフリーズポイントインタイムで完了したというメッセージを第１レプリケーションマネージャ６ａに送信する。第１レプリケーションマネージャ６ａは、すべてのフリーズ完了メッセージが第１レプリケーションマネージャ６ａによって受信された後に、共通リンケージマネージャ４ａにフリーズ完了メッセージを戻す（ブロック５０４）。

図１９Ｂは、共通リンケージマネージャ４ａからのランコマンドを処理するために、主サイトの第１レプリケーションマネージャ６ａによって実行される操作の一実施形態を示す。主サイトの第１レプリケーションマネージャ６ａが共通リンケージマネージャ４ａからのマーカ付きのランコマンドを受信すると（ブロック５３０）、第１レプリケーションマネージャ６ａは、ボリュームへのＩ／Ｏの休止及びソースストレージ３０におけるホストＩ／Ｏ操作の再開を行わないように、第１主サイト・ストレージデバイス（ＦＰＳＤ）２６ａ、２６ｂ・・・２６ｎにコマンドを送信する（ブロック５３２）。第１レプリケーションマネージャ６ａは、すべてのラン完了メッセージが第１レプリケーションマネージャ６ａによって受信された後で、共通リンケージマネージャ４ａにラン完了を戻す（ブロック５３４）。

図１９Ｃは、共通リンケージマネージャ４ａからの照会コマンドを処理するために、主サイトの第１レプリケーションマネージャ６ａによって実行される操作の一実施形態を示す。共通リンケージマネージャ４ａから照会コマンドを受信すると（ブロック５５０）、主サイトの第１レプリケーションマネージャ６ａは、前の整合性グループ（がコミットしたか否かに関する情報を得るために、各第１主サイト・ストレージデバイス（ＦＰＳＤ）２６ａ、２６ｂ・・・２６ｎに照会コマンドを送信する（ブロック５５２）。各第１主サイト・ストレージデバイス（ＦＰＳＤ）２６ａ、２６ｂ・・・２６ｎが、ブロック９１２で示されるように副サイトからコピー完了を受信し、かつブロック９０４で２つのビットマップ（ＢＭ１、ＢＭ２）３１、３２（図１４Ａ）をマージした場合は、各第１主サイト・ストレージデバイス（ＦＰＳＤ）２６ａ、２６ｂ・・・２６ｎは、グループがコミットされたことの確認を戻し、また、２つのビットマップ３１、３２をマージしなかった場合は、グループがコミットされなかったことを戻し、あるいは、ブロック９０４で２つのビットマップ（ＢＭ１、ＢＭ２）をマージするまで、応答を戻さない。第１のレプリケーションマネージャ６ａは、すべての第１主サイト・ストレージデバイス（ＦＰＳＤ）２２ａ、２２ｂ・・・２２ｎからのコミット及び照会完了の収集された結果を、共通リンケージマネージャ４ａに戻す（ブロック５５４）。よって、すべての第１主サイト・ストレージデバイス（ＦＰＳＤ１、ＦＰＳＤ２、・・・ＦＰＳＤｎ）２２ａ、２２ｂ・・・２２ｎがコミットされない限り、第１レプリケーションマネージャ６ａは、前の整合性グループがコミットされていないということを、共通リンケージマネージャに戻す。

図２０Ａは、共通リンケージマネージャ４ｂからの照会コマンドを処理するために、副サイトの第１レプリケーションマネージャ６ａによって実行される操作の一実施形態を示す。副サイトの第１レプリケーションマネージャ６ｂが共通リンケージマネージャ４ｂからの照会コマンドを受信すると（ブロック６００）、副サイトの第１レプリケーションマネージャ６ｂは、既に伝送されたコピー情報に関連した最大マーカ値を得るために、第１副サイト・ストレージデバイス（ＦＳＳＤ）２４ａ、２４ｂ・・・２４ｎに照会コマンドを送信する（ブロック６０２）。第１副サイト・ストレージデバイス（ＦＳＳＤ１、ＦＳＳＤ２、・・・ＦＳＳＤｎ）２４ａ、２４ｂ・・・２４ｎはそれぞれ、第１レプリケーションマネージャ６ｂからのこの照会コマンドに応答して最大マーカ値を返信する。第１ストレージシステム２０ａ、２０ｂが１回のサイクルで操作されるので、各第１副サイト・ストレージデバイス（ＦＳＳＤ）２４ａ、２４ｂ・・・２４ｎには１つのマーカ値だけが存在する。第１レプリケーションマネージャ６ｂは、すべての第１副サイト・ストレージデバイス（ＦＳＳＤ、ＦＳＳＤ２、・・・、ＦＳＳＤｎ）２４ａ、２４ｂ・・・２４ｎから受信された複数の最大マーカの中の最小マーカと照会完了とを、共通リンケージマネージャ４ｂに戻す（ブロック６０４）。

図２０Ｂは、共通リンケージマネージャ４ｂからのコミットコマンドを処理するために、副サイトの第１レプリケーションマネージャ６ｂによって実行される操作の一実施形態を示す。副サイトの第１のレプリケーションマネージャ６ｂが共通リンケージマネージャ４ｂからコミットコマンドを受信すると（ブロック６３０）、第１レプリケーションマネージャ６ｂは、ストレージボリューム３３からストレージボリューム３４への仮想コピーを作成するために、第１副サイト・ストレージデバイス（ＦＳＳＤ）２４ａ、２４ｂ・・・２４ｎにコマンドを送信する（ブロック６３２）。このコピーは、FlashCopyを使用して実行され得る。第１レプリケーションマネージャ６ｂは、次に、すべてのコミット完了メッセージが第１レプリケーションマネージャ６ｂによって受信された後で、共通リンケージマネージャにコミット完了を戻す（ブロック６３４）。

図２１Ａは、共通リンケージマネージャ４ａからのフリーズコマンドを処理するために、主サイトの第２レプリケーションマネージャ８ａによって実行される操作の一実施形態を示す。主サイトの第２レプリケーションマネージャ８ａが共通リンケージマネージャ４ａからフリーズコマンドを受信すると（ブロック６５０）、第２レプリケーションマネージャ８ａは、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎにフリーズコマンドを送信する（ブロック６５２）。フリーズコマンドに応答して、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎは、ソースストレージ３５（図１５Ａ）のボリュームへのＩ／Ｏを休止し、そして、フリーズがフリーズポイントインタイムで完了したというメッセージを第２レプリケーションマネージャ８ａに送信する。第２レプリケーションマネージャ８ａは、すべてのフリーズ完了メッセージが第２レプリケーションマネージャ８ａによって受信された後で、共通リンケージマネージャ４ａにフリーズ完了を戻す（ブロック６５４）。

図２１Ｂは、共通リンケージマネージャ４ａからのマーカ付きのランコマンドを処理するために、主サイトの第２レプリケーションマネージャ８ａによって実行される操作の一実施形態を示す。主サイトの第２レプリケーションマネージャ８ａが共通リンケージマネージャ４ａからマーカ付きのランコマンドを受信すると（ブロック６８０）、第２レプリケーションマネージャ８ａは、ボリュームへのＩ／Ｏを休止及びソースストレージ３５（図１５Ａ）におけるホストＩ／Ｏ操作の再開を行わないように、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎにコマンドを送信する（ブロック６８２）。第２レプリケーションマネージャ８ａは、すべてのラン完了メッセージが第２レプリケーションマネージャ６ａによって受信された後で、共通リンケージマネージャ４ａにラン完了を戻す（ブロック６８４）。

図２１Ｃは、共通リンケージマネージャ４ａからの照会コマンドを処理するために、主サイトの第２レプリケーションマネージャ８ａによって実行される操作の一実施形態を示す。共通リンケージマネージャ４ａからの照会コマンドを受信すると（ブロック６９０）、主サイトの第２レプリケーションマネージャ８ａは、前の整合性グループがコミットしたか否かに関する情報を得るために、第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎに照会コマンドを送信する（ブロック６９２）。各第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎが、ブロック９９０（図１６Ｂ）で示されるように副サイトから適用完了（Apply complete）を受信した場合は、各第２主サイト・ストレージデバイス（ＳＰＳＤ）２３ａ、２３ｂ・・・２３ｎは、該当グループがコミットされたことを戻し、また、副サイトからコピー完了を受信していない場合は、グループがコミットされていないことを戻し、あるいは、副サイトから完了メッセージを受信するまでは、応答を戻さない。第２レプリケーションマネージャ８ａは、コミット及び照会完了の収集された結果を、共通リンケージマネージャ４ａに戻す（ブロック６９２）。よって、すべての第２主サイト・ストレージデバイス（ＳＰＳＤ、ＳＰＳＤ２、・・・、ＳＰＳＤｎ）２３ａ、２３ｂ・・・２３ｎがコミットされない限り、第２レプリケーションマネージャ８ａは、前の整合性グループがコミットされていないことを、共通リンケージマネージャに戻す。

図２２Ａは、共通リンケージマネージャ４ｂからの照会コマンドを処理するために、副サイトの第２レプリケーションマネージャ８ｂによって実行される操作の一実施形態を示す。副サイトの第２レプリケーションマネージャ８ｂが共通リンケージマネージャ４ｂからの照会コマンドを受信すると（ブロック７００）、副サイトの第２レプリケーションマネージャ８ｂは、既に伝送されたコピー情報に関連した最大マーカ値を得るために、第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎに照会コマンドを送信する（ブロック７０２）。第２副サイト・ストレージデバイス（ＳＳＳＤ１、ＳＳＳＤ２、・・・、ＳＳＳＤｎ）２５ａ、２５ｂ・・・２５ｎはそれぞれ、第２レプリケーションマネージャ８ｂからのこの照会コマンドに応答して最大マーカ値を返信する。ＡＣＴ１、ＡＣＴ２、ＡＣＴ３が独立したループであるため、第２ストレージシステム２１ａ、２１ｂは、システム内に複数の世代を可能にする。よって、複数のマーカが、各第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎ内に存在し得る。特定の実施形態では、第１ストレージシステム２０ａ、２０ｂが１回のサイクルで作動し、かつ第１及び第２レプリケーションマネージャからの主サイト及び副サイト各々からのコマンドが、共通レプリケーションマネージャによってリンクされるため、本実施形態では、各第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎには１つのマーカだけが存在することになる。ＡＣＴ１、ＡＣＴ２、ＡＣＴ３が、異なるサイクルを有するストレージシステムを接続する共通リンケージマネージャによってリンクされない場合、すなわち、システムがそれ自体単独で機能する場合、ＡＣＴ１、ＡＣＴ２、ＡＣＴ３は、独立したループを含み得る。異種レプリケーションシステムの両方が１回のサイクルで作動せず、かつシステム内に多数のループを有する場合、各第２副サイト・ストレージデバイス（ＳＳＳＤ１、ＳＳＳＤ２、・・・ ＳＳＳＤｎ）２５ａ、２５ｂ・・・２５ｎに複数のマーカが存在し得る。第２レプリケーションマネージャ８ｂは、すべての第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎによって受信された複数の最大マーカの中の最小マーカ及び照会完了を、共通リンケージマネージャ４ｂに戻す（ブロック７０４）。共通リンケージマネージャは、第２ストレージシステム２１ａ、２１ｂがデータをストレージボリューム３８に適用する準備ができた時点を決定するために、最小マーカと照会完了通知を使用する。

図２２Ｂは、共通リンケージマネージャ４ｂからのコミットコマンドを処理するために、副サイトの第２レプリケーションマネージャ８ｂによって実行される操作の一実施形態を示す。副サイトの第２レプリケーションマネージャ６ｂが共通リンケージマネージャ４ｂからマーカ付きコミットコマンドを受信すると（ブロック７３０）、コミットコマンドと共に受信されたマーカと同じ価値を有するマーカを含むジャーナルデータが処理されるまでストレージボリューム３７をストレージボリューム３８に適用するために、第２レプリケーションマネージャ８ｂは、第２副サイト・ストレージデバイス（ＳＳＳＤ）２５ａ、２５ｂ・・・２５ｎにマーカ付きコミットコマンドを送信する（ブロック７３２）。これによって、２つの異種レプリケーションシステムの間の整合性を維持することができる。本実施形態では、第１ストレージシステム２０ａ、２０ｂが１回のサイクルで作動するので、第２ストレージシステム２１ａ、２１ｂも、１回のサイクルとして作動するように、共通リンケージマネージャによって制御され得る。よって、ジャーナルデータには１つのマーカだけが存在し得るが、それは、ホストが休止される前の最新時間情報を有する最新のジャーナルデータとなる。第２レプリケーションマネージャ８ｂは、すべてのコミット完了メッセージが第２レプリケーションマネージャ８ｂによって受信された後で、共通リンケージマネージャ４ｂにコミット完了を戻す（ブロック７３４）。

本実施形態では、マーカはランコマンドに応答して実施される。しかし、特定の実施形態では、マーカが第１ストレージシステムと第２ストレージシステムとで同じタイミングサイクルで実施される場合は、マーカはランコマンドに応答して実施される必要がなく、その代わりに、フリーズコマンドに応答して実施され得る。さらに、マーカ値は、主マネージャからのフリーズコマンド及びランコマンドの両方と共に送信されてもよく、マーカ値が一致した後で、当該マーカ値をインストールし得る。マーカ値が一致しない場合は、レプリケーションマネージャにエラーメッセージが送信され得る。マーカ値の２倍のマーカを送信することによって、マーカが受信されたという追加の保証を提供する。

特定の実施形態では、位相はホストのレプリケーションマネージャによって制御されるので、各ストレージシステム内の主サイト及び副サイトにおけるストレージデバイスは、各システム内の整合性を維持することを要求されない。各ストレージシステム内のすべてのストレージデバイスは同等であってもよく、またストレージシステム内の複数のストレージデバイスの間でマスタ／スレーブ関係がなくてもよい。上述の実施形態はさらに、複数のストレージシステム内の複数のストレージデバイスの間でマスタ／スレーブ関係を有するストレージシステムにも適用できる。各サイトのストレージシステム内のスレーブストレージデバイスを制御するマスタストレージデバイスがある場合には、レプリケーションマネージャはマスタストレージデバイスのみと通信し、マスタストレージデバイスはスレーブストレージデバイスにコマンド及び照会を送信し、レプリケーションマネージャにすべてのストレージデバイスの代表的メッセージを返信する。

上述の実施形態では、主サイト及び副サイトの共通リンケージマネージャによってリンクされる２つのレプリケーションマネージャを通して複数のストレージシステムの位相を制御することによって、異なるレプリケーション方法を有する複数のストレージシステムの間の整合性が維持される。これにより、コンピューティング環境のより高い信頼性が可能となる。なぜならば、異種システムは同種システムと比較して比較的より高い信頼性を有するからである。上述の実施形態では、より多くの世代を有するシステムは、１つの世代サイクルを有するシステムとして作動するように修正される必要はない。例えば、２つの異種システムが各システム内に複数の世代を有する場合、これらのシステムは、１回のサイクルで複数の世代を可能にすることによって作動し、その一方で、位相は、１回のサイクルで最も少ない数の世代を有するシステムによって制御される。

上述の実施形態では、異なるレプリケーション方法を使用する複数のベンダ特定レプリケーションエンジン全体にわたって共通の整合性グループタイムスタンプを提供することによって、共通リンケージマネージャ４ａ、４ｂ及びレプリケーションマネージャ６ａ、６ｂ、８ａ、８ｂは、異なるレプリケーション技術を使用する複数のベンダ特定レプリケーションエンジン全体にわたって整合性グループを形成することができる。これによって、消費者は、統合されたストレージ環境で異種レプリケーションエンジンを配備すること、及び、共通ポイントインタイムにおいて整合性が取れている整合性グループを提供するため、そして異なるレプリケーション技術及び方法を使用し得るレプリケーションエンジンによって形成された整合性グループにデータを復元するために、異種レプリケーションエンジンを利用することが可能となる。

追加の実施形態の詳細
上述の操作は、ソフトウェア、ファームウェア、ハードウェア、又はこれらのあらゆる組合せを製造するための標準的プログラミング及び／又はエンジニアリング技術を使用する方法、装置、又は製品として実施され得る。上述の操作は、「コンピュータ可読媒体」で維持されるコードとして実施され得るが、この場合、プロセッサがコンピュータ可読媒体からコードを読み取り、かつ実行し得る。コンピュータ可読媒体は、磁気記憶媒体（例えばハードディスクドライブ、フロッピーディスク、テープなど）、光記憶装置（ＣＤ−ＲＯＭ、ＤＶＤ、光ディスクなど）、揮発性及び不揮発性メモリ装置（例えばＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、ファームウェア、プログラム可能論理など）などの媒体を含み得る。上述の操作を実施するコードはさらに、ハードウェアデバイス（例えば集積回路チップ、プログラマブルゲートアレイ（ＰＧＡ）、特定用途向けＩＣ（ＡＳＩＣ）など）に実装されたハードウェア論理で実施され得る。またさらに、上述の操作を実施するコードは、「伝送信号」で実施され得るが、この場合、伝送信号は、空間を通して、又は伝送媒体（例えば光ファイバ、銅線など）を通して伝播し得る。コード又は論理が符号化された伝送信号は、無線信号、衛星通信、電波、赤外線信号、ブルートゥースなどをさらに含み得る。コード又は論理が符号化された伝送信号は、伝送ステーションによって伝送され、かつ受信ステーションによって受信されることができるが、この場合、伝送信号に符号化されたコード又は論理は復号化され、かつ受信及び伝送ステーション又はデバイスにおけるハードウェア又はコンピュータ可読媒体に格納され得る。「製品」は、コードが実施され（implemented）得るコンピュータ可読媒体、ハードウェア論理、及び／又は伝送信号を含む。操作について説明した実施形態を実施するコードが符号化されるデバイスは、コンピュータ可読媒体又はハードウェア論理を含み得る。当然のことながら、当業者には明らかなように、本発明の範囲から逸脱することなく、この構成に多くの修正を行うことができ、上記製品は、当技術分野で周知の、適切な情報を有する媒体を含み得る。

主構成要素（例えばリンケージマネージャ４ａ、レプリケーションマネージャ６ａ、８ａなど）に関して説明した操作は、対応する副構成要素によって実行され得る。

図２３は、図１のマネージャ２ａ、２ｂ及びコントローラ１０ａ、１０ｂ、１２ａ、１２ｂのために実現され得るコンピュータアーキテクチャ８００の１つのインプリメンテーションを示す。アーキテクチャ８００は、プロセッサ８０２（例えばマイクロプロセッサ）と、メモリ８０４（例えば揮発性メモリ装置）と、ストレージ８０６（例えば不揮発性ストレージ（例えば磁気ディスクドライブ、光ディスクドライブ、テープ装置など））とを含み得る。ストレージ８０６は、内部ストレージデバイス、又は付加されたもしくはネットワークアクセス可能なストレージを備え得る。ストレージ８０６のプログラム（オペレーティングシステム８０８、デバイスドライバ及びアプリケーションプログラムを含む）は、メモリ８０４にロードされ、当技術分野で周知の態様でプロセッサ８０２によって実行される。アーキテクチャは、ネットワークとの通信を可能にするためのネットワークカード８１０をさらに含む。入力装置８１２は、ユーザ入力をプロセッサ８１２に提供するために使用され、キーボード、マウス、ペン・スタイラス（pen-stylus）、マイク、接触感応性スクリーン（touch sensitive display screen）、又は当技術分野で周知のその他あらゆる起動又は入力メカニズムを含み得る。出力装置８１４は、プロセッサ８１２又はその他の構成要素（例えば表示モニタ、プリンタ、ストレージなど）から伝送される情報をレンダリングすることができる。

「ある実施形態」、「実施形態」、「複数の実施形態」、「前記実施形態」、「前記複数の実施形態」、「１つ以上の実施形態」、「いくつかの実施形態」、及び「一実施形態」という用語は、別段の明示的な特定がなされない限り、「本発明の１つ以上の（但し、すべてでない）実施形態」を意味する。

「を含む」、「を備える」、「を有する」、及びそのバリエーションの用語は、別段の明示的な特定がなされない限り、「を含むがそれに限定されない」ということを意味する。

項目を列挙したリストは、別段の明示的な特定がなされない限り、項目のいずれか又はすべてが互いに排他的であることを意味しない。

「a」、「an」、「the」の語は、別段の明示的な特定がなされない限り、「１つ以上」を意味する。

要素の変数を表すために使用されるときの変数「ｎ」は、要素の事例のあらゆる数を示すことができ、そして、異なる要素で使用された場合、又は同じ要素の異なる事例で使用された場合に、異なる整数を示し得る。

互いに通信する装置は、別段の明示的な特定がなされない限り、互いに連続して通信する必要はない。さらに、互いに通信する装置は、１つ以上の仲介（intermediaries）を通して直接的又は間接的に通信し得る。

互いに通信するいくつかの構成要素を有する実施形態の説明は、すべてのこのような構成要素が必要とされることを意味しない。逆に、本発明の幅広い種類の可能性がある実施形態を示すために、様々なオプションの構成要素が説明されている。

さらに、プロセスステップ、方法ステップ、アルゴリズムなどが連続した順序で記述され得るが、このようなプロセス、方法、アルゴリズムは交互の順番で作用するように構成され得る。言い換えると、記述され得るあらゆるステップのシーケンス又は順序は、ステップがその順序で実行されなければならないという要件を必ずしも示すわけではない。本明細書で説明されているプロセスのステップは、実際的にあらゆる順序で実行され得る。さらに、いくつかのステップは同時に実行され得る。

１つの装置又は製品が本明細書で説明されるとき、１つの装置／製品の代わりに複数の装置／製品（それらが協動するか否かに拘わらず）を使用できることは明らかである。同様に、複数の装置又は製品が本明細書で説明される場合（協動するか否かに拘わらず）、複数の装置又は製品の代わりに１つの装置／製品を使用することができ、又は示された数の装置又はプログラムの代わりに、異なる数の装置／製品を使用することができることは明らかである。装置の機能性及び／又は特徴は、このような機能性／特徴を有すると明示的に説明されていない１つ以上の他の装置によって、その他の態様で具現化され得る。よって、本発明の他の実施形態は、装置自体を含む必要はない。

図４で示される操作は、特定の順序で起こる特定のイベントを示す。別の実施形態では、特定の操作は異なる順序で実行され、修正され、又は除去され得る。さらに、上述された論理にステップを追加することができるが、当該ステップは、依然として上述の実施形態に一致し得る。さらに、本明細書で説明された操作は連続して生じるかもしれず、又は、特定の操作は並行に処理され得る。またさらに、操作は１つの処理装置によって、又は複数の分散処理装置によって実行され得る。

本発明の様々な実施形態についての前述の説明は、例示と説明のために提示された。これは、網羅的（exhaustive）であること、又は本発明を開示された正確な形態に制限することを意図したものでない。上記教示を踏まえて、多くの修正及び変更が可能である。本発明の範囲は、この詳細な説明によってではなく、本明細書に添付された請求の範囲によって制限されることが意図されている。上記の明細書、実施例、及びデータは、本発明の構成の製造と使用についての完全な説明を提供する。本発明の精神及び範囲から逸脱することなく、本発明の多くの実施形態をなすことができるため、本発明は本明細書に添付される請求の範囲に存在する。

Claims (14)

1. 第２ストレージシステムに整合性グループを作成するために、第１及び第２マネージャからコマンドを受信する第１ストレージシステムを制御する方法であって、
   第１ストレージシステム・主サイト及び第１ストレージシステム・副サイトを含む前記第１ストレージシステムで、ホスト書き込みを受信することと、
   前記第１ストレージシステムによって、前記第１ストレージシステム・主サイトから前記第１ストレージシステム・副サイトへの前記ホスト書き込みを送信することと、
   第１マネージャからの第１コマンドの受信に応答して、前記第１ストレージシステムにおけるホスト書き込み操作を休止することと、
   前記第１ストレージシステムによって、前記ホスト書き込み操作休止の完了に応答して、前記第１マネージャに第１完了メッセージを送信することと、
   前記第１マネージャからの第２コマンドの受信に応答して、前記第１ストレージシステムにおけるホスト書き込み操作を再開することと、
   前記第１ストレージシステムによって、前記ホスト書き込み操作の再開に応答して、第２完了メッセージを送信することと、
   前記第１及び第２ストレージシステムのサイクルを制御するために前記第１及び第２マネージャにコマンドを送信する共通リンクマネージャにより制御されたサイクルをカウントするカウント番号を示すマーカ付きのランコマンドを、前記第１ストレージシステムによって受信することと、
   前記第１ストレージシステムによって、前記第１ストレージシステム・主サイトから前記第１ストレージシステム・副サイトへと前記マーカを送信することと、
   前記第１ストレージシステムによって、前記マーカを第２マネージャに送信することと、
   前記第１ストレージシステムによって、前記第１ストレージシステム・副サイトに前記ホスト書き込みを適用することと、
   前記ホスト書き込みの適用を完了した後に、前記第１ストレージシステムによって、前記第１ストレージシステム・副サイトから前記第１ストレージシステム・主サイトに第１メッセージを送信することと、
   前記第１ストレージシステムによって、前記ホスト書き込みが適用されたという確認が前記第１ストレージシステム・副サイトから受信されたか否かを示す第２メッセージを前記第１マネージャに送信することと、
   前記第２メッセージを、前記第１マネージャからの第３コマンドの受信に応答して、前記第１マネージャに送信することと、
   前記第２マネージャからの第４コマンドに応答して、前記第２マネージャに前記マーカを送信することと、
   前記第２ストレージシステムによって、前記第２マネージャからの第４コマンドに応答して、前記ホスト書き込みを適用することと、
   前記ホスト書き込みが前記第２ストレージシステムによって適用されたことを示す前記第２メッセージに応答して、前記第１マネージャによって前記マーカを増加させることと、
   を含み、
   また、前記共通リンケージマネージャからの前記照会コマンドの受信に応じて、前記第１ストレージシステムにおける第２レプリケーションマネージャによって、既に伝送された前記第２ジャーナルの最大マーカ値を得るために、前記第１ストレージシステム・副サイトに照会コマンドを送信することと、
   前記副サイトにおける第２レプリケーションマネージャからの前記照会コマンドに応答して前記共通リンケージマネージャに対して最大マーカ値及び照会完了を戻すことと、
   前記共通リンケージマネージャからのマーカ付きのコミットコマンドの受信に応じて、前記副サイトにおける第２レプリケーションマネージャによって、マーカを含むジューナルデータが処理されるまで前記副サイトにおける第１及び第２ターゲットストレージを構成する複数のストレージデバイスに前記マーカ付きのコミットコマンドを送信することと、
   すべてのコミット完了メッセージが前記副サイトにおける第２レプリケーションマネージによって受信された後、前記共通リンケージマネージャにコミット完了を戻すことと、
   をさらに含む、ストレージシステムの制御方法。
2. 前記第１ストレージシステムが複数の第１ストレージデバイスを備え、かつ第２ストレージシステムが複数の第２ストレージデバイスを備え、前記第１及び第２ストレージデバイスがそれぞれ、コントローラと記憶ボリュームとを含み、前記第１ストレージデバイスのそれぞれが、前記第１ストレージシステムの操作を実行し、前記第２ストレージデバイスのそれぞれが、前記第２ストレージシステムの操作を実行する、請求項１に記載のストレージシステムの制御方法。
3. 前記第１及び第２ストレージシステムが、各ストレージシステム内の整合性を維持するために異なるレプリケーション方法を実施する、請求項１に記載のストレージシステムの制御方法。
4. 前記第１ストレージシステムによって、前記第２ストレージシステムに前記ホスト書き込みを送信する第１タイミングを決定することと、
   前記第２ストレージシステムによって、前記第２ストレージシステムに前記ホスト書き込みを送信する第２タイミングを決定することと、
   をさらに含む、請求項１に記載のストレージシステムの制御方法。
5. 第２ストレージシステムに整合性グループを作成するために、第１及び第２マネージャと通信する第１ストレージシステムを提供することであって、前記第１及び第２ストレージシステムはそれぞれ、主サイトにおける複数の第１ストレージデバイスと、副サイトにおける複数の第２ストレージデバイスと、前記第１及び第２ストレージシステムのサイクルを制御するために前記第１及び第２マネージャにコマンドを送信する共通リンクマネージャとを備え、前記第１及び第２ストレージデバイスのストレージデバイスはそれぞれ、コントローラとストレージボリュームとを含み、前記第１ストレージシステム及び前記第２ストレージシステムは、整合性を維持するために異なるレプリケーション方法を適用することと、
   前記第１ストレージデバイスでホスト書き込み操作を受信し、かつ前記受信されたホスト書き込み操作に対応するデータを前記第２ストレージデバイスに送信することと、
   前記第１マネージャから前記第１ストレージデバイスへの第１コマンドを受信した後で、前記第１ストレージデバイスにおいてホスト書き込み操作を休止することと、
   前記第１ストレージデバイスにおいて前記ホスト書き込み操作休止の完了に応答して、前記第１マネージャに第１完了メッセージを送信することと、
   前記第１マネージャから前記第１ストレージデバイスへの第２コマンドを受信した後で、前記第１ストレージデバイスにおいてホスト書き込み操作を再開することと、
   前記第１ストレージデバイスにおいて前記ホスト書き込み操作の再開に応答して、前記第１マネージャに第２完了メッセージを送信することと、
   前記第１マネージャから前記第１ストレージデバイスへのマーカを受信することと、
   前記第１ストレージデバイスによって、前記第２ストレージデバイスに前記マーカを送信することと、
   前記第２ストレージデバイスによって、前記第２マネージャからの第３コマンドの受信に応答して、前記マーカに関する情報を前記第２マネージャに送信することと、
   前記第２マネージャから前記第２ストレージデバイスへの第３コマンドの受信に応答して、前記ホスト書き込み操作に対応するデータを前記第２ストレージデバイスの前記ストレージボリュームに適用することと、
   前記データの適用が完了した後で、前記第２ストレージデバイスから前記第１ストレージデバイスへのメッセージを送信することと、
   前記第１ストレージデバイスによって、前記第１マネージャからの第４コマンドの受信に応答して、前記メッセージが受信されたか否かを示す情報を前記第１マネージャに送信することと、
   前記第１マネージャによって、前記メッセージが前記第１ストレージデバイスによって受信されたことを示す、前記複数の第１ストレージデバイスから送信された前記情報に応答して、前記マーカを増加させることと、
   を含み、
   また、前記共通リンケージマネージャからの前記照会コマンドの受信に応じて、前記第１ストレージシステムにおける第２レプリケーションマネージャによって、既に伝送された前記第２ジャーナルの最大マーカ値を得るために、前記第１ストレージシステム・副サイトに照会コマンドを送信することと、
   前記副サイトにおける第２レプリケーションマネージャからの前記照会コマンドに応答して前記共通リンケージマネージャに対して最大マーカ値及び照会完了を戻すことと、
   前記共通リンケージマネージャからのマーカ付きのコミットコマンドの受信に応じて、前記副サイトにおける第２レプリケーションマネージャによって、マーカを含むジューナルデータが処理されるまで前記副サイトにおける第１及び第２ターゲットストレージを構成する複数のストレージデバイスに前記マーカ付きのコミットコマンドを送信することと、
   すべてのコミット完了メッセージが前記副サイトにおける第２レプリケーションマネージによって受信された後、前記共通リンケージマネージャにコミット完了を戻すことと、
   をさらに含む、ストレージシステムの制御方法。
6. 前記第１ストレージシステムが、前記第１ストレージデバイスによる前記複数の第１ストレージデバイスから前記第２ストレージデバイスへの前記ホスト書き込み操作に対応する前記データの送信のタイミングを決定し、かつ
   前記第２ストレージシステムが、前記第２ストレージデバイスによる前記第１ストレージデバイスから前記第２ストレージデバイスへの前記ホスト書き込み操作に対応する前記データの送信のタイミングを決定する、請求項５に記載のストレージシステムの制御方法。
7. 整合性グループを作成するためのシステムであって、
   第１及び第２マネージャと、
   第１ストレージシステム・主サイト及び第１ストレージシステム・副サイトを含む、第１ストレージシステムと、
   第２ストレージシステムと、
   操作を実行するために、前記第１ストレージシステムによって実行されるコードと
   を含むシステムであって、前記操作は、
   ホスト書き込みを受信することと、
   前記第１ストレージシステム・主サイトから前記第１ストレージシステム・副サイトに前記ホスト書き込みを送信することと、
   前記第１マネージャからの第１コマンドに応答して、第１ストレージシステムにおいてホスト書き込み操作を休止することと、
   前記ホスト書き込み操作休止の完了に応答して、前記第１マネージャに第１完了メッセージを送信することと、
   前記第１マネージャからの第２コマンドの受信に応答して、第１ストレージシステムにおいてホスト書き込み操作を再開することと、
   前記ホスト書き込み操作の再開に応答して、第２完了メッセージを送信することと、
   前記第１マネージャからの第３コマンドの受信に応答して、前記第２メッセージを前記第１マネージャに送信することと、
   前記第１及び第２ストレージシステムのサイクルを制御するために前記第１及び第２マネージャにコマンドを送信する共通リンクマネージャにより制御されたサイクルをカウントするサイクル番号を示すマーカ付きのランコマンドを受信することと、
   前記第１ストレージシステム・主サイトから前記第１ストレージシステム・副サイトに前記マーカを送信することと、
   前記第２マネージャに前記マーカを送信することと、
   前記ホスト書き込みを前記第１ストレージシステム・副サイトに適用することと、
   前記ホスト書き込みの適用を完了した後で、前記第１ストレージシステム・副サイトから前記第１ストレージシステム・主サイトに第１メッセージを送信することと、
   前記ホスト書き込みが適用されたという確認が前記第１ストレージシステム・副サイトから受信されたか否かを示す第２メッセージを、前記第１マネージャに送信することと、
   前記第２マネージャからの第４コマンドに応答して、前記マーカを前記第２マネージャに送信し、かつ前記第２ストレージシステムにおいて前記第２マネージャからの第４コマンドに応答して、前記ホスト書き込みを適用することと、
   前記ホスト書き込みが前記第２ストレージシステムによって適用されたことを示す前記第２メッセージに応答して、前記第１マネージャが前記マーカを増加させることと、
   を含み、
   また、前記共通リンケージマネージャからの前記照会コマンドの受信に応じて、前記第１ストレージシステムにおける第２レプリケーションマネージャによって、既に伝送された前記第２ジャーナルの最大マーカ値を得るために、前記第１ストレージシステム・副サイトに照会コマンドを送信することと、
   前記副サイトにおける第２レプリケーションマネージャからの前記照会コマンドに応答して前記共通リンケージマネージャに対して最大マーカ値及び照会完了を戻すことと、
   前記共通リンケージマネージャからのマーカ付きのコミットコマンドの受信に応じて、前記副サイトにおける第２レプリケーションマネージャによって、マーカを含むジューナルデータが処理されるまで前記副サイトにおける第１及び第２ターゲットストレージを構成する複数のストレージデバイスに前記マーカ付きのコミットコマンドを送信することと、
   すべてのコミット完了メッセージが前記副サイトにおける第２レプリケーションマネージによって受信された後、前記共通リンケージマネージャにコミット完了を戻すことと、
   をさらに含む、システム。
8. 前記第１ストレージシステムが、複数の第１ストレージデバイスを備え、かつ前記第２ストレージシステムが、複数の第２ストレージデバイスを備え、前記第１及び第２ストレージデバイスがそれぞれ、コントローラとストレージボリュームとを含み、前記第１ストレージのそれぞれが、前記第１ストレージシステムの操作を実行し、かつ前記第２ストレージデバイスのそれぞれが、前記第２ストレージシステムの操作を実行する、請求項７に記載のシステム。
9. 前記第１及び第２ストレージシステムが、各ストレージシステム内の整合性を維持するために異なるレプリケーション方法を実施する、請求項７に記載のシステム。
10. 前記第１ストレージシステムによって実行される前記コードによって実行される前記操作は、
    前記第２ストレージシステムに前記ホスト書き込みを送信する第１タイミングを決定することをさらに含み、前記第２ストレージシステムが、前記第２ストレージシステムにホスト書き込みを送信する第２タイミングを決定する、請求項７に記載のシステム。
11. 第２ストレージシステムに整合性グループを作成するために、第１及び第２マネージャからコマンドを受信する第１ストレージシステムを制御するコードを含むストレージシステムの制御装置であって、
    前記コードが、前記第１ストレージシステムに操作を実行させ、当該操作が、
    第１ストレージシステム・主サイト及び第１ストレージシステム・副サイトを含む第１ストレージシステムで、ホスト書き込みを受信することと、
    前記第１ストレージシステムによって、前記第１ストレージシステム・主サイトから前記第１ストレージシステム・副サイトに前記ホスト書き込みを送信することと、
    第１マネージャからの第１コマンドに応答して、前記第１ストレージシステムでホスト書き込み操作を休止することと、
    前記ホスト書き込み操作休止の完了に応答して、前記第１ストレージシステムによって前記第１マネージャに第１完了メッセージを送信することと、
    前記第１マネージャからの第２コマンドの受信に応答して、前記第１ストレージシステムにおけるホスト書き込み操作を再開することと、
    前記ホスト書き込み操作の再開に応答して、前記第１ストレージシステムによって第２完了メッセージを送信することと、
    前記第１及び第２ストレージシステムのサイクルを制御するために前記第１及び第２マネージャにコマンドを送信する共通リンクマネージャによって制御されたサイクルをカウントするサイクル番号を示すマーカ付きのランコマンドを、前記第１ストレージシステムによって受信することと、
    前記第１ストレージシステムによって、前記第１ストレージシステム・主サイトから前記第１ストレージシステム・副サイトに前記マーカを送信することと、
    前記第１ストレージシステムによって、前記マーカを第２マネージャに送信することと、
    前記第１ストレージシステムによって、前記ホスト書き込みを前記第１ストレージシステム・副サイトに適用することと、
    前記ホスト書き込みの適用を完了した後に、前記第１ストレージシステムによって、前記第１ストレージシステム・副サイトから前記第１ストレージシステム・主サイトに第１メッセージを送信することと、
    前記ホスト書き込みが適用されたという確認が前記第１ストレージシステム・副サイトから受信されたか否かを示す第２メッセージを前記第１マネージャに送信することと、
    前記第２マネージャからの第４コマンドに応答して、前記マーカを前記第２マネージャに送信し、かつ前記第２ストレージシステムにおいて前記第２マネージャからの第４コマンドに応答して、前記ホスト書き込みを適用することと、
    前記ホスト書き込みが前記第２ストレージシステムによって適用されたことを示す前記第２メッセージに応答して、前記第１マネージャが前記マーカを増加させることと、
    を含み、
    また、前記共通リンケージマネージャからの前記照会コマンドの受信に応じて、前記第１ストレージシステムにおける第２レプリケーションマネージャによって、既に伝送された前記第２ジャーナルの最大マーカ値を得るために、前記第１ストレージシステム・副サイトに照会コマンドを送信することと、
    前記副サイトにおける第２レプリケーションマネージャからの前記照会コマンドに応答して前記共通リンケージマネージャに対して最大マーカ値及び照会完了を戻すことと、
    前記共通リンケージマネージャからのマーカ付きのコミットコマンドの受信に応じて、前記副サイトにおける第２レプリケーションマネージャによって、マーカを含むジューナルデータが処理されるまで前記副サイトにおける第１及び第２ターゲットストレージを構成する複数のストレージデバイスに前記マーカ付きのコミットコマンドを送信することと、
    すべてのコミット完了メッセージが前記副サイトにおける第２レプリケーションマネージによって受信された後、前記共通リンケージマネージャにコミット完了を戻すことと、
    をさらに含む、ストレージシステムの制御装置。
12. 前記第１ストレージシステムが、複数の第１ストレージデバイスを備え、かつ前記第２ストレージシステムが、複数の第２ストレージデバイスを備え、前記第１及び第２ストレージデバイスがそれぞれ、コントローラとストレージボリュームとを含み、前記第１ストレージデバイスのそれぞれが、前記第１ストレージシステムの操作を実行し、前記第２ストレージデバイスのそれぞれが、前記第２ストレージシステムの操作を実行する、請求項１１に記載のストレージシステムの制御装置。
13. 前記第１及び第２ストレージシステムが、各ストレージシステム内の整合性を維持するために異なるレプリケーション製品を実装する、請求項１１に記載のストレージシステムの制御装置。
14. 前記コードが前記第２ストレージシステムをさらに制御し、前記操作が、
    前記第１ストレージシステムによって、前記第２ストレージシステムに前記ホスト書き込みを送信する第１タイミングを決定することと、
    前記第２ストレージシステムによって、前記第２ストレージシステムに前記ホスト書き込みを送信する第２タイミングを決定することと、
    を含む、請求項１１に記載のストレージシステムの制御装置。

Images