JP5147941B2 - 異なるネットワークを介した１次ストレージから２次ストレージへの書き込みコピーを管理するための方法、システム、およびコンピュータ・プログラム - Google Patents

Description

本発明は、異なるネットワークを介した１次ストレージから２次ストレージへの書き込みコピーの管理のための、方法、システム、および製品（an article of manufacture）に関する。

災害回復システムは、通常、単一のポイント・イン・タイム（point-in-time）での突発性破局障害、または経時的なデータ損失という、２つのタイプの障害に対処する。第２のタイプの漸次的災害では、ボリュームに対する更新が失われる可能性がある。データ更新の回復を支援するために、リモート位置でデータのコピーを提供することができる。こうした２重コピーまたはシャドー・コピーは、通常、アプリケーション・システムが新しいデータを１次ストレージ・デバイスに書き込む際に作成される。２次サイトでデータのリモート・コピーを維持するために、インターナショナル・ビジネス・マシーンズ社（「ＩＢＭ（Ｒ）」）のＥｘｔｅｎｄｅｄ Ｒｅｍｏｔｅ Ｃｏｐｙ（ＸＲＣ）、Ｃｏｕｐｌｅｄ ＸＲＣ（ＣＸＲＣ）、Ｇｌｏｂａｌ Ｃｏｐｙ、およびＧｌｏｂａｌ Ｍｉｒｒｏｒ Ｃｏｐｙなどの、様々なコピー技術を使用することができる。

データ・ミラーリング・システムでは、データはボリューム・ペア内に維持される。ボリューム・ペアは、１次ストレージ・デバイス内のボリューム、および、１次ボリューム内に維持されるデータの同一コピーを含む２次ストレージ・デバイス内の対応ボリュームからなる。１次および２次のストレージ・コントローラを使用して、１次および２次のストレージ・デバイスへのアクセスを制御することができる。

データベース・システムなどの多くのアプリケーション・プログラムでは、ある種の書き込みは、前の書き込みが発生しない限り発生不可能であり、そうでなければデータ保全性が危険にさらされることになる。その保全性が前のデータ書き込みの発生に依存している、こうしたデータ書き込みは、従属的書き込み（dependent write）として知られている。１次および２次のストレージ内のボリュームは、すべての書き込みがそれらの論理順に転送された場合、すなわち、すべての従属的書き込みがそれに依存する書き込みよりも先に転送された場合、整合性を持つ。整合性グループとは、従属的書き込みが整合的に保護されるような１次ボリュームへの更新の集まりである。整合時刻とは、２次ボリュームに対する更新が整合性を持つことをシステムが保証する、最終時刻である。整合性グループは、１次デバイスに書き込まれた順にリモートまたは２次サイトに書き込まれたポイント・イン・タイム時点での、すべての従属的書き込みを含む。さらに整合性グループは、整合性タイム・スタンプと同じかまたはこれより早期のタイム・スタンプを有する、整合性グループ内のすべてのデータ書き込みに関する整合時刻を有する。整合性グループは、ボリュームおよびストレージ・デバイス全体にわたって、データの整合性を維持する。したがって、データが２次ボリュームから回復した場合、回復したデータは、整合性グループのポイント・イン・タイム時点での整合性を持つことになる。

整合性グループは、セッション内で形成される。セッションに割り当てられたすべてのボリューム・ペアは、同じ整合性グループ内に維持されるそれらの更新を有することになる。したがって、整合性グループ内でグループにまとめられることになるボリュームを決定するために、セッションが使用される。ジャーナルから、整合性グループから集められた更新が、２次ボリュームに適用される。回復動作中、ジャーナルからの更新が２次ボリュームに適用されている間にシステムが障害を起こした場合、２次ボリュームへの書き込みを完了しなかった更新は、ジャーナルから回復し、２次ボリュームに適用することが可能である。

異なるネットワークを介した１次ストレージから２次ストレージへの書き込みコピーを管理するための方法、システム、および製品を提供する。

異なるネットワークを介した１次ストレージから２次ストレージへの書き込みコピーを管理するための方法、システム、および製品、ならびにコンピュータ・プログラムが提供される。少なくとも１つの１次ストレージ、少なくとも１つの１次ストレージへの入力／出力（Ｉ／Ｏ）アクセスを管理する少なくとも１つの１次デバイス、および、少なくとも１つの１次ストレージへの書き込みがコピーされる少なくとも１つの対応する２次ストレージの、第１グループと、少なくとも１つの１次ストレージ、少なくとも１つの１次ストレージへの入力／出力（Ｉ／Ｏ）アクセスを管理する少なくとも１つの１次デバイス、および、少なくとも１つの１次ストレージへの書き込みがコピーされる少なくとも１つの対応する２次ストレージの、第２グループとで、情報が維持される。１次デバイスから２次デバイスへの書き込みをコピーするために、障害の１次または２次グループ内の１次デバイスのうちの１つから障害通知が受信される。第１のネットワーク・プロトコルを使用して、第１のネットワークを介し、第１のグループ内の少なくとも１つの１次デバイスへ、対応する少なくとも１つの２次デバイスへの書き込みコピーを停止するためのフリーズ・コマンドが発行される。第２のネットワーク・プロトコルを使用して、第２のネットワークを介し、第２のグループ内の少なくとも１つの１次デバイスへ、対応する少なくとも１つの２次デバイスへの書き込みコピーを停止するためのフリーズ・コマンドが発行される。

他の実施形態では、第１および第２のグループ内の１次ストレージへの従属的書き込みが、第１および第２のグループ内のいずれかの１次ストレージに従属的書き込みが書き込まれた順に、対応する２次ストレージにコピーされるように、第１および第２のグループ内の１次ストレージが、少なくとも１つの整合性グループ内で維持される。

他の実施形態では、第１および第２のグループ内の１次ストレージへの書き込みが、対応する２次ストレージでの書き込みが完了した旨の肯定応答が受信されるまで、完了しないように、データは、第１および第２のグループ内の１次ストレージならびに対応する２次ストレージに、同期的に書き込まれる。

他の実施形態では、書き込みをログ記録するための要求が、第１または第２のネットワークを介して１次デバイスのうちの１つから受信される。書き込みは、書き込みログに記録される。第１および第２のグループ内のいずれかの１次デバイスに関して、いずれかの保留中のログ記録された書き込みが存在するかどうかに関する判別が実行される。それに関するログ完了が戻された書き込みよりも早期のポイント・イン・タイムを有する、第１および第２のグループ内の１次デバイスに関する書き込みログ内に、保留中のログ記録された書き込みが存在しない旨の決定に応答して、１次デバイスが対応する第２のデバイスへ書き込みをコピーできるようにするために、第１または第２のネットワークを介してログ完了が１次デバイスに戻される。対応する２次デバイスに書き込みがコピーされた旨の通知の受信に応答して、１つのログ記録された書き込みが書き込みログから除去される。

他の実施形態では、第１および第２のネットワーク・プロトコルを使用して、第１および第２のグループ内の１次デバイスから、フリーズ・コマンドが受信された旨の肯定応答が受信される。１次デバイスで書き込みを完了するため、および、フリーズ・コマンドの送信先であった第１および第２のグループ内のすべてのデバイスからの肯定応答の受信に応答して、変更記録データ構造内に完了された書き込みを示すための信号を、１次デバイスに送るために、第１のネットワーク・プロトコルを使用して、第１のグループ内の少なくとも１つの１次デバイスに、実行コマンドが発行される。１次デバイスで書き込みを完了するため、および、フリーズ・コマンドの送信先であった第１および第２のグループ内のすべてのデバイスからの肯定応答の受信に応答して、変更記録データ構造内に完了された書き込みを示すための信号を、１次デバイスに送るために、第１のネットワーク・プロトコルを使用して、第２のグループ内の少なくとも１つの１次デバイスに、実行コマンドが発行される。障害通知をもたらした障害からの回復に応答して、変更記録データ構造内に示された書き込みをそれらの対応する２次デバイスにコピーするために、それぞれ第１および第２のネットワーク・プロトコルを使用して、第１および第２のグループ内の１次デバイスに信号が送られる。

他の実施形態では、第１のグループおよび第２のグループ内のデバイスは異機種のデバイスを備える。

異なるネットワークを介した１次ストレージから２次ストレージへの書き込みをコピーするための方法、システム、および製品、ならびにコンピュータ・プログラムが提供される。１次ストレージへの書き込みが対応する２次ストレージへコピーできない旨の１次デバイスの決定に応答して、第１のネットワーク・プロトコルを使用して、少なくとも１つの１次デバイスと少なくとも１つの１次デバイスによって管理される少なくとも１つの対応する１次ストレージとの第１のグループ内の１次デバイスから、制御システムへと、障害通知が送られる。対応する１次ストレージへの書き込みが対応する２次ストレージへコピーできない旨の１次デバイスの決定に応答して、第２のネットワーク・プロトコルを使用して、少なくとも１つの１次デバイスと少なくとも１つの１次デバイスによって管理される少なくとも１つの対応する１次ストレージとの第２のグループ内の１次デバイスから、制御システムへと、障害通知が送られる。第１のグループ内の少なくとも１つの１次デバイスで、第１のネットワーク・プロトコルを使用して、制御システムからフリーズ・コマンドが受信される。第２のグループ内の少なくとも１つの１次デバイスで、第２のネットワーク・プロトコルを使用して、制御システムからフリーズ・コマンドが受信される。第１および第２のグループ内の１次ストレージから対応する２次ストレージへの書き込みのコピーは、フリーズ・コマンドの受信に応答して中断される。

他の実施形態では、第１および第２のグループ内のいずれかの１次ストレージへの従属的書き込みの順序が、対応する２次ストレージへの従属的書き込みのコピーにおいて保持されるように、第１および第２のグループ内の１次ストレージへの書き込みがコピーされる。

他の実施形態では、第１および第２のグループ内の１次ストレージへの書き込みが、対応する２次ストレージでの書き込みが完了した旨の肯定応答が受信されるまで、完了しないように、データは、第１および第２のグループ内の１次ストレージから対応する２次ストレージへと、同期的にコピーされる。

他の実施形態では、第１のグループ内の１次デバイスのうちの１つによって、書き込み要求が受信される。第１のネットワークを介し、第１のネットワーク・プロトコルを使用して、制御システムへの書き込みをログ記録するようにメッセージが送信され、ここで第１のグループ内の１次デバイスは、第１のネットワークを介して書き込みがログ記録された旨の制御システムからの肯定応答を受信するまで、対応する２次ストレージへの書き込みをコピーしない。第２のネットワークを介し、第２のネットワーク・プロトコルを使用して、制御システムへの書き込みをログ記録するようにメッセージが送信され、ここで第２のグループ内の１次デバイスは、第２のネットワークを介して書き込みがログ記録された旨の制御システムからの肯定応答を受信するまで、対応する２次ストレージへの書き込みをコピーしない。第１および第２のグループ内の１次デバイスは、第１および第２のグループ内の１次デバイスによって、早期ポイント・イン・タイムを有する書き込みがそれらの対応する２次ストレージにコピーされるまでは、それらの対応する２次ストレージへの従属的書き込みをコピーしない。

他の実施形態では、対応する２次ストレージへの書き込みコピーの完了に応答して、第１のネットワークを介し、第１のネットワーク・プロトコルを使用して、制御システムに書き込み完了メッセージが送信される。対応する２次ストレージへの書き込みコピーの完了に応答して、第２のネットワークを介し、第２のネットワーク・プロトコルを使用して、制御システムに書き込み完了メッセージが送信される。

他の実施形態では、フリーズ・コマンドの受信に応答して、第１のネットワーク・プロトコルを使用し、第１のネットワークを介してフリーズ・コマンドが受信された旨の肯定応答が、制御システムに送信される。フリーズ・コマンドの受信に応答して、第２のネットワーク・プロトコルを使用し、第２のネットワークを介してフリーズ・コマンドが受信された旨の肯定応答が、制御システムに送信される。第１および第２のグループ内のすべての１次デバイスからフリーズ・コマンドが受信された旨の肯定応答を制御システムが受信するのに応答して、第１のネットワーク・プロトコルを使用して制御システムから実行コマンドが受信される。第１および第２のグループ内のすべての１次デバイスからフリーズ・コマンドが受信された旨の肯定応答を制御システムが受信するのに応答して、第２のネットワーク・プロトコルを使用して制御システムから実行コマンドが受信される。実行コマンドの受信に応答して、第１および第２のグループ内の対応する１次ストレージへの書き込みが完了される。書き込みの完了に応答して、変更記録データ構造内に完了された１つの書き込みが示される。

他の実施形態では、第１のグループ内の少なくとも１つの１次デバイスおよび１次ストレージは、第２のグループ内の少なくとも１つの１次デバイスおよび少なくとも１つの１次ストレージに関して異機種のデバイスを備え、ここで第１および第２のグループは、障害通知の送信動作、フリーズ・コマンドの受信動作、および書き込みコピーの中断動作を実行するための、異機種のストレージ・マネージャ・プログラムを有する。

次に、本発明の好ましい諸実施形態について、以下の図面を参照しながら単なる例として説明する。

ネットワーク・コンピューティング環境の実施形態を示す図である。 整合性グループ・メンバ情報の実施形態を示す図である。 書き込みログ・エントリ情報の実施形態を示す図である。 書き込み要求を処理するための動作の実施形態を示す図である。 書き込みが完了した旨の肯定応答を処理するための動作の実施形態を示す図である。 １つの２次デバイスの可用性において、障害を処理するための動作の実施形態を示す図である。 フリーズ・コマンド受信の肯定応答を処理するための動作の実施形態を示す図である。 諸実施形態の特定の説明された態様が内部に実装されるコンピュータ・アーキテクチャを示すブロック図である。

図１は、ネットワーク・コンピューティング環境の実施形態を示す。１つまたは複数の１次デバイス２の第１のグループは、それぞれ１次ストレージ４への入力／出力（Ｉ／Ｏ）アクセスを管理し、２次デバイス６は、それぞれ２次ストレージ８へのＩ／Ｏアクセスを管理する。各１次デバイス２は、結合された１次ストレージ４への書き込みを、対応する２次デバイス６の２次ストレージ８に格納するために、対応する２次デバイス６にミラーリングする。１次デバイス２の第１のグループおよび対応する２次デバイス６は、第１のネットワーク・プロトコルを使用し、第１のネットワーク１０を介して通信する。１つまたは複数の１次デバイス１２の第２のグループは、それぞれ１つまたは複数の１次ボリューム１６を有する１次ストレージ１４への入力／出力（Ｉ／Ｏ）アクセスを管理し、２次デバイス１８は、それぞれ１つまたは複数の２次ボリューム２２を有する２次ストレージ２０へのＩ／Ｏアクセスを管理する。第２のグループ内の各１次デバイス１２は、含まれる結合されたボリューム１６への書き込みを、対応する２次デバイス１８の対応する２次ボリューム２２に格納するために、対応する２次デバイス１８にミラーリングする。１次デバイス１２の第２のグループおよび対応する２次デバイス１８は、第２のネットワーク・プロトコルを使用し、第２のネットワーク２４を介して通信する。

ネットワーク１０および２４の両方に結合された制御システム２６は、異なるネットワーク１０および２４内にある１次ストレージ４および１次ボリューム１６のうちのいずれかへのいずれかの書き込みが、あるポイント・イン・タイム時点で整合性を持つように、単一の整合性グループ内の１次ストレージ４および１次ボリューム１６を管理する、制御ソフトウェア２８を含む。このようにして、１次ストレージ４または１次ボリューム１６への従属的書き込みは、それらが１次サイトへ書き込まれた順に、それらの対応する２次ストレージ８または２次ボリューム２２へとミラーリングされる。整合性グループ内の第１および第２のグループ内のいずれの１次デバイス２および１２における、その後の従属的書き込みも、整合性グループ内のいずれの１次デバイス２および１２における以前の書き込みが完了するまでは、対応する２次デバイス６および１８に書き込まれない。制御ソフトウェア２６は、第１および第２の両方のネットワーク・プロトコルを使用して、それぞれ第１および第２のネットワーク１０および２４上で通信することができる。

制御ソフトウェア２８は、１つの整合性グループに含まれる１次ボリューム１６／２次ボリューム２２および１次ストレージ４／２次ストレージ８のあらゆるペアに関する情報を有する、整合性グループ情報３０を維持する。さらに制御ソフトウェア２８は、書き込みログ３２内で保留されている、１次ボリューム１６および１次ストレージ４への書き込みに関する情報もログ記録する。一実施形態では、１次デバイス２および１２は、対応する２次ストレージ８、２０に書き込みが正常にミラーリングされた旨を１次デバイス２および１２が確認するまで、書き込みが完了しないように、それらの１次ストレージ４および１次ボリューム１６へ同期的にデータを書き込む。

ネットワーク１０および２４は、ストレージ・エリア・ネットワーク（ＳＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、イントラネット、インターネット、ワイド・エリア・ネットワーク（ＷＡＮ）、ピアツーピア・ネットワーク、無線ネットワーク、アービトレート型（arbitrated）ループ・ネットワークなどを、含むことができる。説明された諸実施形態では、異なるネットワーク通信プロトコルを使用して、第１のネットワーク１０および第２のネットワーク２４上で通信する。たとえば一実施形態では、イーサネットおよびＴＣＰ／ＩＰなどのパケットまたはステートレス（stateless）通信プロトコルを使用して第１のネットワーク１０上で通信し、ストレージ・デバイス通信プロトコルを使用してファイバ・チャネル、シリアル接続ＳＣＳＩ（ＳＡＳ）などの第２のネットワーク２４上で通信することができる。

１次デバイス２、１２および２次デバイス６、１８は、それぞれ、オペレーティング・システム３４、３６、３８、および４０を含む。１次デバイス２の第１のグループおよびそれらの対応する２次デバイス８は、制御ソフトウェア２８と通信するため、および、１次ストレージ４への書き込み要求と２次ストレージ８への書き込みのミラーリングとを管理するために、それぞれ、ストレージ・デバイス・ドライバ４２および４４を含む。１次デバイス１２の第２のグループおよびそれらの対応する２次デバイス１８は、制御ソフトウェア２８と通信するため、および、１次ストレージ１４への書き込み要求と２次ストレージ２０への書き込みのミラーリングとを管理するために、それぞれ、ストレージ・マネージャ４６および４８を含む。１次デバイス・ドライバ４２およびストレージ・マネージャ４６は、ＦＲＥＥＺＥ／ＲＵＮモードで動作中の場合などの、対応する２次デバイス６および１８への接続が使用不可の場合、完了した１次ストレージ４およびボリューム１６への書き込みを示すように、変更記録ビットマップ５０および５２を維持する。

ストレージ４、８、１４、および２０は、ハード・ディスク・ドライブ、フラッシュ・メモリなどの、単一のストレージ・デバイス、あるいは、Ｊｕｓｔ ａ Ｂｕｎｃｈ ｏｆ Ｄｉｓｋｓ（ＪＢＯＤ）、ネットワーク接続ストレージ（ＮＡＳ）、ハード・ディスク・ドライブ、直接アクセス・ストレージ・デバイス（ＤＡＳＤ）、Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｋｓ（ＲＡＩＤ）アレイ、仮想化デバイス、テープ・ストレージ、フラッシュ・メモリなどの、ストレージ・デバイスのアレイを、含むことができる。１次デバイス２および１２は、単一システム内に実装された複数の論理区画（ＬＰＡＲ）または仮想プロセッサを備えることができる。

一実施形態では、第１のグループ内の１次デバイス２および対応する２次デバイス６がサーバを備え、ストレージ４および８は、内部または外部バス、シリアル・インターフェース、ユニバーサル・シリアル・バス（ＵＳＢ）、ファイアワイヤ・インターフェースなどを介して、デバイス２、６に接続された、デバイス２、６に対してローカルなハード・ディスク・ドライブを備えることができる。別の方法として、第１のグループ内のデバイス２、６およびストレージ４、８の組み合わせは、ネットワーク接続ストレージ（ＮＡＳ）を備えることができる。一実施形態では、第２のグループ内のデバイス１２および１８は、ＲＡＩＤアレイ、ＪＢＯＤなどの複数の論理ボリューム１６および２２を実装する、相互接続されたストレージ・デバイスを備える、ストレージ・システム１４および２０へのアクセスを管理する、エンタープライズ・ストレージ・サーバを備えることができる。

さらに、一実施形態では、第１のグループ内のデバイス２、６と共に使用される、１つまたは複数のオペレーティング・システム３４、３８、あるいはストレージ４、８、またはそれらすべてが、第２のグループ内のデバイス１２および１８と共に使用される、オペレーティング・システム３６、４０、あるいはストレージ１４、２０、またはそれらすべてに関して、異機種である。一実施形態では、データの書き込みおよびミラーリングを管理するために使用されるストレージ・マネージャ・コードが、接続されたストレージ４、８に関するデバイス・ドライバ４２内に実装される。一実施形態では、ストレージ・マネージャ・コード４６および４８は、エンタープライズ・ストレージ・サーバ内で使用されるハードウェアおよびソフトウェアの組み合わせを備えることができる。

図２は、整合性グループ内で管理される１次／２次のストレージ・ペアに関する整合性グループ情報３０内の、整合性グループ・メンバ・エントリ７０に含めることが可能な、情報例を示す。エントリ７０は、整合性グループ内の１次ストレージ７４へのアクセスを管理する１次デバイス７２と、１次ストレージ７４への書き込みのミラーリング先である対応する２次ストレージ７８へのアクセスを管理する２次デバイス７６と、１次デバイス７２のネットワーク・アドレス８０と、１次デバイス７２と通信するために使用されるネットワーク・プロトコル８２とを含む。

図３は、１次ストレージ９４への書き込みを実行する１次デバイス９２、および書き込みのポイント・イン・タイム９６を含む、書き込みログ３２内の書き込みログ・エントリ９０に含めることが可能な、情報例を示す。

図４は、書き込み要求を処理するために、第１および第２のグループ内の１次デバイス２、１２内のデバイス・ドライバ４２およびストレージ・マネージャ４６、ならびに制御ソフトウェア２８によって実行される、動作の実施形態を示す。書き込み要求を受信すると（ブロック１００）、デバイス・ドライバ４２／ストレージ・マネージャ４６は、制御ソフトウェア２８への書き込みをログ記録するために、１次デバイスによって使用されるネットワーク１０または２４を介してメッセージを送信する（ブロック１０２）。書き込みをログ記録するためのメッセージの受信（ブロック１０４）に応答して、制御ソフトウェア２８は、要求された書き込みに関してログ・エントリ９０（図３）を書き込みログ３２に追加する（ブロック１０６）。早期のポイント・イン・タイム９６を有する第１および第２のグループ内の任意の１次デバイスに関して、保留中のログ記録された書き込みがない場合（ブロック１０８）、制御ソフトウェア２８はログ完了を戻す（ブロック１１０）。さもなければ、完了していない早期のポイント・イン・タイムを有する保留中の書き込みが存在する場合（ブロック１０８）、制御は完了を戻さずに終了するため、結果として、１次デバイス２は、時間的に早期に、それらのそれぞれの２次ストレージ８またはボリューム２２に書き込みがコピーされるまで、書き込みをコピーすることができない。ログ完了の受信に応答して、デバイス・ドライバ４２／ストレージ・マネージャ４６は、ログ記録された書き込みを、対応する２次ストレージへのアクセスを管理する２次デバイス６を介して、１次ストレージ４および対応する２次ストレージ８にコピーすることができる（ブロック１１２）。

ある実施形態では、１次ストレージ・デバイス４は、対応する２次ストレージ８にデータが正常にコピーされるまで書き込みが完了しないように、データを同期的に書き込むことができる。一実施形態では、書き込みデータが２次ストレージ８内に格納されるまで、書き込みは完了しない。代替実施形態では、書き込みデータが、２次ストレージ８に書き込まれる前に、対応する２次ストレージ８へのアクセスを管理する２次デバイス６のキャッシュ内に格納された場合、書き込みを完了することができる。

図５は、２次ストレージ８への書き込みの完了を処理するために、第１および第２のグループ内の１次デバイス２、１２内のデバイス・ドライバ４２／ストレージ・マネージャ４６、ならびに制御ソフトウェア２８によって実行される、動作の実施形態を示す。デバイス・ドライバ４２／ストレージ・マネージャ４６が対応する２次デバイスへの書き込みのコピーが完了した旨の肯定応答を受信すると（ブロック１５０）、１次デバイスによって使用されるネットワーク１０、２４を介して、書き込みが完了した旨のメッセージを制御ソフトウェア２８に送信する（ブロック１５２）。書き込みが完了した旨の肯定応答の受信（ブロック１５４）に応答して、制御ソフトウェア２８は、完了した書き込みに関するログ・エントリ９０を書き込みログ３２から削除する（ブロック１５６）。制御ソフトウェア２８は、最も早期のポイント・イン・タイム９６（図３）を有する、書き込みログ３２内にログ記録された書き込み９０を決定し（ブロック１５８）、決定されたログ記録された書き込みの１次デバイス２、１２に、ログ完了を戻し（ブロック１６０）、フィールド９２に示されたように、１次デバイス２、１２が２次デバイス６、１８への書き込みをコピーできるようにする。これらの動作によって、第１および第２のグループ内の１次ストレージ４およびボリューム１６のいずれかへのその後の書き込みが、それらの対応する２次ストレージ８または２次ボリューム２２に順序外れでコピーされないことが保証される。代替実施形態では、拡張された長期ビジー期間の使用など、様々な技法を使用して、データが順序外れで書き込まれないように保証することが可能であり、その結果、他の１次デバイス時間にそれらの早期書き込みを完了できるように、１次デバイスがある拡張された長期ビジー期間だけ書き込みのコピーを遅延させる。

図６は、１次デバイス２、１２が２次デバイス６、１８と通信できないことを示す障害通知を処理するために、第１および第２のグループ内の１次デバイス２、１２内のデバイス・ドライバ４２／ストレージ・マネージャ４６、ならびに制御ソフトウェア２８によって実行される、動作の実施形態を示す。１次デバイス２、１２が２次デバイス６、１８と通信する機能における障害を検出する（ブロック２００）か、または１次デバイス２ハードウェアによって通知されると、デバイス・ドライバ４２／ストレージ・マネージャ４６は、１次デバイス２、１２によって使用されるネットワーク１０、２４を介して、制御ソフトウェア２８に障害通知を送信する（ブロック２０２）。この障害は、１次デバイス２、１２と２次デバイス６、１８との間のネットワーク接続における障害、あるいは、たとえば２次デバイス６、１８または２次ストレージ８、２０の障害などの、２次サイトでの障害の結果である可能性がある。第１のネットワーク１０および第２のネットワーク２４を介して、第１および第２のグループ内の１次デバイス２、１２のうちのいずれかからの可能性がある障害通知を受信すると（ブロック２０４）、制御ソフトウェア２８は、第１のネットワーク・プロトコルを使用して、２次ストレージ８、２０への書き込みコピーを停止するように、第１のグループ内のそれぞれの１次デバイス２にフリーズ・コマンドを発行する（ブロック２０６）。さらに制御ソフトウェア２８は、第２のネットワーク・プロトコルを使用して、対応する少なくとも１つの２次デバイスへの書き込みコピーを停止するように、第２のグループ内のそれぞれの１次デバイス１２にフリーズ・コマンドを発行する（ブロック２０８）。制御ソフトウェア２８は、整合性グループ情報３０内のエントリ７０から、使用するための１次デバイス７２（図２）およびネットワーク・プロトコル８２を決定することができる。

フリーズ・コマンドを受信すると（ブロック２１０）、デバイス・ドライバ４２／ストレージ・マネージャ４６は、対応する２次ストレージ８または２次ボリューム２２への書き込みのコピーを中断する（ブロック２１２）。デバイス・ドライバ４２／ストレージ・マネージャ４６は、フリーズ・コマンドが受信された旨の肯定応答を、フリーズ・コマンドを送信した１次デバイス２、１２に送信する（ブロック２１４）。

図７に関して、制御ソフトウェア２８が、１次デバイス２、１２のうちの１つからフリーズ・コマンドの肯定応答を受信すると（ブロック２５０）、制御ソフトウェア２８は、第１のネットワーク１０および第２のネットワーク２４を介して、整合性グループ内のすべての１次デバイス２、１２から肯定応答が受信されたかどうかを判別する（ブロック２５２）。受信されなかった場合、制御は終了するか、または、すべての１次デバイス２、１２から肯定応答が受信されなかった場合、他の適切な処置を取ることができる。さもなければ、すべての１次デバイス２、１２から肯定応答が受信された場合、制御ソフトウェア２８は、第１のネットワーク・プロトコルを使用して、対応する２次デバイス６、１８への書き込みコピーを停止するように、第１のグループ内のそれぞれの１次デバイス２に実行コマンドを発行する（ブロック２５４）。制御ソフトウェア２８は、第２のネットワーク・プロトコルを使用して、対応する２次デバイス１８への書き込みコピーを停止するように、第２のグループ内のそれぞれの１次デバイス１２に実行コマンドを発行する（ブロック２５６）。制御ソフトウェア２８は、整合性グループ情報３０から実行コマンドに関する１次デバイスを決定することができる。

実行コマンドを受信すると（ブロック２５８）、デバイス・ドライバ４２／ストレージ・マネージャ４６は、１次ストレージ４または１次ボリューム１６への書き込みを完了し（ブロック２６０）、変更記録データ構造５０、５２内に完了された書き込みを示す（ブロック２６２）。２次デバイス６、１８あるいはストレージ８、２０またはその両方が回復した後、１次デバイス２、１２は、１次ストレージ４、１４および２次ストレージ８、２０を同期させるために、それらを介して変更記録ビットマップ５０、５２に示された書き込みをコピーすることができる。

説明された諸実施形態は、異なるネットワーク通信プロトコルを使用する異なるネットワークを介して配布された２次ストレージまたはボリュームへの、１次ストレージまたはボリュームへの書き込みのコピーを管理する。さらに説明された諸実施形態は、異なるネットワーク・プロトコルを使用して、異なるネットワーク内で１次デバイスを管理することによって、２次サイトでの障害を処理する。他の諸実施形態は、異なるネットワーク内の２次ストレージで、データがあるポイント・イン・タイム時点で整合性を持つように維持する。

追加の諸実施形態の詳細
説明された動作は、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせを生成するために、標準的なプログラミングあるいはエンジニアリング、またはその両方の技法を使用する、方法、装置、または製品として実装可能である。説明された動作は、「コンピュータ読み取り可能媒体」内に維持されるコードとして実装可能であり、プロセッサは、コンピュータ読み取り可能媒体からコードを読み取って実行することができる。コンピュータ読み取り可能媒体は、磁気ストレージ媒体（たとえば、ハード・ディスク・ドライブ、フレキシブル・ディスク、テープなど）、光ストレージ（ＣＤ−ＲＯＭ、ＤＶＤ、光ディスクなど）、揮発性および不揮発性のメモリ・ディスク（たとえば、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ、ファームウェア、プログラマブル論理など）などの、媒体を含むことができる。さらに、説明された動作を実装するコードは、ハードウェア論理（たとえば、集積回路チップ、プログラマブル・ゲート・アレイ（ＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）など）内に実装することが可能である。さらに、説明された動作を実装するコードは、「伝送信号」内に実装することが可能であり、伝送信号は、大気を通じて、または光ファイバ、銅線などの伝送媒体を介して、伝搬可能である。内部にコードまたは論理が符号化される伝送信号は、無線信号、衛星伝送、電波、赤外線信号、Ｂｌｕｅｔｏｏｔｈ（Ｒ）などを、さらに含むことができる。内部にコードまたは論理が符号化される伝送信号は、送信局による送信および受信局による受信が可能であり、伝送信号内部に符号化されたコードまたは論理を復号し、受信および送信の局またはデバイス側のハードウェアまたはコンピュータ読み取り可能媒体に格納することができる。「製品」は、内部にコードを実装可能な、コンピュータ読み取り可能媒体、ハードウェア論理、あるいは伝送信号、またはそれらすべてを含むことができる。動作の説明された諸実施形態を実装するコードが内部に符号化されたデバイスは、コンピュータ読み取り可能媒体またはハードウェア論理を含むことができる。もちろん、当業者であれば、本発明の範囲を逸脱することなく、この構成に対して多くの修正が実行可能であること、および、製品が当分野で知られた好適な情報担持媒体を含むことが可能であることを、理解されよう。

「実施形態」、「諸実施形態」、「１つまたは複数の実施形態」、「いくつかの実施形態」、および「一実施形態」という用語は、特に明示的に指定されていない限り、「本発明の（すべてではないが）１つまたは複数の実施形態」を意味する。

「含む」、「備える」、「有する」（「including」、「comprising」、「having」）およびそれらの変形の用語は、特に明示的に指定されていない限り、「含むが限定されない」ことを意味する。

列挙されたアイテムのリストは、特に明示的に指定されていない限り、アイテムのいずれかまたはすべてが相互に排他的であることを示唆するものではない。

「ある」および「その」（「ａ」、「ａｎ」、および「ｔｈｅ」）という用語は、特に明示的に指定されていない限り、「１つまたは複数」を意味する。

互いに通信しているデバイスは、特に明示的に指定されていない限り、互いに継続的に通信している必要はない。加えて、互いに通信しているデバイスは、直接、あるいは、１つまたは複数の媒介を介して間接的に、通信することができる。

互いに通信しているいくつかのコンポーネントを備える実施形態の説明は、こうしたコンポーネントのすべてが必要であることを示唆するものではない。これに対して、様々なオプションのコンポーネントは、本発明の多種多様な可能な実施形態を示すために記述されている。

さらに、プロセス・ステップ、方法ステップ、アルゴリズムなどは一連の順序で説明可能な場合があるが、こうしたプロセス、方法、およびアルゴリズムは、代替の順序で作動するように構成することが可能である。言い換えれば、説明可能なステップの任意の配列または順序は、必ずしもそのステップがその順序で実行される要件を示すものではない。本明細書で説明されるプロセスのステップは、事実上、任意の順序で実行可能である。さらに、いくつかのステップを同時に実行可能である。

本明細書において単一のデバイスまたは製品が説明される場合、単一のデバイス／製品の代わりに、複数のデバイス／製品が（それらが協働しているか否かに関わらず）使用可能であることが容易に理解されよう。同様に、本明細書において複数のデバイスまたは製品が（それらが協働しているか否かに関わらず）説明される場合、複数のデバイスまたは製品の代わりに単一のデバイス／製品が使用可能であること、あるいは、示された数のデバイスまたはプログラムの代わりに異なる数のデバイス／製品が使用可能であることが、容易に理解されよう。別の方法として、デバイスの機能あるいは特徴またはその両方は、こうした機能／特徴を有するものとして明示的に説明されていない１つまたは複数の他のデバイスによって、具体化可能である。したがって、本発明の他の実施形態は、デバイスそれ自体を含む必要はない。

図４、５、６、および７に示された動作は、ある順序で発生するある種のイベントを示す。代替の諸実施形態では、ある種の動作は、異なる順序での実行、修正、または除去が可能である。さらに諸ステップを前述の論理に追加し、説明された諸実施形態に依然として合致することが可能である。さらに、本明細書で説明された動作は順番に発生可能であるか、またはある種の動作は並行して処理することが可能である。さらに動作は、単一の処理ユニットによって、または分散型処理ユニットによって、実行可能である。

図８は、デバイス２、６、１２、１８、および２６（図１）内で全体または部分的に実装可能な、コンピューティング・システム・アーキテクチャ３００の実施形態を示す。アーキテクチャ３００は、１つまたは複数のプロセッサ３０２（たとえば、マイクロプロセッサ）、メモリ３０４（たとえば揮発性メモリ・デバイス）、およびストレージ３０６（たとえば、磁気ディスク・ドライブ、光ディスク・ドライブ、テープ・ドライブなどの、不揮発性ストレージ）を含むことができる。ストレージ３０６は、内部ストレージ・デバイス、あるいは接続型ストレージまたはネットワーク・アクセス可能ストレージを含むことができる。ストレージ３０６内のプログラムは、当分野で知られた様式で、メモリ３０４にロードされプロセッサ３０２によって実行される。アーキテクチャは、ネットワークを介した通信を実行可能にするための１つまたは複数のアダプタ３０８をさらに含む。入力デバイス３１０は、プロセッサ３０２へユーザ入力を提供するために使用することが可能であり、キーボード、マウス、ペン・スタイラス、マイクロフォン、タッチ・センシティブ・ディスプレイ・スクリーン、あるいは、当分野で知られた任意の他の起動または入力メカニズムを含むことが可能である。出力デバイス３１２は、プロセッサ３０２、または、ディスプレイ・モニタ、プリンタ、ストレージなどの他のコンポーネントから送信される情報を、レンダリングすることができる。

本発明の様々な実施形態の前述の説明は、例示および説明の目的で提示されたものである。本発明を網羅すること、または開示された精密な形に限定することは意図されていない。上記の教示に鑑みて、多くの修正および変更が可能である。本発明の範囲は、この詳細な説明によってではなく、添付の特許請求の範囲によって限定されることが意図される。前述の仕様、例、およびデータは、本発明の構成の製造および使用についての完全な説明を提供する。本発明の多くの実施形態は、本発明の趣旨および範囲を逸脱することなく作成可能であるため、本発明は以下に添付の特許請求の範囲内にある。

Claims (9)

1. 少なくとも１つの１次ストレージ、前記少なくとも１つの１次ストレージへの入力／出力（Ｉ／Ｏ）アクセスを管理する少なくとも１つの１次デバイス、前記少なくとも１つの１次ストレージへの書き込みがコピーされる少なくとも１つの対応する２次ストレージ、及び前記少なくとも１つの対応する２次ストレージに対する入力／出力（Ｉ／Ｏ）アクセスを管理する少なくとも１つの２次デバイスの第１グループと、少なくとも１つの１次ストレージ、前記少なくとも１つの１次ストレージへの入力／出力（Ｉ／Ｏ）アクセスを管理する少なくとも１つの１次デバイス、前記少なくとも１つの１次ストレージへの書き込みがコピーされる少なくとも１つの対応する２次ストレージ、及び前記少なくとも１つの対応する２次ストレージに対する入力／出力（Ｉ／Ｏ）アクセスを管理する少なくとも１つの２次デバイスの、第２グループと、に関する情報を維持することを含み、
   前記維持される情報は、前記第１グループの前記少なくとも１つの１次デバイスが前記第１グループの前記２次デバイスと通信するように第１のネットワーク・プロトコルを使用して動作可能であり、前記第２グループの前記少なくとも１つの１次デバイスが前記第２グループの前記２次デバイスと通信するように第２のネットワーク・プロトコルを使用して動作可能であることを示し、
   前記１次デバイスから前記２次デバイスへの書き込みをコピーするために、障害の前記１次または２次グループ内の前記１次デバイスのうちの１つから障害通知を受信すること、
   前記維持される情報から前記第１のネットワーク・プロトコルを識別すること、
   前記維持される情報から前記第１のネットワーク・プロトコルを識別することに応答して、第１のネットワーク・プロトコルを使用して、第１のネットワークを介し、前記第１のグループ内の前記少なくとも１つの１次デバイスへ、前記対応する少なくとも１つの２次デバイスへの書き込みコピーを停止するためのフリーズ・コマンドを発行すること、および
   前記維持される情報から前記第２のネットワーク・プロトコルを識別することに応答して、 第２のネットワーク・プロトコルを使用して、第２のネットワークを介し、前記第２のグループ内の前記少なくとも１つの１次デバイスへ、前記対応する少なくとも１つの２次デバイスへの書き込みコピーを停止するためのフリーズ・コマンドを発行することを含み、
   前記第１および第２のネットワーク・プロトコルを使用して、前記第１および第２のグループ内の前記１次デバイスから、前記フリーズ・コマンドが受信された旨の肯定応答を受信すること、
   前記１次デバイスで書き込みを完了するため、および、前記フリーズ・コマンドの送信先であった前記第１および第２のグループ内のすべての前記デバイスからの肯定応答の受信に応答して、変更記録データ構造内に前記完了された書き込みを示すための信号を、前記１次デバイスに送るために、前記第１のネットワーク・プロトコルを使用して、前記第１のグループ内の前記少なくとも１つの１次デバイスに、実行コマンドを発行すること、
   前記１次デバイスで書き込みを完了するため、および、前記フリーズ・コマンドの送信先であった前記第１および第２のグループ内のすべての前記デバイスからの肯定応答の受信に応答して、変更記録データ構造内に前記完了された書き込みを示すための信号を、前記１次デバイスに送るために、前記第１のネットワーク・プロトコルを使用して、前記第２のグループ内の前記少なくとも１つの１次デバイスに、実行コマンドを発行すること、および
   前記障害通知をもたらした障害からの回復に応答して、前記変更記録データ構造内に示された書き込みをそれらの対応する２次デバイスにコピーするために、それぞれ前記第１および第２のネットワーク・プロトコルを使用して、前記第１および第２のグループ内の前記１次デバイスに信号を送ること、
   をさらに含む、
   方法。
2. 前記第１および第２のグループ内の前記１次ストレージへの従属的書き込みが、前記第１および第２のグループ内のいずれかの前記１次ストレージに従属的書き込みが書き込まれた順に、前記対応する２次ストレージにコピーされるように、前記第１および第２のグループ内の前記１次ストレージを、少なくとも１つの整合性グループ内で維持すること、をさらに含む、請求項１に記載の方法。
3. 前記第１および第２のグループ内の前記１次ストレージへの前記書き込みが、前記対応する２次ストレージでの前記書き込みが完了した旨の肯定応答が受信されるまで、完了しないように、前記データが、前記第１および第２のグループ内の前記１次ストレージならびに前記対応する２次ストレージに、同期的に書き込まれる、請求項２に記載の方法。
4. 前記第１のグループおよび第２のグループ内の前記デバイスが異機種のデバイスを備える、請求項１からの請求項３までのいずれかに記載の方法。
5. 少なくとも１つの１次デバイスと、該少なくとも１つの１次デバイスによって管理される少なくとも１つの対応する１次ストレージからなる第１のグループにおける前記１次デバイスが前記１次ストレージに対する書き込みが対応する２次ストレージにコピーできないと判断することに応答して、前記１次デバイスから、制御システムに、第１のネットワーク・プロトコルを使用して、障害通知を通信することと、
   少なくとも１つの１次デバイスと、該少なくとも１つの１次デバイスによって管理される少なくとも１つの対応する１次ストレージからなる第２のグループにおける前記１次デバイスが前記１次ストレージに対する書き込みが対応する２次ストレージにコピーできないと判断することに応答して、前記１次デバイスから、制御システムに、第２のネットワーク・プロトコルを使用して、障害通知を通信することと、
   前記制御システムから、前記第１のネットワーク・プロトコルを使用して、前記第１のグループにおける前記少なくとも１つの１次デバイスにおいて、フリーズ・コマンドを受信することと、
   前記制御システムから、前記第２のネットワーク・プロトコルを使用して、前記第２のグループにおける前記少なくとも１つの１次デバイスにおいて、フリーズ・コマンドを受信することと、
   前記フリーズ・コマンドの受信に応答して、前記第１及び第２グループにおける前記１次デバイスから前記対応する２次ストレージに対する書き込みのコピーを停止することを含み、
   前記フリーズ・コマンドの受信に応答して、前記第１のネットワーク・プロトコルを使用し、前記第１のネットワークを介して前記フリーズ・コマンドが受信された旨の肯定応答を、前記制御システムに送信すること、
   前記フリーズ・コマンドの受信に応答して、前記第２のネットワーク・プロトコルを使用し、前記第２のネットワークを介して前記フリーズ・コマンドが受信された旨の肯定応答を、前記制御システムに送信すること、
   前記第１および第２のグループ内のすべての前記１次デバイスから前記フリーズ・コマンドが受信された旨の前記肯定応答を前記制御システムが受信するのに応答して、前記第１のネットワーク・プロトコルを使用して前記制御システムから実行コマンドを受信すること、
   前記実行コマンドの受信に応答して、前記第１および第２のグループ内の前記対応する１次ストレージへの書き込みを完了すること、および
   前記書き込みの完了に応答して、変更記録データ構造内に完了された１つの書き込みを示すこと、
   をさらに含む、
   方法。
6. 前記第１及び第２のグループにおける前記１次デバイスにおける任意のものに対する依存する書き込みの順序が、前記対応する２次ストレージに対する依存する書き込みのコピーにおいて維持されるように、前記第１及び第２のグループにおける前記１次ストレージに対する書き込みをコピーするステップをさらに有する、
   請求項５に記載の方法。
7. 前記第１及び第２のグループにおける前記１次ストレージに対する書き込みが、書き込みが前記対応する２次ストレージで完了したという確認が得られるまで完了しないように、前記第１及び第２のグループにおける前記１次デバイスから前記対応する２次ストレージに同期してデータがコピーされる、請求項６に記載の方法。
8. 前記対応する２次ストレージへの前記書き込みコピーの完了に応答して、前記第１のネットワークを介し、前記第１のネットワーク・プロトコルを使用して、前記制御システムに書き込み完了メッセージを送信すること、および
   前記対応する２次ストレージへの前記書き込みコピーの完了に応答して、前記第２のネットワークを介し、前記第２のネットワーク・プロトコルを使用して、前記制御システムに書き込み完了メッセージを送信すること、
   をさらに含む、請求項５から請求項７のいずれかに記載の方法。
9. 請求項１から請求項８までの任意の請求項の方法を実行するように適合されたプログラム・コードを含み、コンピュータ上で動作する、コンピュータ・プログラム。

Images