JP3958757B2 - カスケード式再同期を利用する障害回復システム - Google Patents

カスケード式再同期を利用する障害回復システム Download PDF

Info

Publication number
JP3958757B2
JP3958757B2 JP2004146622A JP2004146622A JP3958757B2 JP 3958757 B2 JP3958757 B2 JP 3958757B2 JP 2004146622 A JP2004146622 A JP 2004146622A JP 2004146622 A JP2004146622 A JP 2004146622A JP 3958757 B2 JP3958757 B2 JP 3958757B2
Authority
JP
Japan
Prior art keywords
data center
data
communication link
link
asynchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004146622A
Other languages
English (en)
Other versions
JP2004343776A (ja
Inventor
ロバート・コクラン
マシアス・ポップ
マーセル・ドゥヴェコト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2004343776A publication Critical patent/JP2004343776A/ja
Application granted granted Critical
Publication of JP3958757B2 publication Critical patent/JP3958757B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2058—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using more than 2 mirrored copies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082—Data synchronisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2074—Asynchronous techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2076—Synchronous techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、障害発生時にデータを回復させる障害回復システムに関するものである。
従来技術
データの複数のコピーの維持は、データが利用不能となり、破損し、又は失われた場合のデータ処理動作におけるセキュリティ機能の一部である。データ処理システムの機関ユーザ（Institutional users）は一般に、大量の重要性の高い情報を維持し、大量の時間及びお金をかけて、障害又は災害によりデータが利用できなくなることからデータを保護している。冗長なデータコピーを維持する技術の一つにミラーリングと呼ばれるものがあり、この場合、データ処理システムのユーザは、貴重な情報のコピーを現場のリムーバブル記憶媒体上に、又は近場又は遠隔地に配置された第２のミラーリングストレージサイトに維持する。離れているが、大都市圏の距離内、例えば最長で約200km以内でのリモートミラーリングにより、火災、停電、又は盗難を含む局地的な障害から保護する。何百kmもの地理的距離にわたるリモートミラーリングは、地震、竜巻、台風、洪水などの災害から保護する際に有用である。多くのデータ処理システムは、複数レベルの冗長性を採用して、複数の地理的距離に配置されたデータを保護する。
データ処理システムは、同期ミラーリング又は非同期ミラーリングを使用してリモートコピーを利用する。同期リモートコピーは、応答時間が比較的重要ではなく、コピーを行う記憶装置間の距離が短く、データを失うはずがない場合に利点を有するものである。該同期ミラーリングは一般に、高速回復に最適な選択肢として選ばれる。これとは対照的に、非同期ミラーリングは、１次サイトに対して課されることになる性能上の影響が最小限であり、処理速度が重要であり、及びミラーリングデータが長距離にわたり移動する場合に使用される。非同期ミラーリングは、地理的規模が非常に大きな操作に使用されることが多い。
一定範囲の距離にわたり分散して複数のミラーリングコピーを格納するデータ処理システムは、あるサイトでは一般に比較的近い大都市圏の距離内の場所で同期リンクを使用し、別のサイトでは非同期リンクを使用することが可能である。同期ミラーリング及び非同期ミラーリングを組み合わせたシステムの１つの危険性は、中断されたリンクが正しい順序で回復されない場合にデータが破損し又は使用不能になる可能性があることである。
幾つかの実施形態によれば、順序付けされたカスケード式の再同期を用いる障害回復システムは、複数のデータセンターと分散制御システムとを備える。個々のデータセンターは、通信インタフェースと、データストレージと、コントローラとを備える。分散制御システムは、複数のデータセンターのコントローラ内に分散されて該コントローラ内で実行可能なものであり、複数のデータセンターの通信インタフェースを介して動作調整を行って、複数のデータセンターのデータセンター対間の複数の通信リンクの再同期を行うことが可能である。通信リンクは、少なくとも１つの同期リンクと少なくとも１つの非同期リンクとを含む。
他の実施形態によれば、順序付けされたカスケード式の再同期を用いる障害回復システムは、第１のデータセンター、通信リンクによって第１のデータセンターにリンクされた第２のデータセンター、及び第３のデータセンターを含む構成において、少なくとも３つのデータセンターを備える。第３のデータセンターは、通信リンクによって第１のデータセンター及び第２のデータ選択にリンクされる。情報は、少なくとも、第１のデータセンターから第２及び第３のデータセンターにマルチキャストされる。障害回復システムはまた、少なくとも３つのデータセンターに分散されてそれらデータセンターで実行することが可能な分散制御システムを含む。該分散制御システムは、第１と第２のデータセンター間のリンクの障害に応じて、情報の差分コピーを表すビットマップを第１のデータセンターから第３のデータセンターを介して第２のデータセンターに転送するよう構成される。
更なる実施形態によれば、第１のデータセンター、該第１のデータセンターに同期リンクされた第２のデータセンター、及び該第２のデータセンターに非動的リンクされた第３のデータセンターを含むデイジーチェーン式マルチサイト障害回復構成においてリンクの障害に応答する方法が実施され、前記第３のデータセンターは内部コピーリンケージを有する。該方法は、制御動作を第１、第２、及び第３のデータセンターに分散させ、第１、第２、及び第３のデータセンター間で制御を調整する。この方法は更に、第２及び第３のデータセンター間の非同期リンケージを中断し、該非同期リンケージが中断されている際に第３のデータセンターの内部コピーリンケージを切断し、内部コピーリンケージの切断に続いて第１及び第２のデータセンター間の同期リンケージを再同期させ、該同期リンケージの再同期に続いて、第２及び第３のデータセンター間の非同期リンケージを再同期させることを含む。この方法は更に、同期リンケージ及び非同期リンケージが再同期された際に内部コピーリンケージを再接続することを含む。
更なる実施形態によれば、順序付けされたカスケード式再同期方法は、データ及び制御情報を少なくとも３つのデータセンター間で通信し、第１のデータセンターから第２及び第３のデータセンターにマルチキャストし、及び第１、第２、及び第３のデータセンター間に制御動作を分散させることを含む。この方法は更に、第１及び第２のデータセンター間のリンクの障害に応じて、第１のデータセンターから第３のデータセンターを介して第２のデータセンターへコピーされた差分ビットマップに基づき、情報の差分コピーを第２のデータセンターから第３のデータセンターに転送することを含む。該ビットマップは、第１及び第３のデータセンター間の非同期通信に以前使用された順序通りのサイドファイル（side file）中の未送信の論理装置（LUN：Logical Unit）トラックに関連する情報を含む。
更に別の実施形態によれば、順序付けされたカスケード式の再同期を用いる障害回復システムは、その構成に少なくとも４つのディスクアレイを含む。第１のディスクアレイは、リモートミラー１次ボリュームストレージを含む。第２のディスクアレイは、第１の通信リンクによってリモートミラー１次ボリュームストレージにリンクされたリモートミラー２次ボリューム及びローカルミラー１次ボリュームストレージを含む。第２のディスクアレイはまた、第２の通信リンクによってリモートミラー２次ボリューム及びローカルミラー１次ボリュームストレージに内部的にミラーリンクされたローカルミラー２次ボリューム及びリモートミラー１次ボリュームストレージを含む。第３のディスクアレイは、第３の通信リンクによって第２のディスクアレイのローカルミラー２次ボリューム及びリモートミラー１次ボリュームストレージにリンクされたリモートミラー２次ボリュームストレージを含む。第４のディスクアレイは、第４の通信リンクによりリモートミラー２次ボリュームストレージにリンクされる。この障害回復システムは更に、少なくとも４つのディスクアレイに分散されてそれらディスクアレイにおいて実行することが可能な分散制御システムを含む。該分散制御システムは、メタコマンドを使用して通信リンクを制御する。
構造及び動作方法の両方に関連する本発明の実施形態は、以下の説明及び図面を参照することによって最良に理解することができる。
図１を参照して、概略的なブロック図に、順序付けされたカスケード式の再同期動作を実施することのできる障害回復システム100の一実施形態を示す。障害回復システム100は、複数のデータセンター102,104,106と、分散制御システム110とを備える。個々のデータセンター102,104,106は、通信インタフェース102A,104A,106Aと、データストレージ102B,104B,106Bと、コントローラ102C,104C,106Cとを備える。分散制御システム110は、複数のデータセンター102,104,106のコントローラ102C,104C,106Cに分散し、そこで実行することが可能であり、通信インタフェース102A,104A,106Aを介して動作調整を行って、データセンター102,104,106の対の間の通信リンク、例えばリンクL1,L2を再同期させる。例示的な実施形態では、第１のデータセンター102と第２のデータセンター104との間を繋ぐ第１の通信リンクL1は同期リンクであり、第２のデータセンター104と第３のデータセンター106との間を繋ぐ第２の通信リンクL2は非同期リンクである。
任意の実施形態が可能であるが、障害回復システム100は一般に、複数のデータセンターが地理的に離れたデータセンターを含む構成で使用される。例示的な実施形態では、同期リンクL1は、数十〜数百kmという大都市圏の距離にわたって延びる。大都市圏の距離は、約10km〜100又は200kmが一般的である。非同期リンクL2は、数百kmを越える長距離の実施形態で示されている。
例示的な実施形態では、第３のデータセンター106は、データストレージ108B及び通信インタフェース108Aと共に冗長セーフティネット内部コピー108も備え、また一般に、コントローラ108Cも備える。第３のデータセンター内部コピー108は、ミラーリングストレージデバイスとすることができる。例示的な実施形態では、第３のデータセンター106は、コピーコントローラプロセスを含み、該プロセスは、典型的にはコントローラ106C及び／又は108C上で実行可能なものであり、セーフティネット冗長内部コピーとしてデータストレージ106B中のデータをデータストレージ108Bにコピーすることを制御する。実施形態によっては、コピーコントローラは、第２のデータストレージ106Bからデータストレージ108Bにデータの精確な複製をコピーするデータミラーとして機能するものとなる。
他の実施形態及び構成では、セーフティネットコピーは、第３のデータセンター106から離隔することが可能な第４のデータセンターにおいて実施することが可能である。
分散制御システム110は、各種コントローラ102C,104C,106C,108Cに分散させ、及びそこで実行可能なものとすることが可能であり、又は、分散制御システム110の一部又は全部をデータセンター102,104,106の外部の制御要素内に分散させ、及びそこで実行可能なものとすることが可能である。特定のコントローラが分散制御システム110のいずれの部分も実行しない可能性があるが、データセンター全体にわたり実行可能プロセスを分散させることにより、効率的な動作を助長させることができる。
データセンターはいずれも、例示的なデータセンターが実際にデータセンターグループを包含することが可能となるように高いスケーラビリティを有することができる。冗長データストレージ構造は、容易にかつ一般的にデータセンター内に含めることができる。
分散制御システム110は、複数のデータセンター102,104,106間、及びデータセンター108内で、調整のとられた動作を実行して、所定の順序で動作を管理し、これによりデータが使用不能になること又は破損することを回避する。分散制御システム110の分散制御プロセスは、同期L1及び非同期L2パスを含む様々な通信パスにわたって、またローカルエリアネットワーク（LAN）、メトロポリタンエリアネットワーク（MAN）、又は広域ネットワーク（WAN）通信等のネットワーク通信を介して分散することが可能である。実施形態によっては、分散制御システム110の実行可能コードは、ディスクアレイファームウェアなどのファームウェアにプログラミングすることが可能である。また実施形態によっては、分散制御システム110の動作は、ワイヤレス伝播等を含むネットワークを介して電子信号によって提供されるメモリのストレージ、ディスク、テープから実施することが可能である。
分散制御システム110は、様々な技法及び技術を使用してプログラムすることができる。例えば、分散制御システム110は（例えばAPI(Application Programming Interface)を使用して）ホストプロセッサのオペレーティングシステムで実施することができる。他の例では、分散制御システム110は、例えば中心位置(centralized location)で動作しているメタコマンドを使用して、又はコマンドラインインタフェース（CLI）を使用して実施することができる。用途によっては、CLIによる実施形態は、RAIDマネージャ内をベースとすることができる。
例示的な実施形態では、同期障害回復リンクL1は、カスケード式障害回復構成で非同期障害回復リンクL2に接続される。分散制御システム110で実行可能な制御プロセスは、同期障害回復リンクL1の中断を検出することができ、これに応じて、同期障害回復リンクL1の再同期に先立って非同期障害回復リンクL2を中断させる。通信リンクを中断させる動作は、特定のイベントが承認されるまで書き込みが行われていたリモートミラーリングボリュームに対する読み出し及び書き込みを含む全てのアクセスを延期し又はキャンセルすることを含む。分散制御システム110は、最初の２つのデータセンター102,104が失われた場合に障害を回復する目的で、上流の同期リンクL1が順不同コピー状態(out-of-order copy state)又は再同期状態になる前に非同期リンクL2が中断状態になり、これにより、非同期リンクL2の下流端におけるデータが破損したり使用不能になったりすることがなくなるように、応答を調整する。
手動による同期リンクの再同期を用いる従来のシステムは、誤りが生じやすく、危険性の高いものである。その理由は、最初の２つのデータセンターを破壊する一連の又は一対の方向エラー（direction error）又は災害（disaster）が、非同期リンクが順不同状態にある際に、唯一の残存するデータセンターにおけるデータを使用不能状態のままとしまたは破損する可能性があるからである。その結果は大惨事ともなり得るものであり、例えば、Fortune誌のトップ100企業の数百万ドルもの障害回復計画も無駄になりうる。
様々な実施形態では、分散制御システム110は幾つかの動作を実行することができる。図１を参照しつつ図２を参照する。分散制御システム110の一環として実行可能な制御プロセス200は、同期障害回復リンクの中断を検出する（202）。制御プロセスは、リンクの中断に応じて、データが第１及び第２のデータセンターで失われた場合、障害回復のために第３のデータセンターにあるデータが破損かつ／又は使用不能にならないように、非同期障害回復リンク204を中断し（204）、次いで同期障害回復リンクを再同期させる（206）。
図１を参照しつつ図３を参照する。分散制御システム110の一部として実行可能な別の制御プロセス300の一実施形態をフローチャートに示す。制御プロセス300は、同期通信リンク302の中断を検出し（302）、これに応じて、コピーデータストレージ108Bを第３のデータセンターのデータストレージ106Bから分断し（304）、次いで同期通信リンクを再同期させ（306）、そして非同期通信リンクを再同期させる（308）。コピーデータストレージ108Bは、第３のデータセンター106内のデータの冗長セーフティネットコピーを収容している。
図１を参照しつつ図４を参照する。デイジーチェーン式マルチサイト障害回復プロセス400の一例を概略的なフローチャートに示す。デイジーチェーン構成では、Resync-CascadeL1()コマンドなどの１つのコマンドをホストコンピュータなどの装置から発行することができる。Resync-CascadeL1()コマンドは、分散制御システム110に所定順序で一連の動作を実行させる。幾つかの実施形態では、非同期リンクの中断は、通信リンクを中断又は分断しうるシステムを分散制御システム110が原子的な動作（atomic action）で制御する原子な操作（atomic operation）で行われる。自動アクションでは、２次ボリュームに対する書き込みデータの反映が特定の時点で行われる。原子的な動作が終わると、２次ボリュームは１次ボリュームの有効なイメージになる。ミラーリングの分割又は分断は一般に、特定の分断コマンドから、又は幾つかのシステムにおけるリンク障害によって発生する。
ミラーリングの分割後、分散制御システム110はサイト間の非同期リンクL2を中断させる（404）。非同期リンクL2が中断した後、分散制御システム110は、第３のデータセンターのセーフティネット内部コピー108Bを第３のデータセンターの１次ストレージ106Bから切り離す、すなわち切断する（406）。分散制御システム110は、順不同コピー状態を介して、同期リンクL1を再同期させ（408）、次いで非同期リンクL2を再同期させる（410）。分散制御システム110は、第３のデータセンターのセーフティネット内部コピー108Bを第３のデータセンター106に再接続することにより、通常動作に戻る。
集合内部コピーLUNの原子的な分割が利用できない実施形態では、分散制御システム110は、サイト間の同期リンクL1を中断させる（402）ことによって応答を開始する。
分散制御システム110は、同期リンクL1に対する再同期プロセスを自動化してユーザエラーを回避又はなくすと共に、上流の非同期リンクL2が順不同再同期状態になる前に、第３のデータセンター106にあるセーフティネット内部ボリュームコピー108Bの被調整切断又は切り離しを可能にする。
図５を参照する。その概略的なブロック図は、順序付きマルチキャスト再同期を実施し、及び３つ以上のデータセンターを含む、障害回復システム500を示している。この構成は、第１のデータセンター502、同期通信リンクL1によって第１のデータセンターにリンクされた第２のデータセンター504、及び第３のデータセンター506を含む。第３のデータセンター506は、非同期通信リンクL2,L3によって第１のデータセンター502及び第２のデータセンター504にそれぞれリンクされる。第１のデータセンター502は、データを第２のデータセンター504及び第３のデータセンター506にマルチキャストする。障害回復システム500は、データセンターに分散し、そこで実行可能な分散制御システム510も備える。分散制御システム510は、第１のデータセンター502と第２のデータセンター504との間のリンクL1の障害に応じて、情報の差分コピーを表すビットマップを第１のデータセンター502から第３のデータセンター506を介して第２のデータセンター504に転送する。
特定の一実施形態では、第１のデータセンター502と第２のデータセンター504との間のリンクL1は同期リンクであり、第３のデータセンター506と第１のデータセンター502及び第２のデータセンター504との間のリンクL2,L3はそれぞれ非同期リンクである。また、幾つかの実施形態では、リンクL1,L2,L3は、データセンター間でミラーイメージデータを転送するミラーリンクとなる。
分散制御システム510は、データセンターの内部あるいは外部に分散し、調整のとられた動作を実行して、データセンター間の通信リンク及びデータセンターに格納されているデータを制御する。分散制御システム110は、通信リンク又はネットワーク通信を介して散在しうる。分散制御システム110は、アプリケーションプログラミングインタフェース（API）、メタコマンド、又はコマンドラインインタフェース（CLI）など様々な技法を使用して実施することができる。
分散制御システム110は、３サイト障害回復マルチキャストシステムにおいて、第１のデータセンター502と第２のデータセンター504との間のリンクL1、例えば大都市圏距離リンクが失われた状況に対処する制御プロセスを含むことができる。第２のデータセンター504にあるデータを復元する一技法は、長距離通信リンクとすることが可能なコネクションL3を第３のデータセンター506から第２のデータセンター504まで確立してコピーを供給することである。様々な実施形態において、そのコピーは、完全なコピー又は部分的なコピーとすることが可能である。完全なコピーの時間期間は非常に長くなることがあり、この間は有効な第３の障害回復サイトを利用することができないため、部分的なコピーを転送することによって回復プロセスの効率が向上する。
幾つかの実施形態では、第１のデータセンター502から第３のデータセンター506への転送は、非同期サイドファイルビットマップの転送とすることが可能であり、該ビットマップが第３のデータセンター506を介して第２のデータセンター504に供給されて、差分コピーを使用して第２のデータセンター504と第３のデータセンター506の間のミラー対コネクションを実行することが可能となる。したがって、リンクL1に障害が発生すると、非同期サイドファイルから得られるデータセンター2−リンクL2ビットマップが第３のデータセンター506に転送され、該第３のデータセンター506がリンクL3を介して第２のデータセンター504にビットマップを転送する。第２のデータセンター504は、ビットマップを使用して、完全なコピーを転送するオーバーヘッドなしで順不同コピー状態を介して第３のデータセンター506を更新し、これにより、２つの現在のデータセンターサイトを、より時宜を得た態様で維持することが可能となる。
図６を参照する。その概略的なブロック図は、順序付けされたカスケード式の再同期を含む障害回復システム600の一例を示している。例示的な障害回復システム600は、その構成に４つ又は５つ以上のディスクアレイ610,620,630,640を含む。第１のディスクアレイ610は、リモートミラー１次ボリュームストレージ612を備える。第２のディスクアレイ620は、第１の通信リンクL1によってリモートミラー１次ボリュームストレージ612にリンクされたリモートミラー２次ボリューム及びローカルミラー１次ボリュームストレージ622を備える。第２のディスクアレイ620は、第２のディスクアレイ620内部の第２の通信リンクL2によってリモートミラー２次ボリューム及びローカルミラー１次ボリュームストレージ622に内部ミラーリンクされたローカルミラー２次ボリューム及びリモートミラー１次ボリュームストレージ624も備える。第３のディスクアレイ630は、第３の通信リンクL3によって第２のディスクアレイのローカルミラー２次ボリューム及びリモートミラー１次ボリュームストレージ624にリンクされたリモートミラー２次ボリュームストレージ632を備える。第４のディスクアレイ640は、第４の通信リンクL4によってリモートミラー２次ボリュームストレージ632にリンクされる。障害回復システム600は、ディスクアレイに分散し、そこで実行することが可能であり、データミラーリングのタイミングを調整してミラーリングコピーが一貫するように図る分散制御システム602も更に備える。
他の実施形態及び構成では、ディスクアレイは、１つのデータセンターに収容され互いに内部リンクにより接続された複数のアレイを用いて様々に構成することが可能であり、又は地理的にある程度離れたデータセンターに別個に配置することが可能である。
障害回復システム600が回避又は軽減する典型的な問題は、データミラーリング動作が調整されない場合に、内部ミラーリンクL2が、対状態にある間に一貫性をなくし又は中断状態にある間に旧くなる恐れがあることである。
幾つかの実施形態では、分散制御システム602は、メタコマンドを使用して通信リンクを制御し、データミラーリング動作を調整する。
図６と併せて図７を参照して、フローチャートに、障害回復システム600がデータ処理を調整するために実行することができる方法700の一例を示す。複数のミラーの原子的なLUNグループ分割又は分断をサポートするシステムの場合、制御動作は、内部リンクL2を中断し（702）、その後順序通りに外部リンクL3,L4をそれぞれ中断させること（704,706）によって開始する。次に、障害回復システム600は、リンクL2、リンクL3、及びリンクL4という順序で、各リンクを順序通り再同期させる（708,710,712）。
図６と併せて図８を参照して、フローチャートに、障害回復システム600がデータ処理を調整するために実行することができる方法800の一例を示す。複数のミラーの原子的なLUNグループの分割又は分断をサポートしないシステムの場合、制御動作は、内部リンクL1を中断させること（802）で開始し、その後順序通りに、外部リンクL2,L3,L4をそれぞれ中断させる（804,806,808）。次に、障害回復システム600は、リンクL1、リンクL2、リンクL3、及びリンクL4という順序で各リンクを順序通り再同期させる（810,812,814,816）。
図９を参照して、概略的なブロック図に、１次ボリュームと２次ボリュームとの間の「一対多」関係を有する構成におけるサイドファイルの使用を示す。特定の実施形態では、この構成は、ファイバチャネルインフラストラクチャを使用した設計で実施することができる。非同期複製は、更新の発生のシーケンス順序追跡を使用して一貫性を確保する。該追跡は、２つの１次ボリュームサイドファイル908,910、ならびに２つの２次ボリュームサイドファイル912,914において行われる。非同期複製向けのアプリケーションである更なる１次ボリュームサイドファイルが、各２次サイトに付加される。
更新は、例えばホスト900によりシーケンス番号を使用して順序付けられて、リモートディスクボリューム904,906に送られる。リモートディスクボリューム904,906は、１セット中の次のシーケンス番号を受け取ると、１次ディスクボリューム902へのシーケンス番号に従ってデータを受信したことを知らせ、影響を受けたシーケンス番号が１次ボリュームサイドファイルリスト908,910から除去される。トランザクションが１次ボリューム902と２次ボリューム904,906の一方との間で失われた場合には、特定のシーケンス番号のデータの再送信を要求することができる。
「一対多」構成は、様々なカスケード式構成に使用することができる。
図１０Ａを参照して、概略的なブロック図に同期データ複製方法を示す。ホスト1000から１次ストレージアレイ1002に発行された入出力コマンド1010はいずれも２次ストレージアレイ1004にコピーされる（1012）。データが２次アレイ1004上のメモリに書き込まれると、その入出力が１次アレイ1002に知らされ（1004）、次いでホスト1000に知らされる（1016）。特定の一実施形態では、主制御装置が１次ボリュームに対して書き込み動作を行い、２次ボリュームに対する更新コピー動作を開始し、更新コピー動作の結果がわかった後にのみ、最終的な終了状態をホストに報告する。１次ボリュームへの書き込み動作、あるいは２次ボリュームへの更新コピー動作が失敗した場合には、主制御装置は装置チェックを報告し、ホストシステム及びアプリケーションプログラムは、１次ボリュームに対する書き込み動作を失敗とみなす。このリモートミラーキャッシュにおいて論理オブジェクトの保全性を維持する方法は、２次ボリュームが一貫しないデータ又は不精確なデータを収容することを回避するものとなる。
例示的な実施形態は２サイトデータ複製を示し、これは同様に追加の複製サイトに拡張される。２サイトデータ複製方法ではホストアプリケーションがデータ保全に関する責務を負う。入出力コマンドは、アレイ1002,1004の両方に対して書き込まれた場合にのみアプリケーションに知らされる（1016）ため、該アプリケーションは、最初のコマンドが完了して２次アレイ1004にデータが順序通りに一貫して書き込まれた場合にのみ次の入出力コマンドを発行する。同期複製は、新しく追加された各サイトがアプリケーションの応答時間が増大させるため、複数のサイトのミラーリングには比較的不向きである。
図１０Ｂを参照して、概略的なブロック図に、レコードの順序付け（record ordering）を用いる非同期データ複製方法を示す。ホスト100により１次ストレージアレイ1002に発行された（1020）入出力コマンドは、該コマンドがキャッシュに到達するとすぐに、ホスト1000に即座に通知される。シーケンス番号が入出力コマンドに付加され、２次アレイ1004に送られる（1024）。２次アレイ104へのパスは、複数のパス又はルートのいずれも横断することができるため、入出力コマンドが順不同で到来する可能性がある。２次アレイ1004は、到来するコマンドをシーケンス番号に従って並べ替えて、データレコードを正しいシーケンスで適用する責務を負う。２次アレイ1004による管理は、障害発生時に殆どの現在のトランザクションを損失する可能性はあるものの、順序通りの一貫したデータベースを確保するものとなる。非同期データ複製は、長距離の複製に一層良く適したものである。これは、アプリケーションホストに対するレイテンシの影響が低減され又はなくなるからである。
特定の実施形態では、主制御装置は、１次ボリューム動作を、２次ボリュームにおける関連する更新コピー動作から独立して完了する。リモート制御装置は、レコードセット情報に従って２次ボリュームの更新を管理し、２次ボリュームのシーケンス順序付きデータの一貫性を維持する。１次ボリュームへの書き込み動作が失敗した場合、主制御装置は装置チェックを報告し、この動作に対しては非同期レコードセットを作成しない。更新コピー動作が失敗した場合、リモート制御装置は、随意選択的に、失敗の種類に応じて、一貫したグループ中の影響を受ける対あるいは全ての対を中断させることができる。中断された対が回復すると、主制御装置及びリモート制御装置はその対の再同期をネゴシエートすることができる。リモートミラーキャッシュにおいて論理オブジェクトの保全性を維持する方法により、動作が２次ボリュームに一貫性のない情報を残すことが回避される。
図１１を参照して、概略的なブロック図に、非同期データ複製におけるサイドファイルの使用を示す。非同期複製は、更新発生のシーケンス順追跡を使用して一貫性を確保する。追跡は、１次ボリュームサイドファイル1106及び２次ボリュームサイドファイル1108において行われる。個々の更新は、シーケンス番号を使用して順序付けられ、リモートアレイ1104に送られる。リモートアレイ1104は、セット中の次のシーケンス番号を受け取ると、シーケンス番号に従ってデータを受信したことを１次アレイ1102に通知し、影響を受けるシーケンス番号が１次ボリュームサイドファイルリスト1106から除去される。トランザクションが１次アレイ1102と２次アレイ1104との間で失われた場合には、特定のシーケンス番号のデータの再送信を要求することができる。
番号シーケンスは、１次アレイ1102及びリモートアレイ1104のメモリにおいて管理され、更なる資源であるサイドファイル1106,1108を利用する。１次アレイ1102に対して行われる入出力動作の場合、そのシーケンス番号及び更新によって影響を受けるブロックへのポインタを含むサイドファイル1106にエントリが追加される。後続の入出力動作で同じブロックが更新される場合には、そのブロックの内容もまたサイドファイル1106に記録される。サイドファイルのサイズは、１次アレイ1102によって行われる入出力動作の数に対するリモートアレイ1104へのリンクのパフォーマンスに依存する。サイドファイル1106がアレイ1102中の総キャッシュメモリの所定の割合に達した場合、例えば、入出力動作が低速リンクによりキャッシュにバックアップされている場合、ホスト1100からの入出力速度が制限されて、サイドファイル1106に一層高い優先度を与えようとする。
サイドファイルは典型的には、１次サイト1102と２次サイト1104との間に通信が存在する場合にのみ使用される。通信が不通である場合、又は対が中断した場合には、サイドファイルのオーバーヘッドが高すぎるとみなされ、代わりにビットマップが、典型的にはトラック単位又はシリンダ単位で、変更を追跡するために使用される。
様々な実施形態において、非同期レコードセットは、１次ボリュームの更新及びそれに関連する制御情報（例えば１次ボリューム更新のシーケンス番号）を含むことができ、これにより、リモート制御装置が２次ボリュームの更新の一貫性を維持することが可能となる。レコードセット動作は、主制御装置におけるレコードセットの作成及び格納、リモート制御装置へのレコードセットの送信、リモート制御装置へのレコードセットの格納、ならびにリモート制御装置におけるレコードセットの選択及び配置を含むことができる。他の動作としては、サイドファイルの流入制御が挙げられる。
一実施形態では、ホストが入出力書き込み動作を要求すると、主制御装置は更新を行い、レコードセットを作成する。レコードセットは、更新されたレコードと、シーケンス番号と、装置、シリンダ、トラック、及びレコード番号等のレコード位置と、レコード長とを含むことができる。レコードセットは、主制御装置のキャッシュストレージ中にキューイングし、ホスト入出力プロセスから独立してリモート制御装置に送信することができる。リモート制御装置は、レコードセット中のシーケンス番号を使用して、１次ボリュームの順序で２次ボリュームを更新する。シーケンス番号は、主制御装置が一貫したグループそれぞれに作成したレコードセットの番号を示す。更新されたレコード以外のレコードセット情報は、サイドファイルキャッシュとして知られているキャッシュエリアに格納され、キューイングされる。
この実施形態では、主制御装置は、主制御装置のイニシエータポートを使用してリモートI／Oと呼ばれる特殊な入出力動作をリモート制御装置に発行することによってリモート制御装置にレコードセットを送信することができる。該リモートI／Oは、単一のチャネルコマンドを使用してレコードセットを効率的に転送して、シーケンス番号が連続していない場合であっても主制御装置が複数のレコードセットを単一のリモートI／Oコールで送信することができるようにする。リモート制御装置は、レコードセットを格納することができ、キューを維持して、サイドファイルへのレコードセットの格納及び２次ボリュームにおけるレコードの更新のコミットメントを制御する。リモート制御装置のキューイングでは、シーケンス番号を使用して欠けている更新をチェックすることができる。
ビットマップテーブルは、特定の時点から装置上で変更されたレコードを追跡する効率的な技法である。ビットマップテーブルは、変更されたトラック又はシリンダ番号を記録し、典型的には、変更の順序又は詳細に関する情報を維持しない。１次サイト1102と２次サイト1104との間に通信が存在しない間、又は対が中断されている間、デルタビットマップテーブルが１次アレイ1102及び２次アレイ1104の両方で維持される。対が再同期されると、変更されたシリンダのみがリモートアレイ1104にコピーされて、データミラーが最新の状態にされる。その後、サイドファイルを再び使用して更新を続ける。再同期中には、リモートアレイ1104上のデータは一貫性がなく信頼性のないものとなる。
一貫性グループ（consistency group）の追跡は、正しい動作を保証するために使用される。非同期一貫性グループは、更新シーケンスの一貫性が維持されてリモートサイトで保証されることになるボリューム対のユーザ定義によるセットである。各非同期ボリューム対は、１つの一貫性グループに割り当てられる。例示的なシステムでは、データベースシステムは、各主制御装置毎に所定数の一貫性グループを構成することを可能とし、一貫性グループについてのグループベースの動作をサポートする。一貫性グループは、複数のボリュームにわたるデータベースの更新シーケンス一貫性の維持を可能とし、故障時又は障害時のリモートサイトにおける即座のデータベース回復を容易化するものとなる。
１つのアプリケーションは、一般に２つ以上の物理的な装置の集合体を含む。したがって、正しい動作は、全ての入出力動作が一貫してリモート装置に与えられるという保証に依存するものとなり得る。非同期動作中に、装置グループ中の全ての装置は、同じ一貫性グループを形成する。サイドファイル中のシーケンス番号は、一貫性グループの細分性（granularity）レベルで発行され、これにより該一貫性グループの１次装置に適用された入出力動作が同じシーケンスで２次装置に適用されるようになる。一貫性グループ中の装置に更新が適用されない場合には、一貫性グループ全体がエラー状態になる。一貫性グループは、一貫性グループ中の全ての装置に対する書き込みがその全ての装置で準備が整うまでデステージされるよう定義され制御される。一貫性は、１つのLUNだけでなく、一貫性グループ中の全ての装置に適用される。
リモートミラーキャッシュにおいて論理オブジェクトの保全性を維持する方法は、初期コピー及び更新コピー動作等、データベースシステムの様々なリモートコピー動作で使用することができる。初期コピー動作は、概してホストプロセスから独立して、１次ボリュームと２次ボリュームを同期させる。初期コピーは通常、ユーザがボリューム対を追加するとき、又は分割又は中断されたボリューム対を再開するときに行われる。新しい対が作成されると、１次ボリュームの中味全体が、診断トラック及び未割り当ての代替トラックを除き、シリンダ単位で２次ボリュームにコピーされる。初期コピーの場合、様々なデータベースシステム実施形態は、リモートミラーキャッシュにおける論理オブジェクトの保全性を維持する方法を実施しても、又はその使用を省いてもよい。初期コピーは一般に、データベースの使用がより制御された条件で行われるため、データベースシステムの実施形態によっては、初期コピーの場合にリモートミラーキャッシュにおける論理オブジェクトの保全性を維持する方法に関わるオーバーヘッドを省略することが可能である。
更新コピー動作は、確立されたボリューム対のうちの１次ボリュームに対してホストが入出力書き込み動作を発行するときに行われる。更新コピー動作は、１次ボリュームの入出力書き込み動作を２次ボリュームで複製して、ボリューム対の同期性を保つ。リモートミラーキャッシュにおける論理オブジェクトの保全性を維持する方法の使用は、正しいデータベース動作を保証する更新コピーにおいて有用である。
本開示に様々な実施形態を説明したが、これら実施形態は例示として理解されるべきであり、特許請求の範囲を制限するものではない。説明した実施形態の多くの変形、変更、追加、及び改良が可能である。例えば、当業者は、本明細書に開示した構造及び方法の提供に必要なステップを容易に実施し、プロセスパラメータ、材料、寸法は例としてのみ与えられることを理解するであろう。パラメータ、材料、及び寸法は所望の構造ならびに変更を達成するように変更可能であり、これは特許請求の範囲内にある。本明細書に開示する実施形態の変形及び変更はまた、添付の特許請求の範囲内にありながら行うことができる。例えば、開示した装置及び技法は、任意のしかるべき数の記憶要素を有する任意のデータベース構成で使用することが可能である。データベースシステムは磁気ディスク記憶要素を開示しているが、任意のしかるべき種類のストレージ技術を実施してよい。システムは、様々なオペレーティングシステム及びデータベースシステムと共に実施することが可能である。制御要素は、汎用コンピュータシステム、ワークステーション、サーバ等のソフトウェア又はファームウェアとして実施することができるが、その他の場合として、専用装置又は埋込みシステムで実施してもよい。
順序付けされたカスケード式の再同期動作を実施することが可能な障害回復システムの一実施形態を示す概略的なブロック図である。 非同期リンクに供給される同期障害回復リンクの中断に応答する制御プロセスを示すフローチャートである。 分散制御システムの一部として実行することのできる別の制御プロセスの一実施形態を示すフローチャートである。 デイジーチェーン式マルチサイト障害回復プロセスの一例を示す概略的なフローチャートである。 順序付けされたカスケード式の再同期を実施する障害回復システムを示す概略的なブロック図である。 順序付けされたカスケード式の再同期を含む障害回復システムの一例を示す概略的なブロック図である。 障害回復システムがデータ処理を調整するために実行することのできる方法の例を示すフローチャートである。 障害回復システムがデータ処理を調整するために実行することのできる方法の例を示すフローチャートである。 １次ボリュームと２次ボリュームとの間に単対多関係を有する構成におけるサイドファイルの使用を示す概略的なブロック図である。 リモートミラーキャッシュにおける論理オブジェクトの保全性を維持する例示的な方法に適合した同期データ複製技法を示す概略的なブロック図である。 リモートミラーキャッシュにおける論理オブジェクトの保全性を維持する例示的な方法に適合した非同期のデータ複製技法を示す概略的なブロック図である。 非同期データ複製におけるサイドファイルの使用を示す概略的なブロック図である。
符号の説明
100 障害回復システム
102,104,106 データセンター
102A,104A,106A 通信インタフェース
102B,104B,106B データストレージ
102C,104C,106C コントローラ
110 分散制御システム
L1,L2 リンク

Claims (10)

  1. 順序付けされたカスケード式の再同期を用いる障害回復システム(100)であって、
    通信インタフェース(102A,104A,106A)、データストレージ(102B,104B,106B)、及びコントローラ(102C,104C,106C)を各々が有する複数のデータセンター(102,104,106)と、
    該複数のデータセンターの前記コントローラに分散して該コントローラで実行可能な分散制御システム(110)であって、前記複数のデータセンターの前記通信インタフェースを介して動作を調整して、前記複数のデータセンターのデータセンター対間の複数の通信リンク(L1,L2)を再同期させることができ、前記通信リンクが少なくとも１つの同期リンク及び少なくとも１つの非同期リンクを含む、分散制御システム(110)と、
    該分散制御システム(110)上で実行することが可能な制御プロセス(200)であって、(1) 非同期障害回復リンクにおけるデータが破損しないように又は使用不能とならないように同期障害回復リンクの再同期(206)に先立ち前記非同期障害回復リンクを中断し(204)、 (2) 前記通信リンクを順序通りに再同期させて該通信リンクを回復させる、制御プロセス(200)と
    を含む、障害回復システム(100)。
  2. カスケード式障害回復構成で非同期障害回復リンク(L2)に接続された同期障害回復リンク(L1)を含む、請求項１に記載の障害回復システム(100)。
  3. 前記複数のデータセンターが、
    第１のデータセンター(102)と、
    同期通信リンク(L1)によって前記第１のデータセンターに接続された第２のデータセンター(104)と、
    非同期通信リンク(L2)によって前記第２のデータセンターに接続された第３のデータセンター(106)であって、第１のデータストレージ(106B)、第２のデータストレージ(108B)、及び該第２のデータストレージを制御して前記第１のデータストレージに格納されている情報のコピーを格納することができるコピーコントローラ(106C)を有する、第３のデータセンター(106)と
    を更に含む、請求項１に記載の障害回復システム(100)。
  4. カスケード式障害回復構成で前記第２のデータセンターと前記第３のデータセンターとの間の非同期障害回復リンク(L2)に接続された、前記第１のデータセンターと前記第２のデータセンターとの間の同期障害回復リンク(L1)と、
    前記分散制御システム上で実行することが可能な制御プロセス(200)であって、前記同期障害回復リンクの中断(202)に応じて、データが前記第１及び第２のデータセンターで失われた場合に、前記第３のデータセンター中のデータが障害回復のために破損し及び／又は使用不能にならないように、前記非同期障害回復リンクを中断(204)し、その後、前記同期障害回復リンクを再同期(206)する、制御プロセス(200)と
    を更に含む、請求項３に記載の障害回復システム(100)。
  5. 前記分散制御システムにおいて実行することが可能な制御プロセス(300)であって、前記同期通信リンクの中断(302)に応じて、前記第３のデータセンターの前記第２のデータストレージの情報を前記第１のデータストレージの情報から切り離し、その後、前記同期通信リンク及び前記非同期通信リンクの再同期(306)を行う、制御プロセス(300)を更に含む、請求項３に記載の障害回復システム(100)。
  6. 障害条件に応じて前記分散制御システムにおいて実行することが可能な制御プロセス(400)を更に含み、該制御プロセスが、
    前記非同期リンクを中断させる第１のサブプロセス(404)と、
    該第１のサブプロセス後に実行され、前記第３のデータセンターの前記第２のデータストレージの情報を前記第１のデータストレージの情報から切り離す、第２のサブプロセス(406)と、
    該第２のサブプロセス後に実行され、前記第１のデータセンターと前記第２のデータセンターとの間の前記同期通信リンクを再同期させる、第３のサブプロセス(408)と、
    該第３のサブプロセス後に実行され、前記第２のデータセンターと前記第３のデータセンターとの間の前記非同期リンクを再同期させる、第４のサブプロセス(410)と、
    該第４のサブプロセス後に実行され、前記第３のデータセンターの前記第１のデータストレージの情報と第２のデータストレージの情報とを再接続する、第５のサブプロセス(412)と
    を含む、請求項３に記載の障害回復システム(100)。
  7. 障害条件に応じて前記分散制御システムにおいて実行することが可能な制御プロセス(400)を更に含み、該制御プロセスが、
    前記第１のサブプロセス前に実行され、前記同期リンクを中断させる、第６のサブプロセス(402)を含む、請求項６に記載の障害回復システム(100)。
  8. 順序付けされたカスケード式の再同期を用いる障害回復システム(500)であって、
    特定の構成を有する少なくとも３つのデータセンターであって、
    第１のデータセンター(502)と、
    同期通信リンク(L1)によって前記第１のデータセンターにリンクされた第２のデータセンター(504)と、
    非同期通信リンク(L2,L3)によって前記第１のデータセンター及び前記第２のデータセンターにリンクされた第３のデータセンター(506)と
    を含み、情報が、前記第１のデータセンターから前記第２及び第３のデータセンターにマルチキャストされる、少なくとも３つのデータセンターと、
    該少なくとも３つのデータセンターに分散して該データセンターで実行することが可能な分散制御システム(510)であって、前記第１のデータセンターと前記第２のデータセンターとの間の前記リンクの障害に応じて、前記第１のデータセンターから前記第３のデータセンターを介して前記第２のデータセンターに情報の差分コピーを表すビットマップを転送するように構成された、分散制御システム(510)と、
    該分散制御システム(510)上で実行することが可能な制御プロセス(200)であって、(1) 前記非同期通信リンク(L2,L3)におけるデータが破損しないように又は使用不能とならないように前記同期通信リンク(L1)の再同期に先立ち該非同期通信リンク(L2,L3)を中断し、(2) 前記通信リンク(L1,L2,L3)を順序通りに再同期させて該通信リンクを回復させる、制御プロセス(200)と
    を含む、障害回復システム(500)。
  9. 順序付けされたカスケード式の再同期を用いる障害回復システム(600)であって、
    特定の構成を有する少なくとも４つのディスクアレイであって、
    リモートミラー１次ボリュームストレージ(612)を含む第１のディスクアレイ(610)と、
    第１の通信リンク(L1)によって前記リモートミラー１次ボリュームストレージにリンクされたリモートミラー２次ボリューム及びローカルミラー１次ボリュームストレージ(622)を含む、第２のディスクアレイ(620)であって、第２の通信リンク(L2)によってリモートミラー２次ボリューム及びローカルミラー１次ボリュームストレージに内部ミラーリンクされたローカルミラー２次ボリューム及びリモートミラー１次ボリュームストレージ(624)もまた含む、第２のディスクアレイ(620)と、
    第３の通信リンク(L3)によって前記第２のディスクアレイの前記ローカルミラー２次ボリューム及びリモートミラー１次ボリュームストレージにリンクされたリモートミラー２次ボリュームストレージ(632)を含む、第３のディスクアレイ(630)と、
    第４の通信リンク(L4)によって前記リモートミラー２次ボリュームストレージにリンクされた第４のディスクアレイ(640)と
    を含む、少なくとも４つのディスクアレイと、
    該少なくとも４つのディスクアレイに分散して該ディスクアレイで実行することが可能な分散制御システム(602)であって、(1) 前記ミラーリングコピーの一貫性を促進させるようデータミラーリングのタイミングを調整し、(2) 回復手順により前記通信リンクを中断させた後に該通信リンクを順序通りに回復させる、分散制御システム(602)と
    を含む、障害回復システム(600)。
  10. 前記分散制御システムが、
    前記第１の通信リンクを中断させることが可能なプロセス(802)と、
    前記第１の通信リンクが中断した後に前記第２の通信リンクを中断させることが可能なプロセス(804)と、
    前記第２の通信リンクが中断した後に前記第３の通信リンクを中断させることが可能なプロセス(806)と、
    前記第３の通信リンクが中断した後に前記第４の通信リンクを中断させることが可能なプロセス(808)と、
    前記第４の通信リンクが中断した後に前記第１の通信リンクを再同期させることが可能なプロセス(810)と、
    前記第１の通信リンクが再同期された後に前記第２の通信リンクを再同期させることが可能なプロセス(812)と、
    前記第２の通信リンクが再同期された後に前記第３の通信リンクを再同期させることが可能なプロセス(814)と、
    前記第３の通信リンクが再同期された後に前記第４の通信リンクを再同期させることが可能なプロセス(816)と
    を更に含む、請求項９に記載の障害回復システム(600)。
JP2004146622A 2003-05-15 2004-05-17 カスケード式再同期を利用する障害回復システム Expired - Fee Related JP3958757B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/440,209 US7149919B2 (en) 2003-05-15 2003-05-15 Disaster recovery system with cascaded resynchronization

Publications (2)

Publication Number Publication Date
JP2004343776A JP2004343776A (ja) 2004-12-02
JP3958757B2 true JP3958757B2 (ja) 2007-08-15

Family

ID=33417973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004146622A Expired - Fee Related JP3958757B2 (ja) 2003-05-15 2004-05-17 カスケード式再同期を利用する障害回復システム

Country Status (2)

Country Link
US (1) US7149919B2 (ja)
JP (1) JP3958757B2 (ja)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968463B2 (en) * 2001-01-17 2005-11-22 Hewlett-Packard Development Company, L.P. System for controlling access to resources in a storage area network
US6931487B2 (en) 2001-10-22 2005-08-16 Hewlett-Packard Development Company L.P. High performance multi-controller processing
US6947981B2 (en) * 2002-03-26 2005-09-20 Hewlett-Packard Development Company, L.P. Flexible data replication mechanism
US7032131B2 (en) * 2002-03-26 2006-04-18 Hewlett-Packard Development Company, L.P. System and method for ensuring merge completion in a storage area network
US7007042B2 (en) 2002-03-28 2006-02-28 Hewlett-Packard Development Company, L.P. System and method for automatic site failover in a storage area network
US7103727B2 (en) 2002-07-30 2006-09-05 Hitachi, Ltd. Storage system for multi-site remote copy
GB0227786D0 (en) * 2002-11-29 2003-01-08 Ibm Improved remote copy synchronization in disaster recovery computer systems
US7437530B1 (en) * 2003-04-24 2008-10-14 Network Appliance, Inc. System and method for mapping file block numbers to logical block addresses
US7266665B2 (en) * 2003-06-17 2007-09-04 International Business Machines Corporation Method, system, and article of manufacture for remote copying of data
JP2005018510A (ja) * 2003-06-27 2005-01-20 Hitachi Ltd データセンタシステム及びその制御方法
JP2005309550A (ja) 2004-04-19 2005-11-04 Hitachi Ltd リモートコピー方法及びリモートコピーシステム
FR2857807B1 (fr) * 2003-07-18 2005-12-02 Cit Alcatel Procede de transaction pour un approvisionnement de regles dans un reseau gere a base de regles
US8856927B1 (en) 2003-07-22 2014-10-07 Acronis International Gmbh System and method for using snapshots for rootkit detection
US7047380B2 (en) * 2003-07-22 2006-05-16 Acronis Inc. System and method for using file system snapshots for online data backup
JP2005062928A (ja) 2003-08-11 2005-03-10 Hitachi Ltd 複数のサイトにリモートコピーを行うシステム
US20050050115A1 (en) * 2003-08-29 2005-03-03 Kekre Anand A. Method and system of providing cascaded replication
JP4021823B2 (ja) * 2003-09-01 2007-12-12 株式会社日立製作所 リモートコピーシステム及びリモートコピーの方法
US20050071380A1 (en) * 2003-09-29 2005-03-31 Micka William F. Apparatus and method to coordinate multiple data storage and retrieval systems
JP2005108098A (ja) * 2003-10-01 2005-04-21 Hitachi Ltd データｉ／ｏ装置及びデータｉ／ｏ装置の制御方法
US7293048B2 (en) * 2003-10-29 2007-11-06 Hewlett-Packard Development Company, L.P. System for preserving logical object integrity within a remote mirror cache
US7152183B2 (en) * 2003-11-20 2006-12-19 Hitachi, Ltd. Method and apparatus for volume replication management at planned and unplanned link down
JP2005157521A (ja) * 2003-11-21 2005-06-16 Hitachi Ltd 遠隔記憶装置の状態情報監視方法および記憶サブシステム
JP4282464B2 (ja) * 2003-12-17 2009-06-24 株式会社日立製作所 リモートコピーシステム
US7415628B2 (en) * 2004-01-09 2008-08-19 International Business Machines Corporation Restricting the execution of copy services commands
US8200921B2 (en) * 2004-03-12 2012-06-12 Hewlett-Packard Development Company, L.P. Data synchronization for two data mirrors with sidefiles
US7185157B2 (en) * 2004-03-29 2007-02-27 International Business Machines Corporation Method, system, and article of manufacture for generating a copy of a first and a second set of volumes in a third set of volumes
JP4514501B2 (ja) * 2004-04-21 2010-07-28 株式会社日立製作所 ストレージシステム及びストレージシステムの障害解消方法
US20060064558A1 (en) * 2004-09-20 2006-03-23 Cochran Robert A Internal mirroring operations in storage networks
US7437598B2 (en) * 2004-12-23 2008-10-14 Xiv Ltd. System, method and circuit for mirroring data
JP2006185108A (ja) * 2004-12-27 2006-07-13 Hitachi Ltd ストレージシステムのデータを管理する管理計算機及びデータ管理方法
US8127088B2 (en) * 2005-01-27 2012-02-28 Hewlett-Packard Development Company, L.P. Intelligent cache management
US7301718B2 (en) * 2005-01-31 2007-11-27 Hewlett-Packard Development Company, L.P. Recording errors in tape drives
US20060230243A1 (en) * 2005-04-06 2006-10-12 Robert Cochran Cascaded snapshots
JP4802539B2 (ja) * 2005-04-11 2011-10-26 ソニー株式会社 通信システム、通信装置、および通信方法
US7779218B2 (en) 2005-07-22 2010-08-17 Hewlett-Packard Development Company, L.P. Data synchronization management
US7206156B2 (en) * 2005-07-27 2007-04-17 Hewlett-Packard Development Company, L.P. Tape drive error management
US7165158B1 (en) 2005-08-17 2007-01-16 Hitachi, Ltd. System and method for migrating a replication system
US7325078B2 (en) * 2005-10-06 2008-01-29 Hewlett-Packard Development Company, L.P. Secure data scrubbing
US7721053B2 (en) * 2005-10-24 2010-05-18 Hewlett-Packard Development Company, L.P. Intelligent logical unit provisioning
US7467268B2 (en) * 2006-04-14 2008-12-16 Hewlett-Packard Development Company, L.P. Concurrent data restore and background copy operations in storage networks
WO2008018969A1 (en) * 2006-08-04 2008-02-14 Parallel Computers Technology, Inc. Apparatus and method of optimizing database clustering with zero transaction loss
US7627729B2 (en) * 2006-09-07 2009-12-01 International Business Machines Corporation Apparatus, system, and method for an improved synchronous mirror swap
JP2008108145A (ja) * 2006-10-26 2008-05-08 Hitachi Ltd 計算機システム及びこれを用いたデータの管理方法
US8166156B2 (en) * 2006-11-30 2012-04-24 Nokia Corporation Failure differentiation and recovery in distributed systems
US7680997B1 (en) * 2006-12-29 2010-03-16 Emc Corporation Data recovery simulation
US7734884B1 (en) * 2006-12-29 2010-06-08 Emc Corporation Simultaneous concurrent and cascaded triangular asynchronous replication
US7752404B2 (en) * 2006-12-29 2010-07-06 Emc Corporation Toggling between concurrent and cascaded triangular asynchronous replication
US7702953B2 (en) * 2007-01-04 2010-04-20 International Business Machines Corporation Storage management in cascaded replication of data
US7934027B2 (en) 2007-01-19 2011-04-26 Hewlett-Packard Development Company, L.P. Critical resource management
US7861031B2 (en) * 2007-03-01 2010-12-28 Hewlett-Packard Development Company, L.P. Access control management
US8024514B2 (en) * 2007-03-01 2011-09-20 Hewlett-Packard Development Company, L.P. Access control management
US7694079B2 (en) 2007-04-04 2010-04-06 Hewlett-Packard Development Company, L.P. Tagged sequential read operations
WO2008129620A1 (ja) * 2007-04-09 2008-10-30 Fujitsu Limited 完全二重化システム、システム制御方法およびシステム制御プログラム
US7818522B2 (en) * 2007-09-07 2010-10-19 International Business Machines Corporation Apparatus, system, and method for incremental resynchronization in a data storage system
JP5147570B2 (ja) 2008-07-02 2013-02-20 株式会社日立製作所 ストレージシステム及びリモートコピー復旧方法
JP5422147B2 (ja) * 2008-07-08 2014-02-19 株式会社日立製作所 リモートコピーシステム及びリモートコピー方法
US7962780B2 (en) * 2008-08-22 2011-06-14 International Business Machines Corporation Command sequence numbering apparatus and method
TW201022930A (en) * 2008-11-20 2010-06-16 Ibm Method to improve recovery time of mirrored disks when read stability is in doubt
JP5409799B2 (ja) * 2009-10-23 2014-02-05 株式会社日立製作所 リモートコピーシステム及びリモートコピー制御方法
US8341457B2 (en) * 2010-03-11 2012-12-25 Lsi Corporation System and method for optimizing redundancy restoration in distributed data layout environments
US20110231698A1 (en) * 2010-03-22 2011-09-22 Zlati Andrei C Block based vss technology in workload migration and disaster recovery in computing system environment
US8239863B2 (en) 2010-06-29 2012-08-07 Hewlett-Packard Development Company, L.P. Method and system for migrating a virtual machine
US8495018B2 (en) 2011-06-24 2013-07-23 International Business Machines Corporation Transitioning application replication configurations in a networked computing environment
JP5862246B2 (ja) * 2011-11-30 2016-02-16 富士通株式会社 データ管理プログラム、データ管理方法およびストレージ装置
IN2013CH02253A (ja) * 2013-05-23 2015-10-02 Sanovi Technologies Pvt Ltd
CN105980995A (zh) * 2013-10-30 2016-09-28 慧与发展有限责任合伙企业 数据中心复制
US10208947B2 (en) 2014-03-26 2019-02-19 Rockwell Automation Technologies, Inc. Cloud-level analytics for boiler networks
US9843617B2 (en) 2014-03-26 2017-12-12 Rockwell Automation Technologies, Inc. Cloud manifest configuration management system
US9825949B2 (en) 2014-03-26 2017-11-21 Rockwell Automation Technologies, Inc. Device authentication to facilitate secure cloud management of industrial data
US9838476B2 (en) 2014-03-26 2017-12-05 Rockwell Automation Technologies, Inc. On-premise data collection and ingestion using industrial cloud agents
US10095202B2 (en) 2014-03-26 2018-10-09 Rockwell Automation Technologies, Inc. Multiple controllers configuration management interface for system connectivity
US9886012B2 (en) 2014-03-26 2018-02-06 Rockwell Automation Technologies, Inc. Component factory for human-machine interface migration to a cloud platform
US9614963B2 (en) 2014-03-26 2017-04-04 Rockwell Automation Technologies, Inc. Cloud-based global alarm annunciation system for industrial systems
US9866635B2 (en) * 2014-03-26 2018-01-09 Rockwell Automation Technologies, Inc. Unified data ingestion adapter for migration of industrial data to a cloud platform
US9971317B2 (en) 2014-03-26 2018-05-15 Rockwell Automation Technologies, Inc. Cloud-level industrial controller loop gain tuning based on industrial application type
CN104539663A (zh) * 2014-12-16 2015-04-22 北京中交兴路车联网科技有限公司 跨数据中心的数据同步方法和系统
US9639411B2 (en) * 2015-07-24 2017-05-02 Bank Of America Corporation Impact notification system
US10764255B2 (en) 2016-09-21 2020-09-01 Rockwell Automation Technologies, Inc. Secure command execution from a cloud monitoring system to a remote cloud agent
US10216586B2 (en) 2016-11-09 2019-02-26 International Business Machines Corporation Unified data layer backup system
US10169134B2 (en) 2017-01-21 2019-01-01 International Business Machines Corporation Asynchronous mirror consistency audit
US10289476B2 (en) 2017-01-21 2019-05-14 International Business Machines Corporation Asynchronous mirror inconsistency correction
US10409697B2 (en) * 2017-02-23 2019-09-10 Salesforce.Com, Inc. Automated self-healing database system and method for implementing the same
US11327473B2 (en) 2017-07-11 2022-05-10 Rockwell Automation Technologies, Inc. Dynamically reconfigurable data collection agent for fracking pump asset
US10482063B2 (en) 2017-08-14 2019-11-19 Rockwell Automation Technologies, Inc. Modular control manifest generator for cloud automation
US10416660B2 (en) 2017-08-31 2019-09-17 Rockwell Automation Technologies, Inc. Discrete manufacturing hybrid cloud solution architecture
US10776394B2 (en) 2018-05-31 2020-09-15 International Business Machines Corporation Synchronous site-consolidated data backup with synchronous-to-asynchronous traffic conversion
US10769174B2 (en) 2018-05-31 2020-09-08 International Business Machines Corporation Site-consolidated disaster-recovery with synchronous-to-asynchronous traffic conversion
US11244233B2 (en) * 2018-08-29 2022-02-08 Accenture Global Solutions Limited Intelligent adaptor service in unified automation platforms for robotic process automation
CN109361769A (zh) * 2018-12-10 2019-02-19 浪潮(北京)电子信息产业有限公司 一种容灾系统和一种容灾方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544347A (en) * 1990-09-24 1996-08-06 Emc Corporation Data storage system controlled remote data mirroring with respectively maintained data indices
US5889935A (en) * 1996-05-28 1999-03-30 Emc Corporation Disaster control features for remote data mirroring
US6052797A (en) * 1996-05-28 2000-04-18 Emc Corporation Remotely mirrored data storage system with a count indicative of data consistency
US5673382A (en) * 1996-05-30 1997-09-30 International Business Machines Corporation Automated management of off-site storage volumes for disaster recovery
US5790397A (en) * 1996-09-17 1998-08-04 Marathon Technologies Corporation Fault resilient/fault tolerant computing
US5896523A (en) * 1997-06-04 1999-04-20 Marathon Technologies Corporation Loosely-coupled, synchronized execution
US6175552B1 (en) * 1997-07-25 2001-01-16 Nortel Networks Limited Disaster recovery in a telecommunications network
JPH1185853A (ja) * 1997-09-01 1999-03-30 Hitachi Ltd 災害復旧対応システム
DE69804489T2 (de) * 1997-11-14 2002-11-14 Marathon Technologies Corp., Boxboro Verfahren zur erhaltung von synchronisierter ausführung bei fehler-betriebssicheren/ fehlertoleranten rechnersystemen
US6092085A (en) * 1998-03-24 2000-07-18 International Business Machines Corporation Method and system for improved database disaster recovery
US6226651B1 (en) * 1998-03-27 2001-05-01 International Business Machines Corporation Database disaster remote site recovery
US5889395A (en) * 1998-03-27 1999-03-30 International Business Machine Corporation Integrated low voltage regulator for high capacitive loads
US6144999A (en) * 1998-05-29 2000-11-07 Sun Microsystems, Incorporated Method and apparatus for file system disaster recovery
US6163856A (en) * 1998-05-29 2000-12-19 Sun Microsystems, Inc. Method and apparatus for file system disaster recovery
JP4689137B2 (ja) * 2001-08-08 2011-05-25 株式会社日立製作所 リモートコピー制御方法、及びストレージシステム
US6266784B1 (en) * 1998-09-15 2001-07-24 International Business Machines Corporation Direct storage of recovery plan file on remote server for disaster recovery and storage management thereof
US6496941B1 (en) * 1998-12-29 2002-12-17 At&T Corp. Network disaster recovery and analysis tool
US6421688B1 (en) * 1999-10-20 2002-07-16 Parallel Computers Technology, Inc. Method and apparatus for database fault tolerance with instant transaction replication using off-the-shelf database servers and low bandwidth networks
US7139885B2 (en) * 2001-12-27 2006-11-21 Hitachi, Ltd. Method and apparatus for managing storage based replication

Also Published As

Publication number Publication date
US7149919B2 (en) 2006-12-12
US20040230859A1 (en) 2004-11-18
JP2004343776A (ja) 2004-12-02

Similar Documents

Publication Publication Date Title
JP3958757B2 (ja) カスケード式再同期を利用する障害回復システム
CN100570574C (zh) 用于管理存储系统之间的数据拷贝的系统和方法
US7610318B2 (en) Autonomic infrastructure enablement for point in time copy consistency
CN100354834C (zh) 信息处理系统、数据复制方法以及计算机系统
US8914671B2 (en) Multiple hyperswap replication sessions
US7673173B2 (en) System and program for transmitting input/output requests from a first controller to a second controller
JP3655963B2 (ja) 記憶制御装置、それを含むデータ記憶システムおよび二重ペア抑止方法
US6823349B1 (en) Method and system for establishing, maintaining, and using a persistent fracture log
US7188272B2 (en) Method, system and article of manufacture for recovery from a failure in a cascading PPRC system
US9983962B2 (en) Storage system and data management method of journaling and storing remote copies
US8401999B2 (en) Data mirroring method
JP4939174B2 (ja) ミラーリングされたシステム内の障害を管理するための方法
JP4044717B2 (ja) 記憶サブシステムのデータ二重化方法及びデータ二重化システム
EP1686478A2 (en) Storage replication system with data tracking
US7660955B2 (en) Node polling in consistency group formation
US7698308B2 (en) Storage system and method for data replication with reduced redundant data transfer
US20060136685A1 (en) Method and system to maintain data consistency over an internet small computer system interface (iSCSI) network
JP2006023889A (ja) リモートコピーシステム及び記憶装置システム
US7069400B2 (en) Data processing system
US7647357B2 (en) Data transfer management in consistency group formation
US9582384B2 (en) Method and system for data replication
JP2021174392A (ja) リモートコピーシステム及びリモートコピー管理方法
Pandey et al. A survey of storage remote replication software

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060627

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060927

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070510

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees