JP3983516B2 - 記憶装置システム - Google Patents
記憶装置システム Download PDFInfo
- Publication number
- JP3983516B2 JP3983516B2 JP2001327112A JP2001327112A JP3983516B2 JP 3983516 B2 JP3983516 B2 JP 3983516B2 JP 2001327112 A JP2001327112 A JP 2001327112A JP 2001327112 A JP2001327112 A JP 2001327112A JP 3983516 B2 JP3983516 B2 JP 3983516B2
- Authority
- JP
- Japan
- Prior art keywords
- copy
- remote copy
- storage device
- write
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ホストコンピュータを介さず、記憶装置システム間でデータを２重化するリモートコピー機能に関する。特に、3サイト以上に配置した記憶装置システム間のリモートコピーにおいて、任意サイトが被災し、被災していないサイト間でリモートコピーを継続する場合における、リモートコピー指定範囲の内容の一致管理に関する。
【０００２】
【従来の技術】
災害等による記憶装置システム内のデータ喪失を避けるため、遠隔地にある記憶装置システムに当該データを２重化する機能にリモートコピーがある。
【０００３】
リモートコピーでは、ホストコンピュータに接続している正記憶制御装置と、正記憶制御装置と接続している副記憶制御装置に、リモートコピー対象ボリュームを設定し、正記憶制御装置に接続している正記憶装置の正ボリュームと、副記憶制御装置に接続している副記憶装置の副ボリュームの内容を常に一致させるようにコピーを実行し続ける。
【０００４】
特開平１１−８５４０８号公報には、異なる記憶制御装置間で、ホストコンピュータを介さずデータを2重書きする技術が開示されている。本発明では、ホストコンピュータからライト時刻を付加されたライトデータを受領した正記憶制御装置は、ホストコンピュータにライトデータのライト完了報告後、ライト時刻順に、ライト時刻とライトデータを副記憶制御装置に転送する。副記憶制御装置では、正記憶制御装置から受領したライト時刻とライトデータを不揮発のキャッシュメモリに格納し、あるライト時刻までのデータを保証する。
【０００５】
リモートコピーの動作は大きく２つに分けられる。ホストコンピュータへのライト要求の終了報告前に副記憶制御装置にライトデータを転送する同期リモートコピー、ホストコンピュータへのライト要求の終了報告後にライト要求とは非同期に副記憶制御装置にライトデータを転送する非同期リモートコピーである。データベース等のアプリケーションにリモートコピーを使用しようとすると、ログの更新順序を保証するために、正ボリュームに対する更新順序どうりに副ボリュームを更新する必要がある。これを実現するために、非同期リモートコピーでは、正記憶制御装置において、ホストコンピュータからのライト毎に、ライトデータにシーケンス＃を付加し、副記憶制御装置でシーケンス＃どうりに副ボリュームに反映する方法がある。
【０００６】
上記に述べた従来のリモートコピーにおいて、リモートコピーを一時中断する場合（例えば、正記憶制御装置と副記憶制御装置間のリンク障害等によってリモートコピーが中断する場合等）、リモートコピー再開時に正ボリュームと副ボリュームの内容を早く一致させることを目的に、リモートコピーが中断している間のホストコンピュータからの正ボリュームに対する更新履歴を正／副ボリューム間の差分情報として正記憶制御装置内に記録しておくことがある。その後、リモートコピー再開時に、記録しておいた更新履歴を使用して、正ボリュームの内容を副ボリュームへ反映することで、正ボリュームと副ボリュームの内容を一致させることができる。
【０００７】
従来のリモートコピーにおける差分情報は、通常、ホストコンピュータからの更新位置であって、正ボリュームは更新されているが副ボリュームは更新されていない位置を記録する性質のものであるため、正記憶制御装置側に持つのが一般的である。
【０００８】
近年、ネットワークの高速化、低価格化に伴い、遠隔地間のデータ転送コストが下がりつつある。このため、リモートコピーにおける転送データ量を増やし、リモートコピーデータの可用性をさらに高めるために、１サイトが被災してもデータの2重化を維持できるように、３サイト以上のNサイト間でリモートコピーを実施したいという要求がある。
【０００９】
Nサイト間リモートコピーの運用として、Nサイトの内１サイトが被災した場合、残りの（N−１）サイトでリモートコピーを再構成し、リモートコピーを継続する形態が望まれる。この場合、リモートコピーを継続するために、残りの（N−１）サイト間でリモートコピーデータを速やかに一致させる必要がある。つまり、（N−１）サイト間の差分管理を行い、差分相当のコピーによって速やかにリモートコピーデータを一致させることが望ましい。
【００１０】
なぜなら、差分管理を実施しない場合、全てのリモートコピーデータをコピー元からコピー先へコピーする必要が生じる場合がある。これは、差分相当のコピーと比較し、コピーに長時間かかる上、コピー実行中においてデータの可用性が低下した状態となるため、確保しているサイト数だけの冗長性を生かしきれない。
【００１１】
ここで、例として、３サイトでリモートコピーを構成し、従来のリモートコピーにおける差分管理の方法を使用した場合の問題点を考える。３つのサイトをA、B、Cとする。
【００１２】
まず、サイト間を転送するリモートコピーデータの流れがA→B→Cの場合、サイトBが被災すると、サイトAとサイトCのボリューム間で差分をコピーしリモートコピーを再開することが望ましい。従来のリモートコピーにおける差分管理情報は正記憶制御装置側に持つのが一般的であることから、サイトA−B間の差分管理情報はサイトAが、サイトB−C間の差分管理情報はサイトBが持つことになる。このため、サイトB被災時には、サイトB−C間の差分管理情報が失われるため、サイトA−C間の差分が分からなくなる。
【００１３】
また、サイト間を転送するリモートコピーデータの流れがA→B、A→Cの場合、サイトAが被災すると、サイトBとサイトCのボリューム間で差分をコピーしリモートコピーを再開することが望ましい。この場合、サイトA−B、A−C間の差分管理情報は被災したサイトAが持っているため、サイトB−C間の差分が分からなくなる。
【００１４】
この問題に対応するため、通常時にリモートコピーデータのやりとりの無いサイト間で、あらかじめ差分管理を実施しておく方法が考えられる。上記の例においては、サイトＢ被災前にサイトＡ−Ｃ間の差分を、また、サイトＡ被災前にサイトＢ−Ｃ間の差分を管理しておく方法である。しかし、この方法の場合、サイト数に比例してあらかじめ管理しなければならないサイト間の差分情報が増大する、また、例えば、２サイト同時に被災するような想定外の事態に対し差分管理できない。
【００１５】
【発明が解決しようとする課題】
従来の、２サイト間でのリモートコピーの差分管理方法は、Nサイト間での差分管理について考慮していない。
【００１６】
このため、Nサイト間でのリモートコピー時、1つのサイトが被災し、被災していない残りの（N−１）サイトでリモートコピーを継続しようとした場合、すべてのリモートコピーデータを、新たなコピー元サイトからコピー先サイトへ転送してからでなければ、リモートコピーを再構成できないという問題があった。
【００１７】
また、従来の、２サイト間でのリモートコピーの差分管理方法を、サイト被災後のリモートコピー再構成時の新たなサイト間ペアに対してあらかじめ適応しておく場合、サイト数が増加するに従い、各サイトの差分管理情報が増大するという問題があった。また、多重サイトの被災に対して差分管理できないという問題があった。
【００１８】
本発明の目的は、主に３サイト以上のNサイトに配置した記憶装置システム間のリモートコピーにおいて、任意サイトの被災後、速やかに残サイト間のリモートコピーデータの一致を実現するための差分を管理することにある。また、リモートコピーを構成するサイト数Nに依存せず、差分を管理する情報量を一定に保つことにある。
【００１９】
【課題を解決するための手段】
この目的を達成するために、本発明による記憶装置システムは、ホストコンピュータと記憶装置システムとを備える複数のサイトにある記憶装置システムにおいて、前記サイト間のネットワークにより記憶装置システム同士が接続されており、該記憶装置システムが、前記ホストコンピュータから更新されるデータを他サイトの記憶装置システムに反映するリモートコピー構成を有し、前記記憶装置システムは、リモートコピー指定範囲の更新履歴を記録する領域を多重に備えており、 前記ホストコンピュータから直接更新される記憶装置システムのリモートコピー指定範囲への、前記ホストコンピュータからの更新量が閾値を超えた契機において、新たな更新履歴への切り替え契機となるホストコンピュータからの更新を決定し、前記リモートコピー指定範囲およびコピー先リモートコピー指定範囲を持つ記憶装置システム間で共有し、各記憶装置システムにおいて、リモートコピー指定範囲またはコピー先リモートコピー指定範囲の更新が、新たな更新履歴への切り替え契機となるホストコンピュータからの更新に到達した時点から、新たな更新履歴の記録を開始し、前記リモートコピー指定範囲およびコピー先リモートコピー指定範囲を持つ記憶装置システムすべてが、新たな更新履歴の記録を開始したことを確認後、従来の更新履歴の記録を中断し、従来の更新履歴を初期化し、任意サイトの被災時、被災していない任意サイト間のリモートコピー指定範囲、または、コピー先リモートコピー指定範囲の内容を、更新履歴に従って、リモートコピー指定範囲、または、コピー先リモートコピー指定範囲の一部をコピーすることで、リモートコピー指定範囲、または、コピー先リモートコピー指定範囲の内容を一致させる、構成としている。
【００２１】
また、新たな更新履歴への切り替え契機となる、ホストコンピュータからの更新の決定を、前回の更新履歴の切り替えからの経過時間が閾値を超えた契機にも実行しても良い。
【００２２】
また、記憶装置システム間での情報のやりとりを、当該記憶装置システムのリモートコピー指定範囲、または、コピー先リモートコピー指定範囲に対応する直接のコピー元、および、直接のコピー先との間でのみ実行しても良い。
【００２３】
また、記憶装置システム間での情報のやりとりを、リモートコピーデータの転送、および、その応答に添付して実行しても良い。
【００２４】
また、任意サイトの被災時、被災していないサイト間のリモートコピー指定範囲、または、コピー先リモートコピー指定範囲の内容を一致させるための更新履歴を、
両サイトにおいて、有効、かつ、記録を開始したホストコンピュータからの更新が同じであるという条件で選択し、
さらに、両サイトにおいて、前記条件を充足する複数の更新履歴が存在する場合には、記録を開始したホストコンピュータからの更新が新しい更新履歴を選択しても良い。
【００２５】
また、保守端末より、リモートコピー指定範囲、または、コピー先リモートコピー指定範囲のリモートコピー先毎に、リモートコピー先障害時の他のリモートコピー先へのリモートコピーの実行可否を指定し、
リモートコピー先障害時、前記指定に従って、当該記憶装置システムからのリモートコピー先へのリモートコピーを制御しても良い。
【００２６】
【発明の実施の形態】
以下、本発明の第1の実施の形態を図面を用いて説明する。
【００２７】
図１に、Nサイト間でのリモートコピー構成の示す。各サイトには、複数のホストコンピュータ１や複数の記憶装置システム２等をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）といったローカルネットワークＴ２によって互いに接続している。一方、各サイトの記憶装置システム２の内、リモートコピーを実行する記憶装置システム２同士はグローバルネットワークＴ１を介し接続している。グローバルネットワークＴ１は、一般的に公衆通信回線であり、通信サービスを提供する業者から有料で借り受けるものを利用する場合が多い。ただし、ローカルネットワークＴ２、グローバルネットワークＴ１の構成が、本発明を限定するものではない。
【００２８】
リモートコピー対象ボリュームの種類は、コピー元ボリュームを持たずコピー先ボリュームを持つ総コピー元ボリュームＶ１、コピー元ボリュームとコピー先ボリュームを持つ中間コピー先ボリュームＶ２、コピー元ボリュームを持ちコピー先ボリュームを持たない末端コピー先ボリュームＶ３に大別できる。リモートコピー対象ボリューム間の関係は、総コピー元ボリュームＶ１を頂点とするツリー状となり、総コピー元ボリュームＶ１から中間コピー先ボリュームＶ２を経て末端コピー先ボリュームＶ３へ順にリモートコピーデータを転送する。
【００２９】
図１では、サイト１のボリュームを総コピー元ボリュームＶ１とし、サイト２の中間コピー先ボリュームＶ２を経て、サイト（Ｋ−１）、サイト（Ｎ−１）の末端コピー先ボリュームＶ３へ、また、サイトＫの中間コピー先ボリュームＶ２を経て、サイト（Ｎ−２）の末端コピー先ボリュームＶ３へリモートコピーを実施している構成である。
【００３０】
図２に、記憶装置システム２の構成を示す。記憶制御装置２１は、ホストコンピュータ１と接続するチャネルインタフェース３と、記憶装置２２と接続するディスクインタフェース４と、管理情報を格納する２重化した不揮発の管理情報メモリ６と、データを格納する２重化した不揮発のキャッシュメモリ５とをパスで接続した構成である。各チャネルインタフェース３、および、各ディスクインタフェース４は、２重化した管理情報メモリ６それぞれ、および、２重化キャッシュメモリ５それぞれと接続している。また、記憶制御装置２１は、当該記憶制御装置２１への指示や当該記憶制御装置２１内部の状態を表示するための保守端末２３を備える。
【００３１】
チャネルインタフェース３は、ホストコンピュータ１からのライト要求やリモートコピー元となる他の記憶装置システム２からのリモートコピーのライト要求を処理するライト処理３１、ライトされた範囲に対応するビットマップを更新するビットマップ更新処理３２、自記憶装置システム２が非同期リモートコピーのコピー元である場合、ライトデータをライト要求とは非同期にコピー先である他の記憶装置システム２に転送する非同期転送処理３３、総コピー元ボリュームＶ１を持つ記憶装置システム２から当該ボリュームのコピー先となる全ボリュームのビットマップ８０９を切り替える契機を与えるビットマップ切り替え起動処理３４、ビットマップ切り替え起動処理３４からのビットマップ切り替え要求を受領し、ビットマップを切り替えるビットマップ切り替え処理３５、任意サイトの被災後において残サイト間でリモートコピー構成を再構成する場合の残サイト間のボリューム内容を一致させる差分コピー処理３６を備える。
【００３２】
ディスクインタフェース４は、自記憶装置システム２が非同期リモートコピーのコピー先である場合、コピー元からのライト時に仮データとして一旦保存しておいたリモートコピーデータを正式化する非同期正式化処理４１、チャネルインタフェース３側と同じビットマップ更新処理３２を備える。
【００３３】
各処理はそれぞれ複数存在し、存在する単位は、ビットマップ切り替え起動処理３４、ビットマップ切り替え処理３５、および、差分コピー処理３６がボリューム単位であったり、非同期転送処理３３、および、非同期正式化処理４１が後述するライトシーケンス管理情報６２単位であったりしても良い。
【００３４】
キャッシュメモリ５は、記憶装置２２に格納しているホストコンピュータ１からリード／ライトされるデータを格納している。キャッシュメモリ５の構成は、通常領域と仮領域に大別できる。仮領域を持つ理由は、自記憶装置システム２が非同期リモートコピーのコピー元である場合、コピー先に未転送のリモートコピーデータが再びライトされた際にライト前の未転送データを保存するため、あるいは、自記憶装置システム２が非同期リモートコピーのコピー先である場合、コピー元より受領し非同期正式化処理４１によって正式化するまでのリモートコピーデータを保存するためである。
【００３５】
管理情報メモリ６は、記憶装置システム２が動作するために必要な管理情報を格納している。その中には、リモートコピー管理情報６１が含まれ、リモートコピー管理情報６１には、ライトシーケンス管理情報６２、ボリューム管理情報６３が含まれる。
【００３６】
ライトシーケンス管理情報６２は、非同期リモートコピーにおいてホストコンピュータ１からのライト順序でリモートコピーデータを正式化するために使用する。ライトシーケンス管理情報６２は複数存在し、各々のライトシーケンス管理情報６２は、ホストコンピュータ１からのライト順序を記録するためのライトシーケンス＃カウンタ７１、ライトデータ毎に割り当てライトシーケンス＃を保存しライトデータに関連付けるライトシーケンス管理情報エントリ領域７２のライトシーケンス管理情報エントリ７２１、非同期リモートコピーのコピー元においてコピー先に未転送のリモートコピーデータを登録する転送対象ライトシーケンス管理情報７３、非同期リモートコピーのコピー先においてコピー元から受領し未だ正式化していないリモートコピーデータを登録する正式化対象ライトシーケンス管理情報７４等から構成する。
【００３７】
図３に、ライトシーケンス管理情報６２の構造とキャッシュメモリ５の関係を示す。ライトデータ毎にライトシーケンス管理情報エントリ７２１を割り当て、ライトシーケンス管理情報エントリ７２１にキャッシュメモリ５のライトデータの位置を設定する。また、転送対象ライトシーケンス管理情報７３、正式化対象ライトシーケンス管理情報７４は、ライトシーケンス管理情報エントリ７２１を接続するキュー構造であっても良い。
【００３８】
また、ホストコンピュータ１からのライト順序を複数のボリューム間で保証したい場合には、同じライトシーケンス管理情報６２のライトシーケンス＃カウンタ７１を使用して複数のボリュームのライトデータにライトシーケンス＃を割り当て、同じ転送対象ライトシーケンス管理情報７３に登録し、コピー先において、同じ正式化対象ライトシーケンス管理情報７４に登録し、ライトシーケンス＃に従って正式化すれば良い。
【００３９】
図２に戻って、ボリューム管理情報６３は、リモートコピー対象ボリュームに関する管理情報である。ボリューム管理情報６３は複数存在し、各々のボリューム管理情報６３は、自ボリュームが使用するライトシーケンス管理情報６２を指定するライトシーケンス管理情報＃８０１、当該ボリュームのコピー先情報８０２、当該ボリュームのコピー元情報８０３、ビットマップ切り替えを排他するためのビットマップ切り替え中フラグ８０４、当該ボリュームがコピー先ボリュームである場合の最新ライトシーケンス＃８０５、最新ライトシーケンス＃と比較しビットマップを切り替える契機とするビットマップ切り替え契機ライトシーケンス＃８０６、ビットマップ切り替え時に自記憶装置システム２において最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６に達したかどうかの確認を要求するライトシーケンス＃確認要求フラグ８０７、最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６に達したことを示すライトシーケンス＃到達フラグ８０８、当該ボリュームの更新箇所を記録するビットマップ８０９（複数）、対応するビットマップが有効であることを示すビットマップ有効フラグ８１０（複数）、対応するビットマップへの記録を開始したライトシーケンス＃を示すビットマップ記録開始ライトシーケンス＃８１１（複数）、対応するビットマップへの更新量を示すビットマップ更新データ量カウンタ８１２（複数）、サイト被災等により他サイトとのボリューム内容を一致させる必要が生じた場合に使用する差分ビットマップ８１３等から構成する。
【００４０】
コピー先情報８０２、コピー元情報８０３とは、コピー元／先の記憶装置システム２と通信するために必要な情報や、コピー元／先のボリュームを特定する情報等である。
【００４１】
また、簡単のため、本発明の実施の形態においては、管理情報をボリューム単位に持つ（ボリューム管理情報６３）こととしたが、これは、本発明の範囲を制限するものではない。管理情報は、記憶装置システム２間で共有できる任意の単位で持つことができ、よって、記憶装置システム２間で共有できる任意の単位でリモートコピーを実行することができる。
図４に、各記憶装置システム２で実行するライト処理３１について説明する。
【００４２】
説明を分かり易くするため、ライト処理３１が対象とする、ライト要求元とライトデータの種別の概要を補足する。ライト要求元は、ホストコンピュータ１、または、リモートコピー元の記憶装置システム２である。
【００４３】
ホストコンピュータ１からのライトデータは、ライト対象ボリュームにより、１）リモートコピー先の無いもの、リモートコピー先の有るもので２）同期リモートコピー先のみのもの、３）非同期リモートコピー先のみのもの、４）両方のものに分けられる。
【００４４】
リモートコピー元の記憶装置システム２からのライトデータは、ライト対象ボリュームにより、同期リモートコピーによりライトされたもの、非同期リモートコピーによりライトされたものに分けられ、同期リモートコピーによりライトされたものは、上記１）〜４）と同様に、５）リモートコピー先の無いもの、リモートコピー先の有るもので６）同期リモートコピー先のみのもの、７）非同期リモートコピー先のみのもの、８）両方のものに分けられる。また、非同期リモートコピーによるものは、上記１）、４）と同様に、９）リモートコピー先の無いもの、１０）非同期リモートコピー先のみのものに分けられる。２）、３）を対象外としたのは、同期リモートコピーがリモートコピー完了後にホストコンピュータにライト終了を報告するものであり、中間コピー先ボリュームＶ２において、非同期リモートコピーで受領したリモートコピーデータを同期リモートコピーで他サイトのボリュームにリモートコピーすることは、あまり意味が無く現実的でないためである。
【００４５】
ライト処理３１では、まず、ライト要求を受領し（ステップＳ４０１）、ライト要求元がホストコンピュータ１、かつ、ライト対象ボリュームがリモートコピー元でないか確認する（ステップＳ４０２）。
【００４６】
ステップＳ４０２の条件成立の場合、ホストコンピュータ１からリモートコピーに関連しないボリュームへのライト要求であるため（上記１）に相当）、ライトデータをキャッシュメモリ５の通常領域に格納し（ステップＳ４０３）、ライト要求元にライト終了を報告する（ステップＳ４０４）。このライトデータは、ホストコンピュータ１からのライト要求とは非同期に、記憶制御装置２１が記憶装置２２に書き込む。
【００４７】
ステップＳ４０２の条件不成立の場合、ライト要求元がホストコンピュータ１であるか確認する（ステップＳ４０５）。
【００４８】
ステップＳ４０５の条件成立の場合（上記２）３）４）に相当）、ライトデータに対応させるライトシーケンス管理情報エントリ７２１を確保し、ライトシーケンス＃を付与する。具体的には、ホストコンピュータ１からライトされたボリュームに対応するボリューム管理情報６３のライトシーケンス管理情報＃８０１を参照し、対応するライトシーケンス管理情報６２のライトシーケンス管理情報エントリ７２１を確保し、ライトシーケンス＃カウンタ７１の値を設定し、ライトシーケンス＃カウンタ７１の値を加算し、ライトシーケンス管理情報エントリ７２１をライトデータと関連付ける。
【００４９】
ライトシーケンス＃の付加は、リモートコピーの同期／非同期に関係なく実行する。これは、仮に当該ボリュームの直接のコピー先が同期リモートコピー先だけであったとしても、これらのコピー先のさらに先が非同期リモートコピーを実行することがあるためである。
【００５０】
ステップＳ４０５の条件不成立の場合（上記６）〜１０）に相当）、ライトデータに対応させるライトシーケンス管理情報エントリ７２１を確保し、ライトデータと共に受領したライトシーケンス＃を含むライトシーケンス管理情報６２を格納する（ステップＳ４０７）。
【００５１】
次に、ライトデータをキャッシュメモリ５に格納する。キャッシュメモリ５への格納方法は、ライト対象ボリュームにより異なり、Ａ）非同期リモートコピー先である（上記９）１０）に相当）、Ｂ）非同期リモートコピー先ではなく、非同期リモートコピー元である（上記３）４）７）８）に相当）、Ｃ）それら以外（上記２）５）６）に相当）の３通りに分けられる。これは、ライト対象ボリュームがＡ）である場合、受領したライトデータを一旦仮保存し、ライトシーケンス＃に従って正式にライトする必要があるためである。また、Ｂ）である場合、非同期リモートコピー先に未転送のライトデータをライトされた場合、古いライトデータを転送するまで別に保存しておく必要があるためである。
【００５２】
まず、ライト対象ボリュームが非同期リモートコピー先かどうか判断する（ステップＳ４０８）。
【００５３】
ステップＳ４０８の条件成立（上記Ａ）に相当）の場合、当該ライトデータはホストコンピュータ１からの更新順を示すライトシーケンス＃に従ってライトする必要があるため、一旦、ライトデータをキャッシュメモリ５の仮領域に格納し（ステップＳ４０９）、ライトデータに対応するライトシーケンス管理情報エントリ７２１を正式化対象データとして正式化対象ライトシーケンス管理情報７４に登録する（ステップＳ４１０）。図３においては、ライトシーケンス管理情報エントリ７２１＿ｅ、７２１＿ｆが相当する。
【００５４】
さらに、ライト対象ボリュームが非同期リモートコピーのコピー元であるか判断し（ステップＳ４１１）、ステップＳ４１１の条件成立（上記３）４）７）８）１０）に相当）の場合、ライトデータに対応するライトシーケンス管理情報エントリ７２１を転送対象データとして転送対象ライトシーケンス管理情報７３に登録する（ステップＳ４１２）。図３においては、ライトシーケンス管理情報エントリ７２１＿ｂ、７２１＿ｃ、７２１＿ｄ、７２１＿ｅが相当する。
【００５５】
ステップＳ４０８の条件不成立の場合、さらに、ライト対象ボリュームが非同期リモートコピーのコピー元であるか判断する（ステップＳ４１３）。
【００５６】
ステップＳ４１３の条件成立（上記Ｂ）に相当）の場合、非同期リモートコピー先へ未転送のライトデータをキャッシュメモリ５の仮領域へ移設した上で、ライトデータをキャッシュメモリ５の通常領域に格納する（ステップＳ４１４）。図３においては、ライトシーケンス管理情報エントリ７２１＿ｂ、７２１＿ｃ、７２１＿ｄが相当する。さらに、ビットマップ更新処理３２を実行する（ステップＳ４１５）。ビットマップ更新処理３２については後述する。その後、ステップＳ４１１へ。
【００５７】
ステップＳ４１３の条件不成立（上記Ｃ）に相当）の場合、当該ライトデータは、非同期リモートコピーのコピー先でもコピー元でもないため、ライトデータをキャッシュメモリ５の通常領域に格納する（ステップＳ４１６）。図３においては、ライトシーケンス管理情報エントリ７２１＿ａが相当する。さらに、ビットマップ更新処理３２を実行する（ステップＳ４１７）。ビットマップ更新処理３２については後述する。その後、ステップＳ４１８へ。
【００５８】
次に、ライト対象ボリュームが同期リモートコピーのコピー元であるか判断し（ステップＳ４１８）、ステップＳ４１８の条件成立の場合（上記２）４）６）８）に相当）、同期リモートコピーのコピー先にライトデータとライトシーケンス管理情報エントリ７２１の内容を転送する（ステップＳ４１９）。当該同期リモートコピーは、ライト要求元へのライト要求を受領してからライト終了を報告するまでの時間を短縮するために、複数のコピー先に対し並列に実行しても良い。
【００５９】
次に、当該ライトデータに対応するライトシーケンス管理情報７２１が、転送対象ライトシーケンス管理情報７３、および、正式化対象ライトシーケンス管理情報７４のいずれにも登録されていないか判断する（ステップＳ４２０）。ステップＳ４２０の条件成立（上記２）５）６）に相当）の場合、当該ライトデータに対応するライトシーケンス管理情報エントリ７２１は不要であるため、ライトシーケンス管理情報エントリ７２１を解放する（ステップＳ４２１）。図３においては、ライトシーケンス管理情報エントリ７２１＿ｇが相当する。
【００６０】
最後に、ライト要求元にライト終了を報告（ステップＳ４０４）し、処理を終了する。
【００６１】
図５に、記憶装置システム２の内、非同期リモートコピーのコピー元ボリュームを持つ記憶装置システム２で実行する非同期転送処理３３について説明する。当該処理は、ライトシーケンス管理情報６２単位に実行しても良い。
【００６２】
まず、転送対象ライトシーケンス管理情報７３に登録されたライトシーケンス管理情報エントリ７２１から転送対象を選択する（ステップＳ５０１）。
【００６３】
次に、非同期リモートコピー先に、選択したライトシーケンス管理情報エントリ７２１と対応するライトデータを転送する（ステップＳ５０２）。
【００６４】
次に、転送したライトシーケンス管理情報エントリ７２１の転送対象ライトシーケンス管理情報７３への登録を解除する（ステップＳ５０３）。
【００６５】
次に、転送したライトシーケンス管理情報エントリ７２１が正式化対象ライトシーケンス管理情報７４にも登録されているか判断する（ステップＳ５０４）。ステップＳ５０４の条件不成立の場合、非同期リモートコピー対象データとしての管理が不要となるため、転送したライトシーケンス管理情報エントリ７２１を解放し（ステップＳ５０５）、転送したライトデータがキャッシュメモリ５の仮領域を使用していた場合には、当該仮領域も解放する（ステップＳ５０６）。
【００６６】
図６に、記憶装置システム２の内、非同期リモートコピーのコピー先ボリュームを持つ記憶装置システム２で実行する非同期正式化処理４１について説明する。当該処理は、ライトシーケンス管理情報６２単位に実行しても良い。
【００６７】
まず、正式化対象ライトシーケンス管理情報７４に登録されたライトシーケンス管理情報エントリ７２１を参照し、ライトシーケンス＃が連続している範囲を正式化対象として選択する（ステップＳ６０１）。
【００６８】
次に、選択した正式化対象のライトデータは全て正式化済みか判断する（ステップＳ６０２）。
【００６９】
ステップＳ６０２の条件成立の場合、ステップＳ６０６へ。
【００７０】
ステップＳ６０２の条件不成立の場合、正式化対象として選択したライトデータの内、最も古いライトシーケンス＃に対応するライトデータをキャッシュメモリ５の仮領域から通常領域に移設し、正式化する（ステップＳ６０３）。
【００７１】
次に、正式化したライトシーケンス管理情報エントリ７２１の正式化対象ライトシーケンス管理情報７４への登録を解除する（ステップＳ６０４）
次に、ビットマップ更新処理３２を実行する（ステップＳ６０５）。ビットマップ更新処理３２については後述する。その後、ステップＳ６０２へ戻る。
【００７２】
次に、正式化したライトシーケンス管理情報エントリ７２１が転送対象ライトシーケンス管理情報７３にも登録されているか判断する（ステップＳ６０６）。ステップＳ６０６の条件不成立の場合、非同期リモートコピー対象データとしての管理が不要となるため、正式化したライトシーケンス管理情報エントリ７２１を解放し（ステップＳ６０７）、正式化したライトデータが使用していたキャッシュメモリ５の仮領域を解放する（ステップＳ６０８）。
【００７３】
図７に、記憶装置システム２の内、総コピー元ボリュームＶ１を持つ記憶装置システム２で実行するビットマップ切り替え起動処理３４について説明する。当該処理は、ビットマップ有効フラグ８１０がＯＮであるビットマップ８０９（２つ以上存在する場合には記録開始ライトシーケンス＃８１１の古い方）の更新データ量カウンタ８１２の値が一定の閾値を超えた場合に、ボリューム単位に実行しても良い。
【００７４】
また、前回実行したビットマップ切り替えからの経過時間が一定の閾値を超えた場合に、ボリューム単位に実行しても良い。
【００７５】
まず、総コピー元ボリュームＶ１、および、当該ボリュームを総コピー元ボリュームＶ１とする全ての中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３に対して、前回のビットマップ切り替え終了前に新たにビットマップ切り替えを開始しないようにするため、ビットマップ切り替え中フラグ８０４がＯＦＦであるか判断する（ステップＳ７０１）。
【００７６】
ステップＳ７０１の条件不成立の場合、未だビットマップ切り替え中のため、処理を終了する。
【００７７】
ステップＳ７０１の条件成立の場合、ビットマップ切り替え中フラグ８０４をＯＮする（ステップＳ７０２）。
【００７８】
次に、ビットマップ切り替え契機とするライトシーケンス＃を決定し、管理情報メモリのビットマップ切り替え契機ライトシーケンス＃８０６に設定する（ステップＳ７０３）。ビットマップ切り替え契機とするライトシーケンス＃の決定方法として、総コピー元ボリュームＶ１から、当該ボリュームを総コピー元ボリュームＶ１とする全ての中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３へ通知するまでに、中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３の最新ライトシーケンス＃８０５が超えてしまわない程度に進んだライトシーケンス＃を生成し、ビットマップ切り替え契機ライトシーケンス＃８０６として良い。
【００７９】
また、ビットマップ切り替え契機ライトシーケンス＃８０６が、切り替え先ビットマップ８０９の記録開始ライトシーケンス＃となることを意図しているが、１つのライトシーケンス管理情報６２で複数のボリュームのライトシーケンスを管理する場合、決定したビットマップ切り替え契機ライトシーケンス＃８０６が必ずしも当該ボリュームのライトデータに対して割り当てられるとは限らない。しかし、決定したビットマップ切り替え契機ライトシーケンス＃８０６を超えて当該ボリュームに最初に割り当てられるライトシーケンス＃は、総コピー元ボリュームＶ１と、当該ボリュームを総コピー元ボリュームＶ１とする全ての中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３において、一意に定まるため、ビットマップ切り替え契機ライトシーケンス＃８０６を超えて当該ボリュームに最初に割り当てられるライトシーケンス＃を、切り替え先ビットマップ８０９の記録開始ライトシーケンス＃とすることができる。
【００８０】
次に、最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６と同じとなった、あるいは、超えたことを知らせるライトシーケンス＃到達フラグ８０８をＯＦＦする（ステップＳ７０４）。
【００８１】
次に、ビットマップ更新処理３２に最新ライトシーケンス＃８０５とビットマップ切り替え契機ライトシーケンス＃８０６の比較を要求するライトシーケンス＃確認要求フラグ８０７をＯＮする（ステップＳ７０５）。
【００８２】
次に、当該ボリュームの直接のコピー先全てに対し、ビットマップ切り替え契機ライトシーケンス＃８０６を転送し、最新ライトシーケンス＃がビットマップ切り替え契機ライトシーケンス＃８０６を超えた場合のライトシーケンス＃到達報告を要求する（ステップＳ７０６）。
【００８３】
次に、当該ボリュームのライトシーケンス＃到達フラグ８０８がＯＮ、かつ、当該ボリュームの直接のコピー先全てからライトシーケンス＃到達報告が有るか判断する（ステップＳ７０７）。ステップＳ７０７の条件不成立の場合、一定時間待ち（ステップＳ７０８）、再びステップＳ７０７の判断を実行する。なお、当該ボリュームの直接のコピー先からの報告は、逐次、コピー先情報８０２に記録するものとする。
【００８４】
ステップＳ７０７の条件成立の場合、自サイトのビットマップ８０９の内、記録開始ライトシーケンス＃８１１が古い方の有効フラグ８１０をＯＦＦし、当該ビットマップ８０９をクリアする（ステップＳ７０９）。これは、この時点で、当該ボリュームと、当該ボリュームを総コピー元ボリュームＶ１とする全ての中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３の最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６を超え、新たなビットマップ８０９への記録を開始済みであるためである。
【００８５】
次に、当該ボリュームの直接のコピー先全てに対し、ビットマップ切り替えを要求する（ステップＳ７１０）。
【００８６】
次に、当該ボリュームの直接のコピー先全てからビットマップ切り替え完了報告あるか判断する（ステップＳ７１１）。ステップＳ７１１の条件不成立の場合、一定時間待ち（ステップＳ７１２）、再びステップＳ７１１の判断を実行する。
【００８７】
ステップＳ７１１の条件成立の場合、ビットマップ切り替え終了のため、ビットマップ切り替え中フラグ８０４をＯＦＦし（ステップＳ７１３）、処理を終了する。
【００８８】
図８に、記憶装置システム２の内、中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３を持つ記憶装置システム２で実行するビットマップ切り替え処理３５について説明する。
【００８９】
まず、コピー元サイトからビットマップ切り替え契機ライトシーケンス＃８０６を受領し、ビットマップ切り替え対象となる中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３のビットマップ切り替え契機ライトシーケンス＃８０６に設定する（ステップＳ８０１）。
【００９０】
次に、ライトシーケンス＃到達フラグ８０８をＯＦＦし（ステップＳ８０２）、ライトシーケンス＃確認要求フラグ８０７をＯＮする（ステップＳ８０３）。
【００９１】
次に、当該ボリュームに直接のコピー先が存在するか判断する（ステップＳ８０４）。
【００９２】
ステップＳ８０４の条件不成立（末端コピー先ボリュームＶ３に相当）の場合、ステップＳ８０８へ。
【００９３】
ステップＳ８０４の条件成立（中間コピー先ボリュームＶ２に相当）の場合、当該ボリュームの直接のコピー先全てに対し、ビットマップ切り替え契機ライトシーケンス＃８０６を転送し、最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６を超えた場合のライトシーケンス＃到達報告を要求する（ステップＳ８０５）。
【００９４】
次に、当該ボリュームの直接のコピー先全てからライトシーケンス＃到達報告が有るか判断する（ステップＳ８０６）。ステップＳ８０６の条件不成立の場合、一定時間待ち（ステップＳ８０７）、再びステップＳ８０６の判断を実行する。
【００９５】
ステップＳ８０６の条件成立の場合、当該ボリュームのライトシーケンス＃到達フラグがＯＮであるか判断する（ステップＳ８０８）。ステップＳ８０８の条件不成立の場合、一定時間待ち（ステップＳ８０９）、再びステップＳ８０８の判断を実行する。
【００９６】
ステップＳ８０８の条件成立の場合、当該ボリュームの直接のコピー元にライトシーケンス#到達を報告する（ステップＳ８１０）。
【００９７】
次に、当該ボリュームの直接のコピー元からビットマップ切り替え要求を受領したか判断する（ステップＳ８１１）。ステップＳ８１１の条件不成立の場合、一定時間待ち（ステップＳ８１２）、再びステップＳ８１１の判断を実行する。
【００９８】
ステップＳ８１１の条件成立の場合、当該ボリュームのビットマップ８０９の内、記録開始ライトシーケンス＃８１１が古い方のビットマップ有効フラグ８１０をＯＦＦし、当該ビットマップ８０９をクリアする（ステップＳ８１３）。
【００９９】
次に、当該ボリュームに直接のコピー先が存在するか判断する（ステップＳ８１４）。
【０１００】
ステップＳ８１４の条件不成立（末端コピー先ボリュームＶ３に相当）の場合、ステップＳ８１８へ。
【０１０１】
ステップＳ８１４の条件成立（中間コピー先ボリュームＶ２に相当）の場合、当該ボリュームの直接のコピー先全てに対し、ビットマップ切り替えを要求する（ステップＳ８１５）。
【０１０２】
次に、当該ボリュームの直接のコピー先全てからビットマップ切り替え完了報告が有るか判断する（ステップＳ８１６）。ステップＳ８１６の条件不成立の場合、一定時間待ち（ステップＳ８１７）、再びステップＳ８１６の判断を実行する。
【０１０３】
ステップＳ８１６の条件成立の場合、当該ボリュームの直接のコピー元にビットマップ切り替え完了を報告し（ステップＳ８１８）、処理を終了する。
【０１０４】
図９に、ライト処理３１、非同期正式化処理４１で実行するビットマップ更新処理３２について説明する。
【０１０５】
まず、ビットマップ有効フラグ８１０がＯＮであるビットマップ８０９のライトデータに対応するビットをＯＮし、更新したビットマップ８０９に対応した更新データ量カウンタ８１２をインクリメントする（ステップＳ９０１）。
【０１０６】
次に、最新ライトシーケンス＃８０５を当該ライトデータに対応したライトシーケンス＃に更新する（ステップＳ９０２）。
【０１０７】
次に、ライトシーケンス＃確認要求フラグ８０７がＯＮであるか判断する（ステップＳ９０３）。
【０１０８】
ステップＳ９０３の条件不成立の場合、処理を終了する。
【０１０９】
ステップＳ９０３の条件成立の場合、最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６と同じ、あるいは、超えるか判断する（ステップＳ９０４）。
【０１１０】
ステップＳ９０４の条件不成立の場合、処理を終了する。
【０１１１】
ステップＳ９０４の条件成立の場合、ライトシーケンス＃到達フラグ８０８をＯＮする（ステップＳ９０５）。
【０１１２】
次に、ビットマップ有効フラグ８１０がＯＦＦであるビットマップ８０９のビットマップ有効フラグ８１０をＯＮし、記録開始ライトシーケンス＃８１１に最新ライトシーケンス＃８０５を設定する（ステップＳ９０６）。
【０１１３】
次に、新たにビットマップ有効フラグ８１０をＯＮしたビットマップ８０９におけるライトデータに対応するビットをＯＮし、更新したビットマップ８０９に対応した更新データ量カウンタ８１２をインクリメントする（ステップＳ９０７）。
【０１１４】
最後に、ライトシーケンス＃確認要求フラグ８０７をＯＦＦし（ステップＳ９０８）、処理を終了する。
【０１１５】
図１０に、ビットマップ切り替えにおける、各サイトの処理とサイト間の通信の概要を示す。
【０１１６】
総コピー元ボリュームＶ１を持つサイトで実行しているのがビットマップ切り替え起動処理３４、中間コピー先ボリュームＶ２、または、末端コピー先ボリュームＶ３を持つサイトで実行しているのがビットマップ切り替え処理３５である。ただし、一部ビットマップ更新処理３２を含む。各実行内容には、該当するステップ番号を付加した。
【０１１７】
図１０は、サイト全体のビットマップ１からビットマップ２へのビットマップ切り替えの概要を示しており、ビットマップ切り替えは、この後、ビットマップ２からビットマップ１へ、さらに、ビットマップ１からビットマップ２へといったように、交互に実行する。
【０１１８】
ビットマップ切り替えを、サイト全体として、単一のビットマップを更新する状態から、一時的に２重のビットマップを更新する状態を経て、再び単一のビットマップを更新する状態へ移行することにより、ビットマップ切り替え中を含む任意の瞬間、任意のサイト同士で必ず記録開始ライトシーケンス＃８１１が同じビットマップ８０９を共有することができ、ライトシーケンス＃の進んだサイト側にボリューム内容を一致させることができる。
【０１１９】
また、ビットマップ切り替えにおいて、一部のサイトの障害を検出した場合、ビットマップ切り替え契機ライトシーケンス＃８０６の各サイトの記憶装置システム２への転送が失敗することがある。この場合、総コピー元ボリュームＶ１を持つ記憶装置システム２において、ステップＳ７０９のビットマップ８０９クリアの内容を実行せず、ステップＳ７１０において、ビットマップ８０９をクリアせずビットマップ切り替え完了を報告するよう他サイトの記憶装置システム２に要求することで、障害を発生したサイトも含めた差分の管理を続行することができる。
【０１２０】
さらに、各記憶装置システム２においてビットマップ８０９を３重以上持ち、一部サイトの障害を検出した場合、上記のように、障害を検出した時点で使用していたビットマップ８０９をクリアしないようにし、残りのビットマップを使用してビットマップ切り替えを続行することで、障害を発生したサイトも含めた差分の管理を続行しながら、正常なサイト間の差分の増大を抑止することができる。クリアしないようにしたビットマップ８０９を、すべてのサイトが正常となるまで維持することで、障害サイトがさらに増えても、障害を発生したサイトも含めた差分の管理を続行することができる。
【０１２１】
また、ビットマップ切り替えに伴う記憶装置システム２間の通信内容を、通常のリモートコピーデータの転送、および、応答に添付して実行することで、サイト間の通信負荷を削減できる。
【０１２２】
図１１に、サイト被災後、サイト間でボリューム内容を一致させるための手順について説明する。
【０１２３】
まず、サイト被災により直接のコピー元を失った自ボリュームの新たな直接のコピー元として、自ボリュームと同じ総コピー元ボリュームＶ１を持つボリュームの内、自ボリュームより最新ライトシーケンス＃８０５が進んでいるボリュームを選択する（ステップＳ１１０１）。
【０１２４】
次に、自サイトと新たな直接のコピー元サイトの記憶装置システム２間に転送パスを設定する（ステップＳ１１０２）。
【０１２５】
次に、自サイトと新たな直接のコピー元サイトの記憶装置システム２間でリモートコピーを開始する（ステップＳ１１０３）。これ以降、新たな直接のコピー元サイトのコピー元ボリュームに対してなされた更新は、自サイトのコピー先ボリュームに逐次反映される。
【０１２６】
最後に、自サイトと新たな直接のコピー元サイトの記憶装置システム２間で差分コピー処理３６を起動する（ステップＳ１１０４）。差分コピー処理３６については後述する。
【０１２７】
差分コピー処理３６終了後も、そのままリモートコピーを継続することで、通常と同じリモートコピー動作となる。
【０１２８】
上記の新たな直接のコピー元サイトとして、あらかじめ、自ボリュームについて自サイトより総コピー元ボリュームＶ１に近い上流側のサイトを登録しておいても良い。
【０１２９】
図１２に、サイト被災後、サイト間でボリューム内容を一致させるための手順の1つである差分コピー処理３６について説明する。
【０１３０】
まず、新たな直接のコピー元サイトにおいて、自サイトと新たな直接コピー元サイトの両サイトでビットマップ有効フラグ８１０がＯＮであるビットマップ８０９で、かつ、この条件を満たすビットマップが複数存在する場合には、記録開始ライトシーケンス＃８１１が新しい方のビットマップ８０９を選択し、ビットマップ８０９の内容を、差分コピー処理３６でコピーするデータを決定するための差分ビットマップ８１３にコピーする（ステップＳ１２０１）。差分ビットマップ８１３にコピーする理由は、新たな直接のコピー元サイトでは、サイト被災後もリモートコピーが継続している場合があり、ビットマップ有効フラグ８１０がＯＮであるビットマップ８０９が更新され続けることがあるため、差分コピー量の増大を防ぐため、現状の両サイトのボリューム間の差分を保存しておく必要があるためである。
【０１３１】
次に、差分ビットマップ８１３でＯＮとなっているビットに対応する部分を、新たな直接のコピー元サイトのコピー元ボリュームから自サイトのコピー先ボリュームにコピーする（ステップＳ１２０２）。
【０１３２】
最後に、差分ビットマップ８１３をクリアし（ステップＳ１２０３）、処理を終了する。
【０１３３】
【発明の効果】
本発明によれば、主に３サイト以上のNサイトに配置した記憶制御装置間のリモートコピーにおいて、１サイト被災後、速やかに残サイト間のリモートコピーデータの一致を実現するための差分を管理することができる。また、リモートコピーを構成するサイト数Nに依存せず、差分を管理する情報量を一定に保つことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における、Ｎサイト間のリモートコピーの構成例を示す。
【図２】本発明の実施の形態における、記憶装置システムの構成例を示す。
【図３】本発明の実施の形態における、ライトシーケンス管理情報とキャッシュメモリの関係の一例を示す。
【図４】本発明の実施の形態における、記憶装置システムで実行するライト処理の一例を示す。
【図５】本発明の実施の形態における、非同期リモートコピー元の記憶装置システムで実行する非同期転送処理の一例を示す。
【図６】本発明の実施の形態における、非同期リモートコピー先の記憶装置システムで実行する非同期正式化処理の一例を示す。
【図７】本発明の実施の形態における、総コピー元ボリュームＶ１を持つ記憶装置システムで実行するビットマップ切り替え起動処理の一例を示す。
【図８】本発明の実施の形態における、中間／末端コピー元ボリュームを持つ記憶装置システムで実行するビットマップ切り替え処理の一例を示す。
【図９】本発明の実施の形態における、ライト処理、および、非同期正式化処理で実行するビットマップ更新処理の一例を示す。
【図１０】本発明の実施の形態における、ビットマップ切り替えの概要を示す。
【図１１】本発明の実施の形態における、サイト被災後、サイト間でボリューム内容を一致させるための手順の一例を示す。
【図１２】本発明の実施の形態における、サイト被災後、サイト間でボリューム内容を一致させるための手順の1つである差分コピー処理の一例を示す。
【符号の説明】
１…ホストコンピュータ、２…記憶装置システム、２１…記憶制御装置、２２…記憶装置、２３…保守端末、３…チャネルインタフェース、３１…ライト処理、３２…ビットマップ更新処理、３３…非同期転送処理、３４…ビットマップ切り替え起動処理、３５…ビットマップ切り替え処理、３６…差分コピー処理、４…ディスクインタフェース、４１…非同期正式化処理、５…キャッシュメモリ、６…管理情報メモリ、６２…ライトシーケンス管理情報、６３…ボリューム管理情報、７１…ライトシーケンス＃カウンタ、７２１…ライトシーケンス管理情報エントリ、７３…転送対象ライトシーケンス管理情報、７４…正式化対象ライトシーケンス管理情報、８０４…ビットマップ切り替え中フラグ、８０５…最新ライトシーケンス＃、８０６…ビットマップ切り替え契機ライトシーケンス＃、８０７…ライトシーケンス＃確認要求フラグ、８０８…ライトシーケンス＃到達フラグ、８０９…ビットマップ、８１０…ビットマップ有効フラグ、８１１…ビットマップ記録開始ライトシーケンス＃、８１２…ビットマップ更新量データカウンタ、８１３…差分ビットマップ、Ｔ１…グローバルネットワーク、Ｔ２…ローカルネットワーク、Ｖ１…総コピー元ボリューム、Ｖ２…中間コピー先ボリューム、Ｖ３…末端コピー先ボリューム。
【発明の属する技術分野】
本発明は、ホストコンピュータを介さず、記憶装置システム間でデータを２重化するリモートコピー機能に関する。特に、3サイト以上に配置した記憶装置システム間のリモートコピーにおいて、任意サイトが被災し、被災していないサイト間でリモートコピーを継続する場合における、リモートコピー指定範囲の内容の一致管理に関する。
【０００２】
【従来の技術】
災害等による記憶装置システム内のデータ喪失を避けるため、遠隔地にある記憶装置システムに当該データを２重化する機能にリモートコピーがある。
【０００３】
リモートコピーでは、ホストコンピュータに接続している正記憶制御装置と、正記憶制御装置と接続している副記憶制御装置に、リモートコピー対象ボリュームを設定し、正記憶制御装置に接続している正記憶装置の正ボリュームと、副記憶制御装置に接続している副記憶装置の副ボリュームの内容を常に一致させるようにコピーを実行し続ける。
【０００４】
特開平１１−８５４０８号公報には、異なる記憶制御装置間で、ホストコンピュータを介さずデータを2重書きする技術が開示されている。本発明では、ホストコンピュータからライト時刻を付加されたライトデータを受領した正記憶制御装置は、ホストコンピュータにライトデータのライト完了報告後、ライト時刻順に、ライト時刻とライトデータを副記憶制御装置に転送する。副記憶制御装置では、正記憶制御装置から受領したライト時刻とライトデータを不揮発のキャッシュメモリに格納し、あるライト時刻までのデータを保証する。
【０００５】
リモートコピーの動作は大きく２つに分けられる。ホストコンピュータへのライト要求の終了報告前に副記憶制御装置にライトデータを転送する同期リモートコピー、ホストコンピュータへのライト要求の終了報告後にライト要求とは非同期に副記憶制御装置にライトデータを転送する非同期リモートコピーである。データベース等のアプリケーションにリモートコピーを使用しようとすると、ログの更新順序を保証するために、正ボリュームに対する更新順序どうりに副ボリュームを更新する必要がある。これを実現するために、非同期リモートコピーでは、正記憶制御装置において、ホストコンピュータからのライト毎に、ライトデータにシーケンス＃を付加し、副記憶制御装置でシーケンス＃どうりに副ボリュームに反映する方法がある。
【０００６】
上記に述べた従来のリモートコピーにおいて、リモートコピーを一時中断する場合（例えば、正記憶制御装置と副記憶制御装置間のリンク障害等によってリモートコピーが中断する場合等）、リモートコピー再開時に正ボリュームと副ボリュームの内容を早く一致させることを目的に、リモートコピーが中断している間のホストコンピュータからの正ボリュームに対する更新履歴を正／副ボリューム間の差分情報として正記憶制御装置内に記録しておくことがある。その後、リモートコピー再開時に、記録しておいた更新履歴を使用して、正ボリュームの内容を副ボリュームへ反映することで、正ボリュームと副ボリュームの内容を一致させることができる。
【０００７】
従来のリモートコピーにおける差分情報は、通常、ホストコンピュータからの更新位置であって、正ボリュームは更新されているが副ボリュームは更新されていない位置を記録する性質のものであるため、正記憶制御装置側に持つのが一般的である。
【０００８】
近年、ネットワークの高速化、低価格化に伴い、遠隔地間のデータ転送コストが下がりつつある。このため、リモートコピーにおける転送データ量を増やし、リモートコピーデータの可用性をさらに高めるために、１サイトが被災してもデータの2重化を維持できるように、３サイト以上のNサイト間でリモートコピーを実施したいという要求がある。
【０００９】
Nサイト間リモートコピーの運用として、Nサイトの内１サイトが被災した場合、残りの（N−１）サイトでリモートコピーを再構成し、リモートコピーを継続する形態が望まれる。この場合、リモートコピーを継続するために、残りの（N−１）サイト間でリモートコピーデータを速やかに一致させる必要がある。つまり、（N−１）サイト間の差分管理を行い、差分相当のコピーによって速やかにリモートコピーデータを一致させることが望ましい。
【００１０】
なぜなら、差分管理を実施しない場合、全てのリモートコピーデータをコピー元からコピー先へコピーする必要が生じる場合がある。これは、差分相当のコピーと比較し、コピーに長時間かかる上、コピー実行中においてデータの可用性が低下した状態となるため、確保しているサイト数だけの冗長性を生かしきれない。
【００１１】
ここで、例として、３サイトでリモートコピーを構成し、従来のリモートコピーにおける差分管理の方法を使用した場合の問題点を考える。３つのサイトをA、B、Cとする。
【００１２】
まず、サイト間を転送するリモートコピーデータの流れがA→B→Cの場合、サイトBが被災すると、サイトAとサイトCのボリューム間で差分をコピーしリモートコピーを再開することが望ましい。従来のリモートコピーにおける差分管理情報は正記憶制御装置側に持つのが一般的であることから、サイトA−B間の差分管理情報はサイトAが、サイトB−C間の差分管理情報はサイトBが持つことになる。このため、サイトB被災時には、サイトB−C間の差分管理情報が失われるため、サイトA−C間の差分が分からなくなる。
【００１３】
また、サイト間を転送するリモートコピーデータの流れがA→B、A→Cの場合、サイトAが被災すると、サイトBとサイトCのボリューム間で差分をコピーしリモートコピーを再開することが望ましい。この場合、サイトA−B、A−C間の差分管理情報は被災したサイトAが持っているため、サイトB−C間の差分が分からなくなる。
【００１４】
この問題に対応するため、通常時にリモートコピーデータのやりとりの無いサイト間で、あらかじめ差分管理を実施しておく方法が考えられる。上記の例においては、サイトＢ被災前にサイトＡ−Ｃ間の差分を、また、サイトＡ被災前にサイトＢ−Ｃ間の差分を管理しておく方法である。しかし、この方法の場合、サイト数に比例してあらかじめ管理しなければならないサイト間の差分情報が増大する、また、例えば、２サイト同時に被災するような想定外の事態に対し差分管理できない。
【００１５】
【発明が解決しようとする課題】
従来の、２サイト間でのリモートコピーの差分管理方法は、Nサイト間での差分管理について考慮していない。
【００１６】
このため、Nサイト間でのリモートコピー時、1つのサイトが被災し、被災していない残りの（N−１）サイトでリモートコピーを継続しようとした場合、すべてのリモートコピーデータを、新たなコピー元サイトからコピー先サイトへ転送してからでなければ、リモートコピーを再構成できないという問題があった。
【００１７】
また、従来の、２サイト間でのリモートコピーの差分管理方法を、サイト被災後のリモートコピー再構成時の新たなサイト間ペアに対してあらかじめ適応しておく場合、サイト数が増加するに従い、各サイトの差分管理情報が増大するという問題があった。また、多重サイトの被災に対して差分管理できないという問題があった。
【００１８】
本発明の目的は、主に３サイト以上のNサイトに配置した記憶装置システム間のリモートコピーにおいて、任意サイトの被災後、速やかに残サイト間のリモートコピーデータの一致を実現するための差分を管理することにある。また、リモートコピーを構成するサイト数Nに依存せず、差分を管理する情報量を一定に保つことにある。
【００１９】
【課題を解決するための手段】
この目的を達成するために、本発明による記憶装置システムは、ホストコンピュータと記憶装置システムとを備える複数のサイトにある記憶装置システムにおいて、前記サイト間のネットワークにより記憶装置システム同士が接続されており、該記憶装置システムが、前記ホストコンピュータから更新されるデータを他サイトの記憶装置システムに反映するリモートコピー構成を有し、前記記憶装置システムは、リモートコピー指定範囲の更新履歴を記録する領域を多重に備えており、 前記ホストコンピュータから直接更新される記憶装置システムのリモートコピー指定範囲への、前記ホストコンピュータからの更新量が閾値を超えた契機において、新たな更新履歴への切り替え契機となるホストコンピュータからの更新を決定し、前記リモートコピー指定範囲およびコピー先リモートコピー指定範囲を持つ記憶装置システム間で共有し、各記憶装置システムにおいて、リモートコピー指定範囲またはコピー先リモートコピー指定範囲の更新が、新たな更新履歴への切り替え契機となるホストコンピュータからの更新に到達した時点から、新たな更新履歴の記録を開始し、前記リモートコピー指定範囲およびコピー先リモートコピー指定範囲を持つ記憶装置システムすべてが、新たな更新履歴の記録を開始したことを確認後、従来の更新履歴の記録を中断し、従来の更新履歴を初期化し、任意サイトの被災時、被災していない任意サイト間のリモートコピー指定範囲、または、コピー先リモートコピー指定範囲の内容を、更新履歴に従って、リモートコピー指定範囲、または、コピー先リモートコピー指定範囲の一部をコピーすることで、リモートコピー指定範囲、または、コピー先リモートコピー指定範囲の内容を一致させる、構成としている。
【００２１】
また、新たな更新履歴への切り替え契機となる、ホストコンピュータからの更新の決定を、前回の更新履歴の切り替えからの経過時間が閾値を超えた契機にも実行しても良い。
【００２２】
また、記憶装置システム間での情報のやりとりを、当該記憶装置システムのリモートコピー指定範囲、または、コピー先リモートコピー指定範囲に対応する直接のコピー元、および、直接のコピー先との間でのみ実行しても良い。
【００２３】
また、記憶装置システム間での情報のやりとりを、リモートコピーデータの転送、および、その応答に添付して実行しても良い。
【００２４】
また、任意サイトの被災時、被災していないサイト間のリモートコピー指定範囲、または、コピー先リモートコピー指定範囲の内容を一致させるための更新履歴を、
両サイトにおいて、有効、かつ、記録を開始したホストコンピュータからの更新が同じであるという条件で選択し、
さらに、両サイトにおいて、前記条件を充足する複数の更新履歴が存在する場合には、記録を開始したホストコンピュータからの更新が新しい更新履歴を選択しても良い。
【００２５】
また、保守端末より、リモートコピー指定範囲、または、コピー先リモートコピー指定範囲のリモートコピー先毎に、リモートコピー先障害時の他のリモートコピー先へのリモートコピーの実行可否を指定し、
リモートコピー先障害時、前記指定に従って、当該記憶装置システムからのリモートコピー先へのリモートコピーを制御しても良い。
【００２６】
【発明の実施の形態】
以下、本発明の第1の実施の形態を図面を用いて説明する。
【００２７】
図１に、Nサイト間でのリモートコピー構成の示す。各サイトには、複数のホストコンピュータ１や複数の記憶装置システム２等をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）といったローカルネットワークＴ２によって互いに接続している。一方、各サイトの記憶装置システム２の内、リモートコピーを実行する記憶装置システム２同士はグローバルネットワークＴ１を介し接続している。グローバルネットワークＴ１は、一般的に公衆通信回線であり、通信サービスを提供する業者から有料で借り受けるものを利用する場合が多い。ただし、ローカルネットワークＴ２、グローバルネットワークＴ１の構成が、本発明を限定するものではない。
【００２８】
リモートコピー対象ボリュームの種類は、コピー元ボリュームを持たずコピー先ボリュームを持つ総コピー元ボリュームＶ１、コピー元ボリュームとコピー先ボリュームを持つ中間コピー先ボリュームＶ２、コピー元ボリュームを持ちコピー先ボリュームを持たない末端コピー先ボリュームＶ３に大別できる。リモートコピー対象ボリューム間の関係は、総コピー元ボリュームＶ１を頂点とするツリー状となり、総コピー元ボリュームＶ１から中間コピー先ボリュームＶ２を経て末端コピー先ボリュームＶ３へ順にリモートコピーデータを転送する。
【００２９】
図１では、サイト１のボリュームを総コピー元ボリュームＶ１とし、サイト２の中間コピー先ボリュームＶ２を経て、サイト（Ｋ−１）、サイト（Ｎ−１）の末端コピー先ボリュームＶ３へ、また、サイトＫの中間コピー先ボリュームＶ２を経て、サイト（Ｎ−２）の末端コピー先ボリュームＶ３へリモートコピーを実施している構成である。
【００３０】
図２に、記憶装置システム２の構成を示す。記憶制御装置２１は、ホストコンピュータ１と接続するチャネルインタフェース３と、記憶装置２２と接続するディスクインタフェース４と、管理情報を格納する２重化した不揮発の管理情報メモリ６と、データを格納する２重化した不揮発のキャッシュメモリ５とをパスで接続した構成である。各チャネルインタフェース３、および、各ディスクインタフェース４は、２重化した管理情報メモリ６それぞれ、および、２重化キャッシュメモリ５それぞれと接続している。また、記憶制御装置２１は、当該記憶制御装置２１への指示や当該記憶制御装置２１内部の状態を表示するための保守端末２３を備える。
【００３１】
チャネルインタフェース３は、ホストコンピュータ１からのライト要求やリモートコピー元となる他の記憶装置システム２からのリモートコピーのライト要求を処理するライト処理３１、ライトされた範囲に対応するビットマップを更新するビットマップ更新処理３２、自記憶装置システム２が非同期リモートコピーのコピー元である場合、ライトデータをライト要求とは非同期にコピー先である他の記憶装置システム２に転送する非同期転送処理３３、総コピー元ボリュームＶ１を持つ記憶装置システム２から当該ボリュームのコピー先となる全ボリュームのビットマップ８０９を切り替える契機を与えるビットマップ切り替え起動処理３４、ビットマップ切り替え起動処理３４からのビットマップ切り替え要求を受領し、ビットマップを切り替えるビットマップ切り替え処理３５、任意サイトの被災後において残サイト間でリモートコピー構成を再構成する場合の残サイト間のボリューム内容を一致させる差分コピー処理３６を備える。
【００３２】
ディスクインタフェース４は、自記憶装置システム２が非同期リモートコピーのコピー先である場合、コピー元からのライト時に仮データとして一旦保存しておいたリモートコピーデータを正式化する非同期正式化処理４１、チャネルインタフェース３側と同じビットマップ更新処理３２を備える。
【００３３】
各処理はそれぞれ複数存在し、存在する単位は、ビットマップ切り替え起動処理３４、ビットマップ切り替え処理３５、および、差分コピー処理３６がボリューム単位であったり、非同期転送処理３３、および、非同期正式化処理４１が後述するライトシーケンス管理情報６２単位であったりしても良い。
【００３４】
キャッシュメモリ５は、記憶装置２２に格納しているホストコンピュータ１からリード／ライトされるデータを格納している。キャッシュメモリ５の構成は、通常領域と仮領域に大別できる。仮領域を持つ理由は、自記憶装置システム２が非同期リモートコピーのコピー元である場合、コピー先に未転送のリモートコピーデータが再びライトされた際にライト前の未転送データを保存するため、あるいは、自記憶装置システム２が非同期リモートコピーのコピー先である場合、コピー元より受領し非同期正式化処理４１によって正式化するまでのリモートコピーデータを保存するためである。
【００３５】
管理情報メモリ６は、記憶装置システム２が動作するために必要な管理情報を格納している。その中には、リモートコピー管理情報６１が含まれ、リモートコピー管理情報６１には、ライトシーケンス管理情報６２、ボリューム管理情報６３が含まれる。
【００３６】
ライトシーケンス管理情報６２は、非同期リモートコピーにおいてホストコンピュータ１からのライト順序でリモートコピーデータを正式化するために使用する。ライトシーケンス管理情報６２は複数存在し、各々のライトシーケンス管理情報６２は、ホストコンピュータ１からのライト順序を記録するためのライトシーケンス＃カウンタ７１、ライトデータ毎に割り当てライトシーケンス＃を保存しライトデータに関連付けるライトシーケンス管理情報エントリ領域７２のライトシーケンス管理情報エントリ７２１、非同期リモートコピーのコピー元においてコピー先に未転送のリモートコピーデータを登録する転送対象ライトシーケンス管理情報７３、非同期リモートコピーのコピー先においてコピー元から受領し未だ正式化していないリモートコピーデータを登録する正式化対象ライトシーケンス管理情報７４等から構成する。
【００３７】
図３に、ライトシーケンス管理情報６２の構造とキャッシュメモリ５の関係を示す。ライトデータ毎にライトシーケンス管理情報エントリ７２１を割り当て、ライトシーケンス管理情報エントリ７２１にキャッシュメモリ５のライトデータの位置を設定する。また、転送対象ライトシーケンス管理情報７３、正式化対象ライトシーケンス管理情報７４は、ライトシーケンス管理情報エントリ７２１を接続するキュー構造であっても良い。
【００３８】
また、ホストコンピュータ１からのライト順序を複数のボリューム間で保証したい場合には、同じライトシーケンス管理情報６２のライトシーケンス＃カウンタ７１を使用して複数のボリュームのライトデータにライトシーケンス＃を割り当て、同じ転送対象ライトシーケンス管理情報７３に登録し、コピー先において、同じ正式化対象ライトシーケンス管理情報７４に登録し、ライトシーケンス＃に従って正式化すれば良い。
【００３９】
図２に戻って、ボリューム管理情報６３は、リモートコピー対象ボリュームに関する管理情報である。ボリューム管理情報６３は複数存在し、各々のボリューム管理情報６３は、自ボリュームが使用するライトシーケンス管理情報６２を指定するライトシーケンス管理情報＃８０１、当該ボリュームのコピー先情報８０２、当該ボリュームのコピー元情報８０３、ビットマップ切り替えを排他するためのビットマップ切り替え中フラグ８０４、当該ボリュームがコピー先ボリュームである場合の最新ライトシーケンス＃８０５、最新ライトシーケンス＃と比較しビットマップを切り替える契機とするビットマップ切り替え契機ライトシーケンス＃８０６、ビットマップ切り替え時に自記憶装置システム２において最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６に達したかどうかの確認を要求するライトシーケンス＃確認要求フラグ８０７、最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６に達したことを示すライトシーケンス＃到達フラグ８０８、当該ボリュームの更新箇所を記録するビットマップ８０９（複数）、対応するビットマップが有効であることを示すビットマップ有効フラグ８１０（複数）、対応するビットマップへの記録を開始したライトシーケンス＃を示すビットマップ記録開始ライトシーケンス＃８１１（複数）、対応するビットマップへの更新量を示すビットマップ更新データ量カウンタ８１２（複数）、サイト被災等により他サイトとのボリューム内容を一致させる必要が生じた場合に使用する差分ビットマップ８１３等から構成する。
【００４０】
コピー先情報８０２、コピー元情報８０３とは、コピー元／先の記憶装置システム２と通信するために必要な情報や、コピー元／先のボリュームを特定する情報等である。
【００４１】
また、簡単のため、本発明の実施の形態においては、管理情報をボリューム単位に持つ（ボリューム管理情報６３）こととしたが、これは、本発明の範囲を制限するものではない。管理情報は、記憶装置システム２間で共有できる任意の単位で持つことができ、よって、記憶装置システム２間で共有できる任意の単位でリモートコピーを実行することができる。
図４に、各記憶装置システム２で実行するライト処理３１について説明する。
【００４２】
説明を分かり易くするため、ライト処理３１が対象とする、ライト要求元とライトデータの種別の概要を補足する。ライト要求元は、ホストコンピュータ１、または、リモートコピー元の記憶装置システム２である。
【００４３】
ホストコンピュータ１からのライトデータは、ライト対象ボリュームにより、１）リモートコピー先の無いもの、リモートコピー先の有るもので２）同期リモートコピー先のみのもの、３）非同期リモートコピー先のみのもの、４）両方のものに分けられる。
【００４４】
リモートコピー元の記憶装置システム２からのライトデータは、ライト対象ボリュームにより、同期リモートコピーによりライトされたもの、非同期リモートコピーによりライトされたものに分けられ、同期リモートコピーによりライトされたものは、上記１）〜４）と同様に、５）リモートコピー先の無いもの、リモートコピー先の有るもので６）同期リモートコピー先のみのもの、７）非同期リモートコピー先のみのもの、８）両方のものに分けられる。また、非同期リモートコピーによるものは、上記１）、４）と同様に、９）リモートコピー先の無いもの、１０）非同期リモートコピー先のみのものに分けられる。２）、３）を対象外としたのは、同期リモートコピーがリモートコピー完了後にホストコンピュータにライト終了を報告するものであり、中間コピー先ボリュームＶ２において、非同期リモートコピーで受領したリモートコピーデータを同期リモートコピーで他サイトのボリュームにリモートコピーすることは、あまり意味が無く現実的でないためである。
【００４５】
ライト処理３１では、まず、ライト要求を受領し（ステップＳ４０１）、ライト要求元がホストコンピュータ１、かつ、ライト対象ボリュームがリモートコピー元でないか確認する（ステップＳ４０２）。
【００４６】
ステップＳ４０２の条件成立の場合、ホストコンピュータ１からリモートコピーに関連しないボリュームへのライト要求であるため（上記１）に相当）、ライトデータをキャッシュメモリ５の通常領域に格納し（ステップＳ４０３）、ライト要求元にライト終了を報告する（ステップＳ４０４）。このライトデータは、ホストコンピュータ１からのライト要求とは非同期に、記憶制御装置２１が記憶装置２２に書き込む。
【００４７】
ステップＳ４０２の条件不成立の場合、ライト要求元がホストコンピュータ１であるか確認する（ステップＳ４０５）。
【００４８】
ステップＳ４０５の条件成立の場合（上記２）３）４）に相当）、ライトデータに対応させるライトシーケンス管理情報エントリ７２１を確保し、ライトシーケンス＃を付与する。具体的には、ホストコンピュータ１からライトされたボリュームに対応するボリューム管理情報６３のライトシーケンス管理情報＃８０１を参照し、対応するライトシーケンス管理情報６２のライトシーケンス管理情報エントリ７２１を確保し、ライトシーケンス＃カウンタ７１の値を設定し、ライトシーケンス＃カウンタ７１の値を加算し、ライトシーケンス管理情報エントリ７２１をライトデータと関連付ける。
【００４９】
ライトシーケンス＃の付加は、リモートコピーの同期／非同期に関係なく実行する。これは、仮に当該ボリュームの直接のコピー先が同期リモートコピー先だけであったとしても、これらのコピー先のさらに先が非同期リモートコピーを実行することがあるためである。
【００５０】
ステップＳ４０５の条件不成立の場合（上記６）〜１０）に相当）、ライトデータに対応させるライトシーケンス管理情報エントリ７２１を確保し、ライトデータと共に受領したライトシーケンス＃を含むライトシーケンス管理情報６２を格納する（ステップＳ４０７）。
【００５１】
次に、ライトデータをキャッシュメモリ５に格納する。キャッシュメモリ５への格納方法は、ライト対象ボリュームにより異なり、Ａ）非同期リモートコピー先である（上記９）１０）に相当）、Ｂ）非同期リモートコピー先ではなく、非同期リモートコピー元である（上記３）４）７）８）に相当）、Ｃ）それら以外（上記２）５）６）に相当）の３通りに分けられる。これは、ライト対象ボリュームがＡ）である場合、受領したライトデータを一旦仮保存し、ライトシーケンス＃に従って正式にライトする必要があるためである。また、Ｂ）である場合、非同期リモートコピー先に未転送のライトデータをライトされた場合、古いライトデータを転送するまで別に保存しておく必要があるためである。
【００５２】
まず、ライト対象ボリュームが非同期リモートコピー先かどうか判断する（ステップＳ４０８）。
【００５３】
ステップＳ４０８の条件成立（上記Ａ）に相当）の場合、当該ライトデータはホストコンピュータ１からの更新順を示すライトシーケンス＃に従ってライトする必要があるため、一旦、ライトデータをキャッシュメモリ５の仮領域に格納し（ステップＳ４０９）、ライトデータに対応するライトシーケンス管理情報エントリ７２１を正式化対象データとして正式化対象ライトシーケンス管理情報７４に登録する（ステップＳ４１０）。図３においては、ライトシーケンス管理情報エントリ７２１＿ｅ、７２１＿ｆが相当する。
【００５４】
さらに、ライト対象ボリュームが非同期リモートコピーのコピー元であるか判断し（ステップＳ４１１）、ステップＳ４１１の条件成立（上記３）４）７）８）１０）に相当）の場合、ライトデータに対応するライトシーケンス管理情報エントリ７２１を転送対象データとして転送対象ライトシーケンス管理情報７３に登録する（ステップＳ４１２）。図３においては、ライトシーケンス管理情報エントリ７２１＿ｂ、７２１＿ｃ、７２１＿ｄ、７２１＿ｅが相当する。
【００５５】
ステップＳ４０８の条件不成立の場合、さらに、ライト対象ボリュームが非同期リモートコピーのコピー元であるか判断する（ステップＳ４１３）。
【００５６】
ステップＳ４１３の条件成立（上記Ｂ）に相当）の場合、非同期リモートコピー先へ未転送のライトデータをキャッシュメモリ５の仮領域へ移設した上で、ライトデータをキャッシュメモリ５の通常領域に格納する（ステップＳ４１４）。図３においては、ライトシーケンス管理情報エントリ７２１＿ｂ、７２１＿ｃ、７２１＿ｄが相当する。さらに、ビットマップ更新処理３２を実行する（ステップＳ４１５）。ビットマップ更新処理３２については後述する。その後、ステップＳ４１１へ。
【００５７】
ステップＳ４１３の条件不成立（上記Ｃ）に相当）の場合、当該ライトデータは、非同期リモートコピーのコピー先でもコピー元でもないため、ライトデータをキャッシュメモリ５の通常領域に格納する（ステップＳ４１６）。図３においては、ライトシーケンス管理情報エントリ７２１＿ａが相当する。さらに、ビットマップ更新処理３２を実行する（ステップＳ４１７）。ビットマップ更新処理３２については後述する。その後、ステップＳ４１８へ。
【００５８】
次に、ライト対象ボリュームが同期リモートコピーのコピー元であるか判断し（ステップＳ４１８）、ステップＳ４１８の条件成立の場合（上記２）４）６）８）に相当）、同期リモートコピーのコピー先にライトデータとライトシーケンス管理情報エントリ７２１の内容を転送する（ステップＳ４１９）。当該同期リモートコピーは、ライト要求元へのライト要求を受領してからライト終了を報告するまでの時間を短縮するために、複数のコピー先に対し並列に実行しても良い。
【００５９】
次に、当該ライトデータに対応するライトシーケンス管理情報７２１が、転送対象ライトシーケンス管理情報７３、および、正式化対象ライトシーケンス管理情報７４のいずれにも登録されていないか判断する（ステップＳ４２０）。ステップＳ４２０の条件成立（上記２）５）６）に相当）の場合、当該ライトデータに対応するライトシーケンス管理情報エントリ７２１は不要であるため、ライトシーケンス管理情報エントリ７２１を解放する（ステップＳ４２１）。図３においては、ライトシーケンス管理情報エントリ７２１＿ｇが相当する。
【００６０】
最後に、ライト要求元にライト終了を報告（ステップＳ４０４）し、処理を終了する。
【００６１】
図５に、記憶装置システム２の内、非同期リモートコピーのコピー元ボリュームを持つ記憶装置システム２で実行する非同期転送処理３３について説明する。当該処理は、ライトシーケンス管理情報６２単位に実行しても良い。
【００６２】
まず、転送対象ライトシーケンス管理情報７３に登録されたライトシーケンス管理情報エントリ７２１から転送対象を選択する（ステップＳ５０１）。
【００６３】
次に、非同期リモートコピー先に、選択したライトシーケンス管理情報エントリ７２１と対応するライトデータを転送する（ステップＳ５０２）。
【００６４】
次に、転送したライトシーケンス管理情報エントリ７２１の転送対象ライトシーケンス管理情報７３への登録を解除する（ステップＳ５０３）。
【００６５】
次に、転送したライトシーケンス管理情報エントリ７２１が正式化対象ライトシーケンス管理情報７４にも登録されているか判断する（ステップＳ５０４）。ステップＳ５０４の条件不成立の場合、非同期リモートコピー対象データとしての管理が不要となるため、転送したライトシーケンス管理情報エントリ７２１を解放し（ステップＳ５０５）、転送したライトデータがキャッシュメモリ５の仮領域を使用していた場合には、当該仮領域も解放する（ステップＳ５０６）。
【００６６】
図６に、記憶装置システム２の内、非同期リモートコピーのコピー先ボリュームを持つ記憶装置システム２で実行する非同期正式化処理４１について説明する。当該処理は、ライトシーケンス管理情報６２単位に実行しても良い。
【００６７】
まず、正式化対象ライトシーケンス管理情報７４に登録されたライトシーケンス管理情報エントリ７２１を参照し、ライトシーケンス＃が連続している範囲を正式化対象として選択する（ステップＳ６０１）。
【００６８】
次に、選択した正式化対象のライトデータは全て正式化済みか判断する（ステップＳ６０２）。
【００６９】
ステップＳ６０２の条件成立の場合、ステップＳ６０６へ。
【００７０】
ステップＳ６０２の条件不成立の場合、正式化対象として選択したライトデータの内、最も古いライトシーケンス＃に対応するライトデータをキャッシュメモリ５の仮領域から通常領域に移設し、正式化する（ステップＳ６０３）。
【００７１】
次に、正式化したライトシーケンス管理情報エントリ７２１の正式化対象ライトシーケンス管理情報７４への登録を解除する（ステップＳ６０４）
次に、ビットマップ更新処理３２を実行する（ステップＳ６０５）。ビットマップ更新処理３２については後述する。その後、ステップＳ６０２へ戻る。
【００７２】
次に、正式化したライトシーケンス管理情報エントリ７２１が転送対象ライトシーケンス管理情報７３にも登録されているか判断する（ステップＳ６０６）。ステップＳ６０６の条件不成立の場合、非同期リモートコピー対象データとしての管理が不要となるため、正式化したライトシーケンス管理情報エントリ７２１を解放し（ステップＳ６０７）、正式化したライトデータが使用していたキャッシュメモリ５の仮領域を解放する（ステップＳ６０８）。
【００７３】
図７に、記憶装置システム２の内、総コピー元ボリュームＶ１を持つ記憶装置システム２で実行するビットマップ切り替え起動処理３４について説明する。当該処理は、ビットマップ有効フラグ８１０がＯＮであるビットマップ８０９（２つ以上存在する場合には記録開始ライトシーケンス＃８１１の古い方）の更新データ量カウンタ８１２の値が一定の閾値を超えた場合に、ボリューム単位に実行しても良い。
【００７４】
また、前回実行したビットマップ切り替えからの経過時間が一定の閾値を超えた場合に、ボリューム単位に実行しても良い。
【００７５】
まず、総コピー元ボリュームＶ１、および、当該ボリュームを総コピー元ボリュームＶ１とする全ての中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３に対して、前回のビットマップ切り替え終了前に新たにビットマップ切り替えを開始しないようにするため、ビットマップ切り替え中フラグ８０４がＯＦＦであるか判断する（ステップＳ７０１）。
【００７６】
ステップＳ７０１の条件不成立の場合、未だビットマップ切り替え中のため、処理を終了する。
【００７７】
ステップＳ７０１の条件成立の場合、ビットマップ切り替え中フラグ８０４をＯＮする（ステップＳ７０２）。
【００７８】
次に、ビットマップ切り替え契機とするライトシーケンス＃を決定し、管理情報メモリのビットマップ切り替え契機ライトシーケンス＃８０６に設定する（ステップＳ７０３）。ビットマップ切り替え契機とするライトシーケンス＃の決定方法として、総コピー元ボリュームＶ１から、当該ボリュームを総コピー元ボリュームＶ１とする全ての中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３へ通知するまでに、中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３の最新ライトシーケンス＃８０５が超えてしまわない程度に進んだライトシーケンス＃を生成し、ビットマップ切り替え契機ライトシーケンス＃８０６として良い。
【００７９】
また、ビットマップ切り替え契機ライトシーケンス＃８０６が、切り替え先ビットマップ８０９の記録開始ライトシーケンス＃となることを意図しているが、１つのライトシーケンス管理情報６２で複数のボリュームのライトシーケンスを管理する場合、決定したビットマップ切り替え契機ライトシーケンス＃８０６が必ずしも当該ボリュームのライトデータに対して割り当てられるとは限らない。しかし、決定したビットマップ切り替え契機ライトシーケンス＃８０６を超えて当該ボリュームに最初に割り当てられるライトシーケンス＃は、総コピー元ボリュームＶ１と、当該ボリュームを総コピー元ボリュームＶ１とする全ての中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３において、一意に定まるため、ビットマップ切り替え契機ライトシーケンス＃８０６を超えて当該ボリュームに最初に割り当てられるライトシーケンス＃を、切り替え先ビットマップ８０９の記録開始ライトシーケンス＃とすることができる。
【００８０】
次に、最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６と同じとなった、あるいは、超えたことを知らせるライトシーケンス＃到達フラグ８０８をＯＦＦする（ステップＳ７０４）。
【００８１】
次に、ビットマップ更新処理３２に最新ライトシーケンス＃８０５とビットマップ切り替え契機ライトシーケンス＃８０６の比較を要求するライトシーケンス＃確認要求フラグ８０７をＯＮする（ステップＳ７０５）。
【００８２】
次に、当該ボリュームの直接のコピー先全てに対し、ビットマップ切り替え契機ライトシーケンス＃８０６を転送し、最新ライトシーケンス＃がビットマップ切り替え契機ライトシーケンス＃８０６を超えた場合のライトシーケンス＃到達報告を要求する（ステップＳ７０６）。
【００８３】
次に、当該ボリュームのライトシーケンス＃到達フラグ８０８がＯＮ、かつ、当該ボリュームの直接のコピー先全てからライトシーケンス＃到達報告が有るか判断する（ステップＳ７０７）。ステップＳ７０７の条件不成立の場合、一定時間待ち（ステップＳ７０８）、再びステップＳ７０７の判断を実行する。なお、当該ボリュームの直接のコピー先からの報告は、逐次、コピー先情報８０２に記録するものとする。
【００８４】
ステップＳ７０７の条件成立の場合、自サイトのビットマップ８０９の内、記録開始ライトシーケンス＃８１１が古い方の有効フラグ８１０をＯＦＦし、当該ビットマップ８０９をクリアする（ステップＳ７０９）。これは、この時点で、当該ボリュームと、当該ボリュームを総コピー元ボリュームＶ１とする全ての中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３の最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６を超え、新たなビットマップ８０９への記録を開始済みであるためである。
【００８５】
次に、当該ボリュームの直接のコピー先全てに対し、ビットマップ切り替えを要求する（ステップＳ７１０）。
【００８６】
次に、当該ボリュームの直接のコピー先全てからビットマップ切り替え完了報告あるか判断する（ステップＳ７１１）。ステップＳ７１１の条件不成立の場合、一定時間待ち（ステップＳ７１２）、再びステップＳ７１１の判断を実行する。
【００８７】
ステップＳ７１１の条件成立の場合、ビットマップ切り替え終了のため、ビットマップ切り替え中フラグ８０４をＯＦＦし（ステップＳ７１３）、処理を終了する。
【００８８】
図８に、記憶装置システム２の内、中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３を持つ記憶装置システム２で実行するビットマップ切り替え処理３５について説明する。
【００８９】
まず、コピー元サイトからビットマップ切り替え契機ライトシーケンス＃８０６を受領し、ビットマップ切り替え対象となる中間コピー先ボリュームＶ２と末端コピー先ボリュームＶ３のビットマップ切り替え契機ライトシーケンス＃８０６に設定する（ステップＳ８０１）。
【００９０】
次に、ライトシーケンス＃到達フラグ８０８をＯＦＦし（ステップＳ８０２）、ライトシーケンス＃確認要求フラグ８０７をＯＮする（ステップＳ８０３）。
【００９１】
次に、当該ボリュームに直接のコピー先が存在するか判断する（ステップＳ８０４）。
【００９２】
ステップＳ８０４の条件不成立（末端コピー先ボリュームＶ３に相当）の場合、ステップＳ８０８へ。
【００９３】
ステップＳ８０４の条件成立（中間コピー先ボリュームＶ２に相当）の場合、当該ボリュームの直接のコピー先全てに対し、ビットマップ切り替え契機ライトシーケンス＃８０６を転送し、最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６を超えた場合のライトシーケンス＃到達報告を要求する（ステップＳ８０５）。
【００９４】
次に、当該ボリュームの直接のコピー先全てからライトシーケンス＃到達報告が有るか判断する（ステップＳ８０６）。ステップＳ８０６の条件不成立の場合、一定時間待ち（ステップＳ８０７）、再びステップＳ８０６の判断を実行する。
【００９５】
ステップＳ８０６の条件成立の場合、当該ボリュームのライトシーケンス＃到達フラグがＯＮであるか判断する（ステップＳ８０８）。ステップＳ８０８の条件不成立の場合、一定時間待ち（ステップＳ８０９）、再びステップＳ８０８の判断を実行する。
【００９６】
ステップＳ８０８の条件成立の場合、当該ボリュームの直接のコピー元にライトシーケンス#到達を報告する（ステップＳ８１０）。
【００９７】
次に、当該ボリュームの直接のコピー元からビットマップ切り替え要求を受領したか判断する（ステップＳ８１１）。ステップＳ８１１の条件不成立の場合、一定時間待ち（ステップＳ８１２）、再びステップＳ８１１の判断を実行する。
【００９８】
ステップＳ８１１の条件成立の場合、当該ボリュームのビットマップ８０９の内、記録開始ライトシーケンス＃８１１が古い方のビットマップ有効フラグ８１０をＯＦＦし、当該ビットマップ８０９をクリアする（ステップＳ８１３）。
【００９９】
次に、当該ボリュームに直接のコピー先が存在するか判断する（ステップＳ８１４）。
【０１００】
ステップＳ８１４の条件不成立（末端コピー先ボリュームＶ３に相当）の場合、ステップＳ８１８へ。
【０１０１】
ステップＳ８１４の条件成立（中間コピー先ボリュームＶ２に相当）の場合、当該ボリュームの直接のコピー先全てに対し、ビットマップ切り替えを要求する（ステップＳ８１５）。
【０１０２】
次に、当該ボリュームの直接のコピー先全てからビットマップ切り替え完了報告が有るか判断する（ステップＳ８１６）。ステップＳ８１６の条件不成立の場合、一定時間待ち（ステップＳ８１７）、再びステップＳ８１６の判断を実行する。
【０１０３】
ステップＳ８１６の条件成立の場合、当該ボリュームの直接のコピー元にビットマップ切り替え完了を報告し（ステップＳ８１８）、処理を終了する。
【０１０４】
図９に、ライト処理３１、非同期正式化処理４１で実行するビットマップ更新処理３２について説明する。
【０１０５】
まず、ビットマップ有効フラグ８１０がＯＮであるビットマップ８０９のライトデータに対応するビットをＯＮし、更新したビットマップ８０９に対応した更新データ量カウンタ８１２をインクリメントする（ステップＳ９０１）。
【０１０６】
次に、最新ライトシーケンス＃８０５を当該ライトデータに対応したライトシーケンス＃に更新する（ステップＳ９０２）。
【０１０７】
次に、ライトシーケンス＃確認要求フラグ８０７がＯＮであるか判断する（ステップＳ９０３）。
【０１０８】
ステップＳ９０３の条件不成立の場合、処理を終了する。
【０１０９】
ステップＳ９０３の条件成立の場合、最新ライトシーケンス＃８０５がビットマップ切り替え契機ライトシーケンス＃８０６と同じ、あるいは、超えるか判断する（ステップＳ９０４）。
【０１１０】
ステップＳ９０４の条件不成立の場合、処理を終了する。
【０１１１】
ステップＳ９０４の条件成立の場合、ライトシーケンス＃到達フラグ８０８をＯＮする（ステップＳ９０５）。
【０１１２】
次に、ビットマップ有効フラグ８１０がＯＦＦであるビットマップ８０９のビットマップ有効フラグ８１０をＯＮし、記録開始ライトシーケンス＃８１１に最新ライトシーケンス＃８０５を設定する（ステップＳ９０６）。
【０１１３】
次に、新たにビットマップ有効フラグ８１０をＯＮしたビットマップ８０９におけるライトデータに対応するビットをＯＮし、更新したビットマップ８０９に対応した更新データ量カウンタ８１２をインクリメントする（ステップＳ９０７）。
【０１１４】
最後に、ライトシーケンス＃確認要求フラグ８０７をＯＦＦし（ステップＳ９０８）、処理を終了する。
【０１１５】
図１０に、ビットマップ切り替えにおける、各サイトの処理とサイト間の通信の概要を示す。
【０１１６】
総コピー元ボリュームＶ１を持つサイトで実行しているのがビットマップ切り替え起動処理３４、中間コピー先ボリュームＶ２、または、末端コピー先ボリュームＶ３を持つサイトで実行しているのがビットマップ切り替え処理３５である。ただし、一部ビットマップ更新処理３２を含む。各実行内容には、該当するステップ番号を付加した。
【０１１７】
図１０は、サイト全体のビットマップ１からビットマップ２へのビットマップ切り替えの概要を示しており、ビットマップ切り替えは、この後、ビットマップ２からビットマップ１へ、さらに、ビットマップ１からビットマップ２へといったように、交互に実行する。
【０１１８】
ビットマップ切り替えを、サイト全体として、単一のビットマップを更新する状態から、一時的に２重のビットマップを更新する状態を経て、再び単一のビットマップを更新する状態へ移行することにより、ビットマップ切り替え中を含む任意の瞬間、任意のサイト同士で必ず記録開始ライトシーケンス＃８１１が同じビットマップ８０９を共有することができ、ライトシーケンス＃の進んだサイト側にボリューム内容を一致させることができる。
【０１１９】
また、ビットマップ切り替えにおいて、一部のサイトの障害を検出した場合、ビットマップ切り替え契機ライトシーケンス＃８０６の各サイトの記憶装置システム２への転送が失敗することがある。この場合、総コピー元ボリュームＶ１を持つ記憶装置システム２において、ステップＳ７０９のビットマップ８０９クリアの内容を実行せず、ステップＳ７１０において、ビットマップ８０９をクリアせずビットマップ切り替え完了を報告するよう他サイトの記憶装置システム２に要求することで、障害を発生したサイトも含めた差分の管理を続行することができる。
【０１２０】
さらに、各記憶装置システム２においてビットマップ８０９を３重以上持ち、一部サイトの障害を検出した場合、上記のように、障害を検出した時点で使用していたビットマップ８０９をクリアしないようにし、残りのビットマップを使用してビットマップ切り替えを続行することで、障害を発生したサイトも含めた差分の管理を続行しながら、正常なサイト間の差分の増大を抑止することができる。クリアしないようにしたビットマップ８０９を、すべてのサイトが正常となるまで維持することで、障害サイトがさらに増えても、障害を発生したサイトも含めた差分の管理を続行することができる。
【０１２１】
また、ビットマップ切り替えに伴う記憶装置システム２間の通信内容を、通常のリモートコピーデータの転送、および、応答に添付して実行することで、サイト間の通信負荷を削減できる。
【０１２２】
図１１に、サイト被災後、サイト間でボリューム内容を一致させるための手順について説明する。
【０１２３】
まず、サイト被災により直接のコピー元を失った自ボリュームの新たな直接のコピー元として、自ボリュームと同じ総コピー元ボリュームＶ１を持つボリュームの内、自ボリュームより最新ライトシーケンス＃８０５が進んでいるボリュームを選択する（ステップＳ１１０１）。
【０１２４】
次に、自サイトと新たな直接のコピー元サイトの記憶装置システム２間に転送パスを設定する（ステップＳ１１０２）。
【０１２５】
次に、自サイトと新たな直接のコピー元サイトの記憶装置システム２間でリモートコピーを開始する（ステップＳ１１０３）。これ以降、新たな直接のコピー元サイトのコピー元ボリュームに対してなされた更新は、自サイトのコピー先ボリュームに逐次反映される。
【０１２６】
最後に、自サイトと新たな直接のコピー元サイトの記憶装置システム２間で差分コピー処理３６を起動する（ステップＳ１１０４）。差分コピー処理３６については後述する。
【０１２７】
差分コピー処理３６終了後も、そのままリモートコピーを継続することで、通常と同じリモートコピー動作となる。
【０１２８】
上記の新たな直接のコピー元サイトとして、あらかじめ、自ボリュームについて自サイトより総コピー元ボリュームＶ１に近い上流側のサイトを登録しておいても良い。
【０１２９】
図１２に、サイト被災後、サイト間でボリューム内容を一致させるための手順の1つである差分コピー処理３６について説明する。
【０１３０】
まず、新たな直接のコピー元サイトにおいて、自サイトと新たな直接コピー元サイトの両サイトでビットマップ有効フラグ８１０がＯＮであるビットマップ８０９で、かつ、この条件を満たすビットマップが複数存在する場合には、記録開始ライトシーケンス＃８１１が新しい方のビットマップ８０９を選択し、ビットマップ８０９の内容を、差分コピー処理３６でコピーするデータを決定するための差分ビットマップ８１３にコピーする（ステップＳ１２０１）。差分ビットマップ８１３にコピーする理由は、新たな直接のコピー元サイトでは、サイト被災後もリモートコピーが継続している場合があり、ビットマップ有効フラグ８１０がＯＮであるビットマップ８０９が更新され続けることがあるため、差分コピー量の増大を防ぐため、現状の両サイトのボリューム間の差分を保存しておく必要があるためである。
【０１３１】
次に、差分ビットマップ８１３でＯＮとなっているビットに対応する部分を、新たな直接のコピー元サイトのコピー元ボリュームから自サイトのコピー先ボリュームにコピーする（ステップＳ１２０２）。
【０１３２】
最後に、差分ビットマップ８１３をクリアし（ステップＳ１２０３）、処理を終了する。
【０１３３】
【発明の効果】
本発明によれば、主に３サイト以上のNサイトに配置した記憶制御装置間のリモートコピーにおいて、１サイト被災後、速やかに残サイト間のリモートコピーデータの一致を実現するための差分を管理することができる。また、リモートコピーを構成するサイト数Nに依存せず、差分を管理する情報量を一定に保つことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における、Ｎサイト間のリモートコピーの構成例を示す。
【図２】本発明の実施の形態における、記憶装置システムの構成例を示す。
【図３】本発明の実施の形態における、ライトシーケンス管理情報とキャッシュメモリの関係の一例を示す。
【図４】本発明の実施の形態における、記憶装置システムで実行するライト処理の一例を示す。
【図５】本発明の実施の形態における、非同期リモートコピー元の記憶装置システムで実行する非同期転送処理の一例を示す。
【図６】本発明の実施の形態における、非同期リモートコピー先の記憶装置システムで実行する非同期正式化処理の一例を示す。
【図７】本発明の実施の形態における、総コピー元ボリュームＶ１を持つ記憶装置システムで実行するビットマップ切り替え起動処理の一例を示す。
【図８】本発明の実施の形態における、中間／末端コピー元ボリュームを持つ記憶装置システムで実行するビットマップ切り替え処理の一例を示す。
【図９】本発明の実施の形態における、ライト処理、および、非同期正式化処理で実行するビットマップ更新処理の一例を示す。
【図１０】本発明の実施の形態における、ビットマップ切り替えの概要を示す。
【図１１】本発明の実施の形態における、サイト被災後、サイト間でボリューム内容を一致させるための手順の一例を示す。
【図１２】本発明の実施の形態における、サイト被災後、サイト間でボリューム内容を一致させるための手順の1つである差分コピー処理の一例を示す。
【符号の説明】
１…ホストコンピュータ、２…記憶装置システム、２１…記憶制御装置、２２…記憶装置、２３…保守端末、３…チャネルインタフェース、３１…ライト処理、３２…ビットマップ更新処理、３３…非同期転送処理、３４…ビットマップ切り替え起動処理、３５…ビットマップ切り替え処理、３６…差分コピー処理、４…ディスクインタフェース、４１…非同期正式化処理、５…キャッシュメモリ、６…管理情報メモリ、６２…ライトシーケンス管理情報、６３…ボリューム管理情報、７１…ライトシーケンス＃カウンタ、７２１…ライトシーケンス管理情報エントリ、７３…転送対象ライトシーケンス管理情報、７４…正式化対象ライトシーケンス管理情報、８０４…ビットマップ切り替え中フラグ、８０５…最新ライトシーケンス＃、８０６…ビットマップ切り替え契機ライトシーケンス＃、８０７…ライトシーケンス＃確認要求フラグ、８０８…ライトシーケンス＃到達フラグ、８０９…ビットマップ、８１０…ビットマップ有効フラグ、８１１…ビットマップ記録開始ライトシーケンス＃、８１２…ビットマップ更新量データカウンタ、８１３…差分ビットマップ、Ｔ１…グローバルネットワーク、Ｔ２…ローカルネットワーク、Ｖ１…総コピー元ボリューム、Ｖ２…中間コピー先ボリューム、Ｖ３…末端コピー先ボリューム。
Claims (7)
- ホストコンピュータと記憶装置システムとを備える複数のサイトにある記憶装置システムにおいて、
前記サイト間のネットワークにより記憶装置システム同士が接続されており、該記憶装置システムが、前記ホストコンピュータから更新されるデータを他サイトの記憶装置システムに反映するリモートコピー構成を有し、
前記記憶装置システムは、リモートコピー指定範囲の更新履歴を記録する領域を多重に備えており、
前記ホストコンピュータから直接更新される記憶装置システムのリモートコピー指定範囲への、前記ホストコンピュータからの更新量が閾値を超えた契機において、新たな更新履歴への切り替え契機となるホストコンピュータからの更新を決定し、前記リモートコピー指定範囲およびコピー先リモートコピー指定範囲を持つ記憶装置システム間で共有し、
各記憶装置システムにおいて、リモートコピー指定範囲またはコピー先リモートコピー指定範囲の更新が、新たな更新履歴への切り替え契機となるホストコンピュータからの更新に到達した時点から、新たな更新履歴の記録を開始し、
前記リモートコピー指定範囲およびコピー先リモートコピー指定範囲を持つ記憶装置システムすべてが、新たな更新履歴の記録を開始したことを確認後、従来の更新履歴の記録を中断し、従来の更新履歴を初期化し、
任意サイトの被災時、被災していない任意サイト間のリモートコピー指定範囲、または、コピー先リモートコピー指定範囲の内容を、更新履歴に従って、リモートコピー指定範囲、または、コピー先リモートコピー指定範囲の一部をコピーすることで、リモートコピー指定範囲、または、コピー先リモートコピー指定範囲の内容を一致させる、
ことを特徴とする記憶装置システム。 - 前記記憶装置システムは、
新たな更新履歴への切り替え契機となる、ホストコンピュータからの更新の決定を、
前回の更新履歴の切り替えからの経過時間が閾値を超えた契機にも実行する、
ことを特徴とする請求項１に記載の記憶装置システム。 - 前記記憶装置システムは、
記憶装置システム間での情報のやりとりを、当該記憶装置システムのリモートコピー指定範囲、または、コピー先リモートコピー指定範囲に対応する直接のコピー元、および、直接のコピー先との間でのみ実行する、
ことを特徴とする請求項１に記載の記憶装置システム。 - 前記記憶装置システムは、
記憶装置システム間での情報のやりとりを、リモートコピーデータの転送、および、その応答に添付して実行する、
ことを特徴とする請求項１に記載の記憶装置システム。 - 前記記憶装置システムは、
任意サイトの被災時、被災していない任意サイト間のリモートコピー指定範囲、または、コピー先リモートコピー指定範囲の内容を一致させるための更新履歴を、
両サイトにおいて、有効、かつ、記録を開始したホストコンピュータからの更新が同じであるという条件で選択し、
さらに、両サイトにおいて、前記条件を充足する複数の更新履歴が存在する場合には、記録を開始したホストコンピュータからの更新が新しい更新履歴を選択する、
ことを特徴とする請求項１に記載の記憶装置システム。 - 前記記憶装置システムは、
任意サイトの被災を検出した場合、従来の更新履歴の記録を続行し、被災したサイトがすべて正常となった時点で、当該従来の更新履歴の記録を中断し、初期化する、
ことを特徴とする請求項１に記載の記憶装置システム。 - 前記記憶装置システムは、
任意サイトの被災を検出した場合、従来の更新履歴を除外した更新履歴の領域により、被災していないサイト間で請求項１に記載の手順を実行する、
ことを特徴とする請求項１に記載の記憶装置システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001327112A JP3983516B2 (ja) | 2001-10-25 | 2001-10-25 | 記憶装置システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001327112A JP3983516B2 (ja) | 2001-10-25 | 2001-10-25 | 記憶装置システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003131917A JP2003131917A (ja) | 2003-05-09 |
| JP3983516B2 true JP3983516B2 (ja) | 2007-09-26 |
Family
ID=19143381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001327112A Expired - Fee Related JP3983516B2 (ja) | 2001-10-25 | 2001-10-25 | 記憶装置システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3983516B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7103727B2 (en) | 2002-07-30 | 2006-09-05 | Hitachi, Ltd. | Storage system for multi-site remote copy |
| JP2005062928A (ja) | 2003-08-11 | 2005-03-10 | Hitachi Ltd | 複数のサイトにリモートコピーを行うシステム |
| JP4021823B2 (ja) | 2003-09-01 | 2007-12-12 | 株式会社日立製作所 | リモートコピーシステム及びリモートコピーの方法 |
| US7219201B2 (en) | 2003-09-17 | 2007-05-15 | Hitachi, Ltd. | Remote storage disk control device and method for controlling the same |
| JP2007513424A (ja) * | 2003-12-01 | 2007-05-24 | イーエムシー コーポレイション | 複数の記憶装置に対する仮想の順序付けられた書き込み |
| US7054883B2 (en) | 2003-12-01 | 2006-05-30 | Emc Corporation | Virtual ordered writes for multiple storage devices |
| JP4451705B2 (ja) | 2004-04-26 | 2010-04-14 | 株式会社日立製作所 | ストレージ装置、これを備えたストレージシステム、このシステムのデータ管理方法、及びストレージ装置のコントローラ実行プログラム |
| JP4624829B2 (ja) * | 2004-05-28 | 2011-02-02 | 富士通株式会社 | データバックアップシステム及び方法 |
| JP2006072684A (ja) * | 2004-09-02 | 2006-03-16 | Hitachi Ltd | ストレージネットワークシステム及び管理サーバ、ホストとストレージ装置 |
| US8078813B2 (en) | 2004-09-30 | 2011-12-13 | Emc Corporation | Triangular asynchronous replication |
| JP2006107450A (ja) * | 2004-09-30 | 2006-04-20 | Emc Corp | トライアングル非同期複製（ｔｒｉａｎｇｕｌａｒａｓｙｎｃｈｒｏｎｏｕｓｒｅｐｌｉｃａｔｉｏｎ） |
| JP4571576B2 (ja) * | 2005-11-24 | 2010-10-27 | 株式会社日立製作所 | リモートコピー記憶装置システムおよびリモートコピー方法 |
| WO2010084522A1 (en) * | 2009-01-20 | 2010-07-29 | Hitachi, Ltd. | Storage system and method for controlling the same |
| JP2013012137A (ja) * | 2011-06-30 | 2013-01-17 | Nec System Technologies Ltd | ディスクミラーリングシステム及びその管理方法 |
| CN106980625B (zh) | 2016-01-18 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 一种数据同步方法、装置及系统 |
| JP6764927B2 (ja) | 2016-03-01 | 2020-10-07 | 株式会社日立製作所 | ストレージシステム、ストレージ装置、およびストレージシステムの制御方法 |
-
2001
- 2001-10-25 JP JP2001327112A patent/JP3983516B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003131917A (ja) | 2003-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3983516B2 (ja) | 記憶装置システム | |
| JP4282464B2 (ja) | リモートコピーシステム | |
| US8112600B2 (en) | Creating a snapshot based on a marker transferred from a first storage system to a second storage system | |
| JP4387116B2 (ja) | ストレージシステムの制御方法、及びストレージシステム | |
| US6981008B2 (en) | Method for duplicating data of storage subsystem and data duplicating system | |
| US7454582B2 (en) | Initial copy system | |
| JP4452533B2 (ja) | システムおよび記憶装置システム | |
| JP4412989B2 (ja) | 複数の記憶システムを有するデータ処理システム | |
| JP4796854B2 (ja) | 差分リモートコピーにおける中間ボリュームのデータ溢れ対策 | |
| US8037027B2 (en) | Computer system for hierarchically managing a journal and method therefor | |
| US20050038968A1 (en) | Multi-site remote-copy system | |
| JP5391277B2 (ja) | ストレージシステム及びストレージシステムの処理効率向上方法 | |
| JPH1185408A (ja) | 記憶制御装置 | |
| JP2004334574A (ja) | ストレージの運用管理プログラム、運用管理方法及び管理計算機 | |
| JP2000137638A (ja) | 情報記憶システム | |
| JP4577242B2 (ja) | データバックアップシステム、データバックアップ方法、及びその動作制御プログラム | |
| US20200379647A1 (en) | Data backup system, relay site storage, data backup method, and control program for relay site storage | |
| US20060265431A1 (en) | Information processing system, replication method, difference information holding apparatus and program | |
| JP2006285336A (ja) | 記憶装置及びストレージシステム並びにその制御方法 | |
| JP2004348174A (ja) | 記憶装置システム | |
| CN100533396C (zh) | 支持次级存储器的异步更新的用于异构存储控制器的写集合边界管理 | |
| US7107485B2 (en) | Method, apparatus, and computer readable medium for managing multiple system | |
| JP6927725B2 (ja) | ストレージ装置、レプリケーションシステム及びレプリケーション方法 | |
| US9952805B2 (en) | Storage system and data write method using a logical volume to either store data successfully onto a first memory or send a failure response to a server computer if the storage attempt fails | |
| JP2004272884A5 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070606 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070606 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070628 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070704 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |