JP4377790B2 - リモートコピーシステムおよびリモートコピー方法 - Google Patents

リモートコピーシステムおよびリモートコピー方法 Download PDF

Info

Publication number
JP4377790B2
JP4377790B2 JP2004285664A JP2004285664A JP4377790B2 JP 4377790 B2 JP4377790 B2 JP 4377790B2 JP 2004285664 A JP2004285664 A JP 2004285664A JP 2004285664 A JP2004285664 A JP 2004285664A JP 4377790 B2 JP4377790 B2 JP 4377790B2
Authority
JP
Japan
Prior art keywords
site
data
storage area
logical storage
consistency group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004285664A
Other languages
English (en)
Other versions
JP2006099495A (ja
Inventor
俊二 川村
健太 二瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004285664A priority Critical patent/JP4377790B2/ja
Priority to US10/991,425 priority patent/US7536444B2/en
Priority to EP04027482A priority patent/EP1643367A1/en
Publication of JP2006099495A publication Critical patent/JP2006099495A/ja
Application granted granted Critical
Publication of JP4377790B2 publication Critical patent/JP4377790B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069—Management of state, configuration or failover
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2064—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring while ensuring consistency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers

Description

本発明は、記憶装置システムに格納されたデータを別の記憶装置システムに複製するリモートコピーシステムおよびリモートコピー方法に関する。
近年、金融機関など、大量の重要データを保有する企業、組織などにおいては、地震、火災、大規模停電、テロ攻撃、ウィルス汚染などの事態からデータを守るため、様々な対策を行っている。その対策の一つとして、遠隔地の記憶装置システムにデータを複製する技術、いわゆるリモートコピー（以下「ＲＣ」とも記載）がある。
ＲＣでは、現地と遠隔地のそれぞれの記憶装置システム間で、原則として、ボリューム単位でペアが構成され、そのペア間でデータが転送、コピーされる。ボリュームとは、データを記憶する論理記憶領域のことであり、ハードウエアとしてはハードディスクなどの磁気ディスクが一般的であるが、磁気ディスク以外の光ディスクなどであってもよい。
ハードウエアとボリュームの関係は、たとえば、ハードウエアがＨＤＤ（ハードディスクドライブ）である場合、１つのＨＤＤに１つのボリュームが対応していても、１つのＨＤＤに複数のボリュームが対応していても、複数のＨＤＤに１つのボリュームが対応していても、また、複数のＨＤＤに複数のボリュームが対応していても、いずれでもよい。
ＲＣのデータ送信手順の例について、送信側である主サイトが主ホストと主記憶装置システムを含んで構成され、受信側である副サイトが副記憶装置システムを含んで構成されている場合を例にとり、説明する。
まず、主ホストから主記憶装置システムにデータのライト要求があり、その後、主記憶装置システムが副記憶装置システムにデータを送信する。なお、この場合、たとえば、主ホストはデータ送信には直接関与せず、ライト要求を受けた主記憶装置システムがデータ送信を制御するという構成をとることもある。
そして、ＲＣによるデータ送信方式は、同期型と非同期型に大別することができる。同期型ＲＣでは、主ホストから主記憶装置システムにデータのライト要求があり、その後、主記憶装置システムが副記憶装置システムにデータを送信する。次に、副記憶装置システムは主記憶装置システムに受信完了信号を送信し、それを受けて、主記憶装置システムは主ホストにライト完了信号を送信する。ライト完了報告を受信すると、主ホストは次のデータを送信する。したがって、データに関して、主ホストから主記憶装置システムへのライト要求順序と、副記憶装置システムの受信順序とは一致する。しかし、主ホストは副記憶装置システムにデータが送信された後でなければ次のデータのライト要求を主記憶装置システムに発行することができないので、特に遠距離間のときはデータ送信に時間がかかり、適さない。
一方、非同期型ＲＣでは、主ホストから主記憶装置システムにデータのライト要求があったとき、主記憶装置システムはライト完了信号を主ホストに返して、データを一旦蓄積する。その後、所定のタイミングで、主記憶装置システムは、原則として主ホストからのライト要求の順序でデータを副記憶装置システムに送信するが、通常、通信回線はパラレルに複数あり、それぞれの通信回線の通信状況などによって、副記憶装置システムがデータを受信する順序は、主ホストのライト要求順序と一致するとは限らない。しかし、データ送信時にシーケンス番号（通し番号）をデータに付与しておけば、副記憶装置システム側でデータを元の順序に並べなおすことができる。
また、特許文献１では、ホストからのライト要求によって正制御装置から副制御装置へ非同期型ＲＣによりデータ送信を行う場合、データに時刻を付与して送信することで、副制御装置がホストからのライト要求の順序でＲＣデータを副制御装置において反映できる技術が提案されている。
そして、たとえば、シーケンス番号を付与したＲＣの場合、データの受信側では若いシーケンス番号から揃ったところまでのデータを記憶装置に正式に反映（以下「正式化」とも記載）させることで、送信側のデータ送信順序と整合をとることができる。
しかし、記憶用ハードウエアの数が増えれば増えるほど、そのハードウエアの故障の確率は高くなる。したがって、多くのボリュームペアに一通りのシーケンス番号を付与してＲＣを行うと、１つのボリュームでも故障すると正式化が行えなくなる、という問題が起きる。そのため、グループ化するボリュームペアの数はあまり多くないほうがよい。
また、副記憶装置システムのデータが主記憶装置システムのある時刻のデータであることを「整合性がある」と呼ぶこととする。たとえば、データベースのデータをボリュームに格納する場合、ログデータを格納するボリュームとテーブルデータを格納するボリュームが別々のボリュームに分かれる可能性がある。そして、複数のボリュームのデータがそれぞれ、主記憶装置システムにおける異なる時刻のデータであると、副記憶装置システムのデータを用いてもデータベースを正常に起動することができない場合が生じる。
たとえば、銀行口座の例で説明すると、まず、Ａ口座に１０００円、Ｂ口座に２０００円が入っているとする。操作１で、Ａ口座からＢ口座へ１００円を移し、それをログデータとする。操作２で、Ａ口座を９００円に書き換え、それをテーブルデータ１とする。操作３で、Ｂ口座を１１００円に書き換え、それをテーブルデータ２とする。そして、各データを主記憶装置システムから副記憶装置システムに送信する場合、ログデータ、テーブルデータ１、テーブルデータ２の順序で送れば、どの時点で通信が途切れても、整合性は保証される。
しかし、副記憶装置システムが、テーブルデータ１、ログデータ、テーブルデータ２の順序で受信するとなると、整合性が保証されるとは限らない。つまり、たとえば、副記憶装置システムがテーブルデータ１だけ受信した状態で通信が途切れると、Ａ口座９００円、Ｂ口座２０００円で、かつログデータなしという、整合性がなく、データの内容に矛盾があり、かつ復旧不能という状況に陥ってしまう。したがって、複数のボリュームをまとめて整合性を保証することは重要なことであり、このボリュームのまとまりをコンシステンシグループと呼ぶこととする。
そして、ユーザの都合などによって、コンシステンシグループの構成内容を変更する必要が生じることがある。そして、従来は、コンシステンシグループを移動するボリュームのペアを一度解除し、コンシステンシグループを移動した後にそのボリュームのペアを改めて組み直していた。
特許第３４１４２１８号公報（段落００１３〜００１５、図１）
しかしながら、前記のようにボリュームのペアを一度解除してから組み直すと、その作業に手間がかかるだけでなく、送信側ボリュームのすべてのデータを受信側ボリュームにコピーし直す必要も生じ、さらに手間と時間がかかってしまっていた。そこで、本発明では、コンシステンシグループのボリュームのペアを解除することなく、容易にコンシステンシグループの構成内容を変更することを課題とする。
本発明のリモートコピーシステムおよびリモートコピー方法においては、コンシステンシグループの構成を変更させる場合には、受信側において、その変更後の所定の正式化動作を、その変更前の所定の正式化が終わった後に開始させるようにした。
本発明によれば、コンシステンシグループのボリュームのペアを解除することなく、コンシステンシグループの構成内容を容易に変更することが可能となる。
本発明の実施形態について、適宜図面を参照しながら詳細に説明する。まず、図１〜図１０を参照しながら構成について説明し、次に、図１１〜図２１を参照しながら動作について説明する。
＜＜＜構成＞＞＞
＜＜全体＞＞
＜ハードウエア構成＞
図１は、実施形態に係るリモートコピーシステムのハードウエア構成を示す全体図である。全体は、主サイト（第１サイト）１００、副サイト（第２サイト）２００、管理端末３０から構成され、それぞれ、たとえば、東京データセンタ、大阪データセンタ、管理者端末に相当するものである。
本実施形態のリモートコピーシステムでは、主サイト１００から副サイト２００にリモートコピーを行う例を説明する。また、主サイト１００に属するホストを主ホスト１１０、主サイト１００に属する記憶装置システムを主記憶装置システム１２０ということにする。副サイト２００についても同様である。
図１に示されるように、主サイト１００は、主ホスト１１０、主記憶装置システム１２０を有し、副サイト２００は、副ホスト２１０、副記憶装置システム２２０を有していて、それらに管理端末３０が接続されている。なお、主サイト１００、副サイト１００が、それぞれ複数の主ホスト１１０、複数の副ホスト２１０を有していてもよい。
主ホスト１１０は、プロセッサ１１１、メインメモリ１１２、および、入出力部１１３を有する計算機であり、具体的には、ワークステーション、マイクロコンピュータ、メインフレームコンピュータなどである。副ホスト２１０についても、プロセッサ、メインメモリ、入出力部などを図示してはいないが、同様の構成である。
主記憶装置システム１２０は、主記憶制御装置１３０、一つ以上の主記憶装置１２１、および、保守端末１２２を有する。主記憶装置１２１は、磁気ディスク記憶装置や光ディスク記憶装置などの補助記憶装置である。また、保守端末１２２は備えていなくてもよい。主記憶制御装置１３０は、入出力部１３１、キャッシュメモリ１３２、入出力部１３３、プロセッサ１３４、および、制御メモリ１３５を有する。副記憶装置システム２２０についても、具体的図示は省略しているが、同様の構成である。
主ホスト１１０と主記憶装置システム１２０、副ホスト２１０と副記憶装置システム２２０は、それぞれ、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）といったネットワーク１４０、２４０で互いに接続される。具体的には、主サイト１００側では、主ホスト１１０のプロセッサ１１１とメインメモリ１１２が、入出力部１１３とネットワーク１４０を介して主記憶装置システム１２０の入出力部１３１に接続されており、副サイト２００側でも同様の構成となっている。
主記憶装置システム１２０と副記憶装置システム２２０はネットワーク１５０を介して接続される。ネットワーク１５０は、一般に、公衆回線などのグローバルネットワークである場合が多い。システムの安全性のため、つまり、両方が同時に障害にあわないように、距離を離したグローバルネットワークを使用することが多いが、各記憶装置システム１２０、２２０同士が同じ部屋の中、同じビルの中、近隣ビルの中にある場合などはローカルネットワークを使用してもよい。そして、このようなネットワークの形態が本発明を限定するものではない。
管理端末３０は、プロセッサ（図示せず）や記憶装置（図示せず）を有する計算機である。管理端末３０、主ホスト１１０、副ホスト２１０、主記憶装置システム１２０、および、副記憶装置システム２２０は、ＬＡＮやＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク１６０を介して、相互に接続される。
＜機能構成＞
図２は、実施形態に係るリモートコピーシステムの機能構成を示す全体図である。図１を適宜参照しながら、図２を用いて機能構成について説明する。
主記憶制御装置１３０（図１）では、主記憶装置システム１２０と副記憶装置システム２２０の間でのデータ転送を制御するプログラムであるコピー管理プログラム１２３およびリモートコピープログラム１２４がプロセッサ１３４（図１）上で実行される。これらのプログラムは制御メモリ１３５（図１）に格納される。副記憶制御装置２３０（図１）のコピー管理プログラム２２３およびリモートコピープログラム２２４についても同様である。
コピー管理プログラム１２３は、主記憶装置システム１２０が実行するリモートコピー処理の管理を行い、コピー管理プログラム２２３も同様であり、詳細については後記する。また、リモートコピー処理中は、コピー管理プログラム１２３とコピー管理プログラム２２３の間で随時通信が行われ、必要な管理情報を交換する。
主記憶制御装置１３０（図１）は、コピー管理プログラム１２３、リモートコピープログラム１２４に関する処理の他にも、主ホスト１１０からの指示に基づいて、主記憶装置１２１（図１）への入出力処理を実行する。副記憶制御装置２３０（図１）についても同様である。
主記憶装置１２１（図１）には、一つ以上の論理記憶領域（ボリューム）がＰＶＯＬ１２５として作成または関連付けられ、副記憶装置２２１（図１）においても同様にＳＶＯＬ２２５が作成または関連付けられる。
主ホスト１１０では、ユーザが使用するアプリケーションプログラム１１４や、主記憶装置システム１２０に対する制御インタフェースとなる記憶装置制御プログラム１１５が、プロセッサ１１１（図１）で実行される。また、コピー管理プログラム１２３と記憶装置制御プログラム１１５は、相互に情報をやり取りする。副ホスト２１０においても同様である。
管理端末３０では、管理プログラム３１が実行される。管理端末３０は、管理プログラム３１を実行することにより、各ホスト１１０、２１０や各記憶装置システム１２０、２２０の管理を行う。管理プログラム３１は管理端末３０の記憶装置（図示せず）に格納される。
＜＜データ構造＞＞
本実施形態のリモートコピーシステムで使用されるデータ構造について、図１および図２を適宜参照しながら、図３〜図９を用いて説明する。
＜ペアボリューム管理情報＞
図３は、ペアボリューム管理情報を示す図である。ペアボリューム管理情報３００は、リモートコピーペアを管理する情報で、リモートコピーのペアボリュームごとに持つ情報であり、主記憶装置システム１２０（図１）の制御メモリ１３５（図１）と、副記憶装置システム２２０（図１）の制御メモリ（図示せず）に格納される。
ペアボリューム管理情報３００は、ペアを識別するペアＩＤ３４０、主記憶装置１２１（図１）内のリモートコピーデータの複製元である主データボリューム（ＰＶＯＬ）情報３１０、副記憶装置２２１（図１）内のリモートコピーデータの複製先である副データボリューム（ＳＶＯＬ）情報３２０、およびペアの状態を示すペア情報３３０が含まれる。
主データボリューム情報３１０には、主記憶装置システムＩＤ３１１とボリュームＩＤ３１２が含まれる。副データボリューム情報３２０には、副記憶装置システムＩＤ３２１とボリュームＩＤ３２２が含まれる。
主記憶装置システムＩＤ３１１と副記憶装置システムＩＤ３２１は、当該ボリュームが存在するそれぞれの各記憶装置システム１２０、２２０での識別子である。ボリュームＩＤ３１２、３２２は、それぞれの各記憶装置システム１２０、２２０（図１）の中での当該ボリュームの識別子である。これらの各ＩＤにより、当該ボリュームが一意に決まることになる。
ペア情報３３０には、コピー種別３３１、ペア状態３３２、差分ビットマップ有効フラグ３３３、および差分ビットマップ３３４が含まれる。
コピー種別３３１は、３種類のリモートコピーの「同期」、「非ジャーナル型非同期」、「ジャーナル型非同期」のうち、いずれかを表わすものである。これらの詳細については後記する。
ペア状態３３２は、データボリュームが通常コピー中である「ＰＡＩＲ」、差分コピー中である「ＣＯＰＹ」、ボリュームやパスの閉塞などの理由によりコピー処理が停止されサスペンド状態にある「ＳＵＳＰＥＮＤ」のうち、いずれかを表わすものである。
差分ビットマップ有効フラグ３３３について説明する前に、差分コピーについて説明する。差分コピーでは、まず、送信側および受信側のボリュームを、複数の領域に分割しておく。そして、送信側においてデータの更新があった場合は、当該領域を書き換えて、それらのデータを送信せずに蓄積しておき、また、このことを差分管理という。その後、所定のタイミングで、書き換えのあった領域のみのデータを送信するというものであり、また、そのことを差分コピーという。差分コピーは、同じ領域への書き換えが多い場合などのときは、通常のコピーよりも送信量を減らせるという長所を有する。なお、差分コピーは公知技術であり、詳細については説明を省略する。
差分ビットマップ有効フラグ３３３は、次に説明する差分ビットマップ３３４の値が有効であるかどうかを示すものである。ボリュームを分割した複数の領域ごとの書き換えの有無を表わす差分ビットのすべてがＯＦＦ（書き換えなし）のときには、差分ビットマップ有効フラグ３３３はＯＦＦとなる。差分ビットが１つでもＯＮのときは、差分ビットマップ有効フラグ３３３はＯＮとなる。
差分ビットマップ３３４は、前記した差分コピーを使用した場合に、ＰＶＯＬ１２５（図２）とＳＶＯＬ２２５（図２）のデータに差異がある領域、つまり、ＰＶＯＬ１２５（図２）において書き換えのあった領域を示すビットマップ情報である。ＳＵＳＰＥＮＤ中にＰＶＯＬ１２５（図２）に更新があった場合、更新のあった領域を示す差分ビットをＯＮにする。そして、ＳＵＳＰＥＮＤ後に、ＰＶＯＬ１２５（図２）の差分ビットマップ３３４とＳＶＯＬ２２５（図２）の差分ビットマップのＯＲ（論理和）をとったビットマップに基づいて、ビットがＯＮの領域のみをコピー（差分コピー）することで、ペアを複製状態に戻すことができる。
なお、ＰＶＯＬ１２５（図２）の差分ビットマップ３３４とＳＶＯＬ２２５（図２）の差分ビットマップの論理和をとったのは、ＳＶＯＬ２２５（図２）が主サイト１００とは関係なく副サイト２００内で書き換えが行われる場合などに必要な動作であって、必要ない場合は省略できる。差分コピーでは、コピーが完了した領域は差分ビットをＯＦＦにし、全差分ビットがＯＦＦになると差分コピーが完了したこととなる。また、ボリュームのペア生成時には差分ビットマップの全てをＯＮにして差分コピーを行う（形成コピー）ことで、ＰＶＯＬ１２５（図２）の全領域をＳＶＯＬ２２５（図２）にコピーすることができる。
次に、差分コピー中のＰＶＯＬ１２５（図２）が、主ホスト１１０からのライト要求を受けた場合の処理を説明する。差分ビットがＯＮの領域は、主ホスト１１０からライト要求を受けた場合、後ほど差分コピーにより領域内データがコピーされるため、すぐにはリモートコピーしない。差分ビットがＯＦＦの領域に主ホスト１１０からライト要求を受けた場合、すぐにリモートコピーを行う。そして、すべての差分ビットがＯＦＦになると差分コピーが終了し、差分ビットマップ有効フラグ３３３がＯＦＦになり、通常のリモートコピーのみが動作する「ＰＡＩＲ」状態になる。
＜ジャーナルボリューム管理情報＞
図４は、ジャーナルボリューム管理情報を示す図である。ジャーナルボリューム管理情報４００は、リモートコピーのジャーナルを格納するボリューム(ジャーナルボリューム)を管理する情報である。ジャーナルおよびジャーナルデータとは、主記憶装置システム１２０（図１）に格納されたデータの更新履歴であり、たとえば、リモートコピーデータにライト要求時刻などを付加したものである。ジャーナルボリューム管理情報４００は、ジャーナルボリュームごとに持つ情報であり、主記憶装置システム１２０（図１）の制御メモリ１３５（図１）と副記憶装置システム２２０（図１）の制御メモリ（図示せず）に格納される。
ジャーナルボリューム管理情報４００には、記憶装置システムＩＤ４１０、ボリュームＩＤ４２０、ジャーナル情報４３０が含まれる。記憶装置システムＩＤ４１０は、各記憶装置システム１２０、２２０（図１）を識別するものであり、ボリュームＩＤ４２０は各記憶装置システム１２０、２２０（図１）内でジャーナルボリュームを識別するものである。
ジャーナル情報４３０には、ジャーナルボリュームに格納されている各ジャーナルのシーケンス番号４３１とジャーナルメタ情報ポインタ４３２が含まれる。ジャーナルメタ情報ポインタ４３２は、ジャーナルメタ情報の所在を表わすポインタである。シーケンス番号４３１とジャーナルメタ情報についての詳細は後記する。
＜コンシステンシグループ管理情報＞
図５は、コンシステンシグループ管理情報を示す図である。コンシステンシグループ管理情報５００は、コンシステンシグループを管理するための情報であり、主記憶装置システム１２０（図１）の制御メモリ１３５（図１）と副記憶装置システム２２０（図１）の制御メモリ（図示せず）に格納される。
コンシステンシグループ管理情報５００には、コンシステンシグループＩＤ５１０、ペア状態５２０、最新シーケンス番号５３０、未転送シーケンス番号５４０、正式化済みシーケンス番号５５０、ペアボリューム情報５６０、主ジャーナルボリューム情報５７０および副ジャーナルボリューム情報５８０が含まれる。
コンシステンシグループ内の主ボリュームに対して主ホスト１１０からライト要求を受けたデータは、コンシステンシグループ内でのライト要求順序を保って、各主ボリュームのリモートコピーペアである副ボリュームにコピーされる。ライト順序を保つために各リモートコピーデータには、後記するシーケンス番号６１０が付与される。
副記憶装置システム２２０（図１）では、シーケンス番号６１０が揃ったところまでのリモートコピーデータをＳＶＯＬ２２５に反映させることができる。若いシーケンス番号６１０が抜けているリモートコピーデータは反映させない。前記したように、この副記憶装置システム２２０（図１）で反映可能と判断されたリモートコピーデータを反映させる処理を、「正式化」と呼ぶ。
コンシステンシグループＩＤ５１０はコンシステンシグループを一意に決定する識別子である。ペア状態５２０は、コンシステンシグループ内の全ペアボリュームが複製状態にある「ＰＡＩＲ」、コンシステンシグループ内の一つ以上のペアボリュームが差分コピー中である「ＣＯＰＹ」、コンシステンシグループ内の全ペアボリュームがサスペンド状態にある（コンシステンシグループ内での整合性がある状態）「ＳＵＳＰＥＮＤ」、コンシステンシグループ内の一つ以上のペアボリュームがサスペンド状態にある（コンシステンシグループ内で整合性がない状態）「ＳＵＳＰＥＮＤ−Ｅ」のうち、いずれかの状態を表わす。
最新シーケンス番号５３０は、主記憶装置システム１２０（図１）でコンシステンシグループのリモートコピーデータに付与されるシーケンス番号６１０のうち、もっとも新しく付与された番号である。
未転送シーケンス番号５４０は、主記憶装置システム１２０（図１）から副記憶装置システム２２０（図１）に転送していないリモートコピーデータのシーケンス番号６１０のうち、もっとも古いシーケンス番号６１０である。主記憶装置システム１２０は未転送のリモートコピーデータのうち古いシーケンス番号６１０をもつリモートコピーデータから順に転送する。
正式化済みシーケンス番号５５０は、副記憶装置システム２２０（図１）で正式化が済んだリモートコピーデータのシーケンス番号６１０のうち、もっとも新しいシーケンス番号６１０である。ペアボリューム情報５６０には、コンシステンシグループに含まれる各ペアのペアボリューム管理情報３００が含まれる。
主ジャーナルボリューム情報５７０には、主記憶装置システムＩＤ５７１、コンシステンシグループに含まれる各ジャーナルボリュームのジャーナルボリューム管理情報４００が含まれる。副ジャーナルボリューム情報５８０には、副記憶装置システムＩＤ５８１、コンシステンシグループに含まれる各ジャーナルボリュームのジャーナルボリューム管理情報４００が含まれる。主記憶装置システムＩＤ５７１、副記憶装置システムＩＤ５８１は、ジャーナルボリュームを含む各記憶装置システム１２０、２２０（図１）の識別子である。
なお、リモートコピー種別が「同期」や「非ジャーナル型非同期」の場合は、ジャーナルボリュームを用いないため、主ジャーナルボリューム情報５７０、副ジャーナルボリューム情報５８０を持たなくてもよい。
＜リモートコピーデータ＞
図６は、リモートコピーデータ情報を示す図である。リモートコピーデータ６００は、主記憶装置システム１２０（図１）から副記憶装置システム２２０（図１）に転送されるデータである。リモートコピーデータ６００は、コンシステンシグループＩＤ５１０、シーケンス番号６１０、タイムスタンプ６２０、コピーデータ情報６３０、移行情報６４０を含む。
コンシステンシグループＩＤ５１０は、前記したようにコンシステンシグループを識別するものである。シーケンス番号６１０は、前記したように、コンシステンシグループ内でライト順序を保つために付与される通し番号である。
タイムスタンプ６２０は、主記憶装置システム１２０（図１）において、主ホスト１１０からデータのライト要求を受けた時刻を表す情報である。タイムスタンプ６２０は、副記憶装置システム２２０（図１）のデータが主記憶装置システム１２０（図１）のどの時刻のデータであるかを知るために利用される。
コピーデータ情報６３０は、複数のコピーデータ各々の格納データボリュームＩＤ６３１、データ格納アドレス６３２、データ長６３３、データ６３４を含む。格納データボリュームＩＤ６３１は、副記憶装置システム２２０（図２）におけるＳＶＯＬ２２５（図２）を示す識別子である。データ格納アドレス６３２は、ＳＶＯＬ２２５（図２）におけるライトデータの書き込む場所を示す。データ長６３３は、ライトデータのサイズを示す。データ６３４は、ＰＶＯＬ１２５（図２）に書き込まれるデータのコピーで、ＳＶＯＬ２２５（図２）もＰＶＯＬ１２５（図２）と同じようにライト更新される。
なお、コピーデータは一つであってもよいし、複数であってもよい。ＰＶＯＬ１２５（図２）への主ホスト１１０からの一つのライトごとにリモートコピーデータ６００を作る場合、コピーデータは一つになる。ある時間間隔内（例えば１０秒間隔など）に主ホスト１１０（図１）から主記憶装置システム１２０（図１）が受けたライト要求をまとめてリモートコピーデータ６００を作る場合、コピーデータが複数になる。この場合、コピーデータは主ホスト１１０（図１）からのライトデータと同一でもよいし、主ホスト１１０（図１）からの更新があった領域を差分として保存し、差分の領域をコピーするような差分コピーデータとしてもよい。同一領域に複数の主ホスト１１０（図１）からのライト要求がある場合には差分とすると、コピーデータ量が削減できる。
移行情報６４０は、移行ＩＤ６４１、移行元フラグ６４２、移行先フラグ６４３を含む。移行情報６４０は、ペアボリュームをペアボリュームが含まれるコンシステンシグループから別のコンシステンシグループに移す処理を行う際に利用する。コンシステンシグループ移行処理の詳細は後記する。
＜ジャーナルメタデータ＞
図７は、ジャーナルメタデータを示す図である。ジャーナルメタデータ７００は、データとジャーナルを関連付けるための管理情報であり、データボリューム情報７１０とジャーナルデータ情報７２０を含む。
データボリューム情報７１０は、データが更新されるデータボリュームを示すボリュームＩＤ７１１、データボリューム上のデータを格納する先頭アドレスを示すデータ格納アドレス７１２を含む。
ジャーナルデータ情報７２０は、ジャーナル取得の際に割り当てられたコンシステンシグループ内でのリモートコピーデータの通番であるシーケンス番号７２１、ジャーナルボリューム上のジャーナルデータを格納する先頭アドレスを示すジャーナルデータ格納アドレス７２２、ジャーナルデータのデータ長７２３を含む。なお、ジャーナルデータ情報７２０には、ほかに、ジャーナル取得時刻を入れてもよい。
＜ジャーナルメタデータ、データボリューム、ジャーナルデータの対応＞
図８は、ジャーナルメタデータ、データボリューム、ジャーナルデータの対応を示す図である。一般に、ＰＶＯＬ１２５（図２）、ＳＶＯＬ２２５（図２）およびジャーナルボリュームは各々予め定められた論理ブロック単位で管理される（例えば５１２ＫＢ）。論理ブロックの各々には、論理ブロックアドレスが付与されている。
主ジャーナルボリューム１２６は、ジャーナルメタデータ領域１２８、および、ジャーナルデータ領域１２７を有する。ジャーナルデータ領域１２７には、前記したジャーナルデータ８１１、すなわち、主ホスト１１０からのライト要求によってＰＶＯＬ１２５に書き込まれたデータ８１２のコピーが格納される。ジャーナルメタデータ領域１２８には、前記したジャーナルメタデータ７００が格納される。ジャーナルメタデータ７００には、更新データのデータ格納アドレス７１２、および、ジャーナルデータ格納アドレス７２２が含まれる。
副ジャーナルボリューム２２６も、主ジャーナルボリューム１２６と同様に、ジャーナルメタデータ領域２２８、および、ジャーナルデータ領域２２７を有する。ジャーナルメタデータ領域２２８には、主ジャーナルボリューム１２６のジャーナルメタデータ領域１２８から転送されたジャーナルメタデータ７００がアドレス変換されて格納される。ジャーナルデータ領域２２７には、主ジャーナルボリューム１２６のジャーナルデータ領域から転送されたコピーデータがジャーナルデータ８２１として格納される。
ジャーナルメタデータ７００はＰＶＯＬ１２５でおこなわれたデータ更新の情報を持ち、そのアドレス情報であるジャーナルデータ格納アドレス７２２（図７）は、対応するジャーナルデータ８２１が格納される副ジャーナルボリューム２２６のアドレスに書き換えられる。さらに、ジャーナルデータ８２１を、副ジャーナルボリューム２２６のジャーナルデータ領域２２７から、データ格納アドレス７１２（図７）に対応するＳＶＯＬ２２５のアドレスへコピーすることによって、ＰＶＯＬ１２５での更新をＳＶＯＬ２２５へ反映することができる。
なお、ジャーナルメタデータ７００のデータ長は一定であるが、ジャーナルデータ長７２３（図７）は、主ホスト１１０からのライト要求で更新されるデータに依存するので一定ではない。また、ジャーナルボリューム定義時に、各記憶装置システム１２０、２２０（図１）は、設定される各ジャーナルボリューム１２６、２２６に対して、各ジャーナルメタデータ領域１２８、２２８および各ジャーナルデータ領域１２７、２２７の設定を行う。
＜移行コマンド＞
図９は、コンシステンシグループ移行コマンドの入力項目を示す図である。移行コマンド９００は、移行元コンシステンシグループ９１０、移行先コンシステンシグループ９２０、移行ペアボリューム９３０を示す情報を含む。
移行元コンシステンシグループ９１０、移行先コンシステンシグループ９２０は、コンシステンシグループ管理情報５００（図５）のコンシステンシグループＩＤ５１０（図５）の中から、該当するコンシステンシグループのＩＤが入る。移行ペアボリューム９３０は、移行の対象となるペアボリュームを示し、複数のペアボリュームが含まれてよい。移行ペアボリューム９３０は、ペアボリューム管理情報３００（図３）のペアＩＤ３４０（図３）の中から、該当するものが入る。
＜コンシステンシグループ移行概念＞
図１０は、コンシステンシグループの移行を表わした概念図である。各ＰＶＯＬ１２５Ａ、１２５Ｂと、各ＳＶＯＬ２２５Ａ、２２５Ｂは、リモートコピーのペアボリュームとなっている。ここでは、ペアボリューム１２５Ｂ−２２５Ｂがコンシステンシグループを移行する場合について説明する。
移行ペアボリューム１２５Ｂ−２２５Ｂを、移行元コンシステンシグループ１２０１から別のコンシステンシグループである移行先コンシステンシグループ１２０２に移行する。なお、図１０では、移行ペアボリュームを一つしか書いていないが、複数の移行ペアボリュームをまとめて移行してもよい。また、同期リモートコピーのペアボリュームの場合は、主記憶装置システム１２０（図１）のＰＶＯＬ１２５と副記憶装置システム２２０（図１）のＳＶＯＬ２２５が同一のデータ内容であるとみなせ、必ずしもコンシステンシグループに属する必要がないため、移行元コンシステンシグループ１２０１がなくてもよい。
＜＜＜動作＞＞＞
以上で構成についての説明を終り、続いて、動作について説明する。図１１と図１２を用いてリモートコピーについて説明し、図１３〜図２１を用いてコンシステンシグループの変更について説明する。
＜＜リモートコピー処理＞＞
リモートコピー処理は、大きく、ジャーナル型非同期と、同期および非ジャーナル型非同期の２つのタイプに大別することができ、以下、それぞれについて説明する。
＜ジャーナル型非同期リモートコピー処理＞
図１１は、ジャーナル型非同期リモートコピーの処理フローである。主記憶装置システム１２０および副主記憶装置システム２２０において、それぞれコピー管理プログラム１２３、２２３が実行され、リモートコピー処理が行われる。
まずは、概要を説明する。主記憶装置システム１２０は、リモートコピープログラム１２４を実行することによって、ＰＶＯＬ１２５に書き込まれるデータのコピーをジャーナルデータとして、主ジャーナルボリューム１２６に格納する。また、主記憶装置システム１２０は、ジャーナルデータの一部としてジャーナルメタデータ７００（図７）も主ジャーナルボリューム１２６に格納する。これらの処理をジャーナル取得処理と呼ぶ。
一方、副記憶装置システム２２０は、リモートコピープログラム２２４を実行して、副ジャーナルボリューム２２６に格納されたジャーナルデータに基づき、ＰＶＯＬ１２５で更新されたデータをＳＶＯＬ２２５に反映する。これらの処理をジャーナル復元処理と呼ぶ。ジャーナル復元処理では、若いシーケンス番号６１０（図６）が抜けているジャーナルデータは反映させない。
続いて、各動作を、順を追って説明する。主記憶装置システム１２０でＰＶＯＬ１２５のジャーナル取得処理が開始されると、主記憶装置システム１２０は、主ホスト１１０からＰＶＯＬ１２５への書き込み処理（Ｓ１００１）に応じて、ジャーナルデータを作成し、作成したジャーナルデータを主ジャーナルボリューム１２６に格納する（Ｓ１００２）。ここでリモートコピープログラム１２４は、主記憶装置システム１２０の制御メモリ１３５（図１）上に格納されているコンシステンシグループ管理情報５００（図５）から、最新シーケンス番号５３０（図５）などの情報を取得し、ジャーナルデータの格納先を決定し、かつ、ジャーナルメタデータ７００（図７）を作成する。
副記憶装置システム２２０は、コピー管理プログラム２２３を実行して、主記憶装置システム１２０からジャーナルデータ作成状況に関する情報（例えば、主ジャーナルボリューム１２６内のジャーナルデータの容量、ジャーナルデータの一番古い時刻など）を取得する（Ｓ１００３）。
副記憶装置システム２２０は、コピー管理プログラム２２３を実行し、保守端末１２２などからＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を介してなされたユーザからの指示の入力あるいは予め定められていたスケジュール（たとえば、主記憶装置システム１２０で一定量のジャーナルデータがジャーナルボリュームに格納されたとき、または、一定期間ごとなど）にしたがい、副記憶装置システム２２０のリモートコピープログラム２２４に対し、ジャーナルデータ転送要求を出す（Ｓ１００４）。
ジャーナルデータ転送要求には、コピーすべきジャーナルデータ、そのジャーナルデータが格納されている主ジャーナルボリューム１２６、その主ジャーナルボリューム１２６を有する主記憶装置システム１２０を識別する情報、および、コピーしたジャーナルデータが格納される副ジャーナルボリューム２２６を指定する情報が含まれている。これらの情報はコピー管理プログラム１２３が制御メモリ１３５（図１）上のコンシステンシグループ管理情報５００（図５）から取得した情報から作成される。
ジャーナルデータ転送要求を受けたリモートコピープログラム２２４は、リードコマンドを主記憶装置システム１２０に対して発行する（Ｓ１００５）。このリードコマンドを受けた主記憶装置システム１２０は、リードコマンドで指定されたジャーナルデータをリモートコピーデータ６００（図６）として副記憶装置システム２２０に送信する（Ｓ１００６）。ジャーナルデータを受信した副記憶装置システム２２０は、ジャーナルデータ転送要求で指定された副ジャーナルボリューム２２６に、受信したジャーナルデータを格納する（ジャーナル転送処理）。
なお、ここで主記憶装置システム１２０のコピー管理プログラム１２３およびリモートコピープログラム１２４を実行して、主記憶装置システム１２０が副記憶装置システム２２０へライト要求を出すことによってジャーナル転送を実現してもよい。
その後、副記憶装置システム２２０のコピー管理プログラム２２３は、副記憶装置システム２２０のリモートコピープログラム２２４に対して、ジャーナル復元要求を発行する（Ｓ１００７）。ジャーナル復元要求を受けたリモートコピープログラム２２４は、副ジャーナルボリューム２２６のジャーナルデータに基づき、ＳＶＯＬ２２５にデータの反映を行う（ジャーナル復元処理）（Ｓ１００８）。
なお、各ジャーナルボリューム１２６、２２６は論理的な領域であるので、物理的な記憶装置１２１（図１）に格納する前のキャッシュメモリ１３２（図１）および副記憶装置システム２２０のキャッシュメモリ（図示せず）上のジャーナルデータを用いてジャーナル取得処理、ジャーナル転送処理、ジャーナル復元処理を行ってもよい。
＜同期、非ジャーナル型非同期リモートコピーの処理＞
図１２は、同期リモートコピーおよび非ジャーナル型非同期リモートコピーの処理フローである。主記憶装置システム１２０および副記憶装置システム２２０において、それぞれコピー管理プログラム１２３、２２３が実行され、リモートコピー処理が行われる。
各動作を、順を追って説明する。主記憶装置システム１２０は、主ホスト１１０からＰＶＯＬ１２５への書き込み処理（Ｓ１１０１）に応じて、リモートコピープログラム１２４を実行し、ＰＶＯＬ１２５に書き込まれるデータのコピーを、リモートコピーデータ６００（図６）として副記憶装置システム２２０へ転送する（Ｓ１１０２、Ｓ１１０３）。なお、ここでは、複数の書き込みデータをまとめて転送してもよい。
副記憶装置システム２２０は、リモートコピープログラム２２４を実行して、リモートコピーデータ６００（図６）のシーケンス番号６１０（図６）の若いほうから揃ったところまでをＳＶＯＬ２２６へ反映、つまり正式化を行う（Ｓ１１０４）。
一方、主記憶装置システム１２０のコピー管理プログラム１２３と副記憶装置システム２２０のコピー管理プログラム２２３は、リモートコピーのコピー状況に関する情報を交換する（Ｓ１１０５）。具体的に交換される情報は、副記憶装置システム２２０で正式化が行われたリモートコピーデータ６００（図６）の最新シーケンス番号などである。
＜＜コンシステンシグループの変更＞＞
次に、コンシステンシグループの変更について説明する。リモートコピー処理のタイプは、前記したように、ジャーナル型非同期、同期、非ジャーナル型非同期があるが、ここでは非ジャーナル型非同期リモートコピーを例にとって説明する。そして、以下で説明するコンシステンシグループの変更は、ジャーナル型非同期リモートコピーにおいても同様に適用することができ、また、同期リモートコピーが並存している場合でも同様に適用できる。
コンシステンシグループを変更する場合、ユーザは、主ホスト１１０（図１）、管理端末３０（図１）あるいは保守端末１２２（図１）におけるＧＵＩ（図示せず）などを用いて、主記憶装置システム１２０（図１）に対して、コンシステンシグループの移行コマンド９００（図９）を入力する。
以下の例では、主記憶装置システム１２０（図１）から副記憶装置システム２２０（図１）に複数のリモートコピーデータ６００（図６）が継続的に送信されている最中に、コンシステンシグループを変更する場合について、適宜図１なども参照しながら説明する。なお、以下では、リモートコピーデータ６００（図６）をＲＣデータと略記する。
＜コンシステンシグループの移行例＞
図１３を参照しながら、特定のボリュームのペアがコンシステンシグループ間を移行する例について説明する。図１３（ａ）は、主サイト１００の主ホスト１１０による主記憶装置システム１２０へのライト要求順序を、ＲＣデータのシーケンス番号６１０で時系列に表わした図である。
主サイト１００の主記憶装置１２１内のボリュームＡ、Ｂ、Ｃ、Ｄ、Ｅは、それぞれ副サイト２００の副記憶装置２２１内のボリュームＡ’、Ｂ’、Ｃ’、Ｄ’、Ｅ’とペアになっている（以下の他の例でも同様）。最初、コンシステンシグループａにはボリュームＡ、Ｂ、Ｃのペアが属し、コンシステンシグループｂにはボリュームＤ、Ｅのペアが属している。そして、シーケンス番号６１０が、コンシステンシグループａにおいてはａ１、ａ２、・・・、コンシステンシグループｂにおいてはｂ１、ｂ２、・・・、と付与されている。つまり、主サイト１００側では、ａ１、ｂ１、ａ２、ａ３、・・・の順序でライト要求が発生していることになる。
主サイト１００におけるライト要求の途中、タイミング「l」において、ユーザから主ホスト１１０、管理端末３０、又は保守端末１２２を介して主記憶装置システム１２０に発行されるコマンドに基づいて、ボリュームＣのペアが、コンシステンシグループａからコンシステンシグループｂに移行するとする。したがって、タイミング「l」以降は、ボリュームＣからＣ’へ送信されるデータにはｂのシーケンス番号６１０が付与されることになる。
そして、通信回線であるネットワーク１５０の通信状況などにより、副記憶装置システム２２０では、データを図１３（ｂ）の左から順番（ｂ１、ａ２、ａ１、ｂ２・・・）に受信したものとする。
次に、図１４を参照しながら、図１３のようにＲＣデータが送受信されたときの主記憶装置システム１２０および副記憶装置システム２２０における制御について説明する。
〔主記憶装置システム１２０側の制御〕
図１４（ａ）は、主記憶装置システム１２０側の制御の流れを示したフローチャートである。主記憶装置システム１２０は、次々にＲＣデータを副記憶装置システム２２０側に送信する際に、ａ５のＲＣデータは、ボリュームＣのペアの移行前コンシステンシグループａにけるコンシステンシグループ移行時点（タイミング「l」）の直前のＲＣデータであるため、移行元フラグ６４２をオンにする（Ｓ１１）。
次に、ｂ３のＲＣデータは、ボリュームＣのペアの移行後コンシステンシグループｂにおける移行タイミング「l」直後のＲＣデータであるため、移行先フラグ６４３をオンにする（Ｓ１２）。そして、このＳ１２の後は、ボリュームＣのペアはコンシステンシグループｂに属することになるので、ボリュームＣのＲＣデータのシーケンス番号６１０はｂで付与する（Ｓ１３）。
つまり、主記憶装置システム１２０側から各ＲＣデータが送信される場合、受信する副記憶装置システム２２０側でＲＣデータの正式化が正しく行われるように、コンシステンシグループ移行タイミング「l」の前後の特定のデータ（この場合ではａ５、ｂ３）にマークをつけておくのである。
〔副記憶装置システム２２０側の制御〕
次に、副記憶装置システム２２０側の制御について説明する。副記憶装置システム２２０は、図１３（ｂ）の順序（ｂ１、ａ２、ａ１、ｂ２・・・）でＲＣデータを受信し、受信したＲＣデータについて、それぞれのコンシステンシグループにおいてそれよりも若いシーケンス番号６１０のＲＣデータがすべて揃っていれば、副記憶装置２２１の該当するボリュームに記憶させる。たとえば、ａ４のＲＣデータを受信した際、ａ１、ａ２、ａ３がすべて揃っていれば、ａ４のＲＣデータを副記憶装置２２１に記憶することになる。そして、受信したＲＣデータのシーケンス番号６１０よりも若いシーケンス番号６１０のＲＣデータが揃っていなければ、その受信データはキャッシュメモリ（図示せず）などに一時保管される。これらが、副記憶装置システム２２０における通常の制御であるが、それ以外に、図１４（ｂ）のような処理を行う。
図１４（ｂ）は、副記憶装置システム２２０側の制御の流れを示したフローチャートである。まず、ボリュームＣの移行後コンシステンシグループであるコンシステンシグループｂにおいて、移行先フラグ６４３の付与されたＲＣデータであるｂ３の１つ前のＲＣデータであるｂ２までの正式化が完了したのか、つまりｂ１とｂ２が揃ったのか否かを判定する（Ｓ２１）。そして、ｂ２までの正式化が完了すれば、次のステップでコンシステンシグループｂのｂ３以降の正式化を保留する（Ｓ２２）。つまり、ｂ３以降が揃っても、正式化を行わない。その後、コンシステンシグループａにおいて、移行元フラグ６４２の付与されたデータａ５までの正式化が完了すれば（Ｓ２３）、コンシステンシグループｂのｂ３以降の正式化を開始する（Ｓ２４）。
これによって、ボリュームＣ’において、ａ４よりもｂ４が先に反映されることがなく、問題なくボリュームＣのペアのコンシステンシグループ移行を行うことができる。つまり、図１４（ａ）（ｂ）の処理を行わないと、ａ４よりもｂ４が先に反映されてしまうのである。また、移行元フラグ６４２や移行先フラグ６４３が付与されたＲＣデータの特定は、それらのＲＣデータを副記憶装置システム２２０が受信することによって行ってもよいし、また、それとは別に予め主記憶装置システム１２０から副記憶装置システム２２０にそのことを通知することなどにより対応してもよい。なお、ここでは、１つのボリュームの移行例を示したが、複数ボリュームでも同様に移行することができる。
＜コンシステンシグループの分割例＞
続いて、図１５、図１６を参照しながら、コンシステンシグループの分割例について説明する。なお、上記＜コンシステンシグループの移行例＞のときと共通する部分が多く、それらについては、一部省略しながら説明する。
図１５（ａ）は、図１３（ａ）と同様、主ホスト１１０によるライト要求が発せられたＲＣデータをシーケンス番号６１０で時系列に表わしたものである。そして、図１５（ａ）において、タイミング「ｊ」まではボリュームＡ、Ｂ、Ｃ、Ｄ、Ｅのペアはコンシステンシグループａに属している。そして、タイミング「ｊ」から、ボリュームＡ、Ｂ、Ｃのペアはコンシステンシグループａのままであるが、一方、ボリュームＤ、Ｅのペアはコンシステンシグループｂに属し、以降、シーケンス番号６１０がｂで付与されている。そして、副記憶装置システム２２０では、ＲＣデータを図１３（ｂ）の順序で受信したものとする。
次に、図１６を参照しながら、図１５のようにＲＣデータを送信したときの、主記憶装置システム１２０および副記憶装置システム２２０における制御について説明する。
〔主記憶装置システム１２０側の制御〕
図１６（ａ）は、主記憶装置システム１２０側の制御の流れを示したフローチャートである。主記憶装置システム１２０は、次々にＲＣデータを副サイト２００側に送信する際に、ａ５のＲＣデータは、コンシステンシグループ分割時点（タイミング「ｊ」）の直前のＲＣデータであるため、移行元フラグ６４２をオンにする（Ｓ３１）。
次に、ｂ１のＲＣデータは、コンシステンシグループ分割後において新しいコンシステンシグループであるコンシステンシグループｂの最初のＲＣデータであるため、移行先フラグ６４３をオンにする（Ｓ３２）。そして、このＳ３２の後は、ボリュームＤ、Ｅのペアはコンシステンシグループｂに属することになるので、ボリュームＤ、ＥのＲＣデータのシーケンス番号３１０はｂで付与する（Ｓ３３）。
つまり、主記憶装置システム１２０側から各ＲＣデータが送信される場合、受信する副記憶装置システム２２０側でＲＣデータの正式化が正しく行われるように、コンシステンシグループ分割タイミング「ｊ」の前後の特定のデータ（この場合ではａ５、ｂ１）にマークをつけておくのである。
〔副記憶装置システム２２０側の制御〕
次に、副記憶装置システム２２０側の制御について説明する。副記憶装置システム２２０は、図１５（ｂ）の順序（ａ２、ａ３、ａ６、ｂ１・・・）でＲＣデータを受信する。受信したＲＣデータについて、それぞれのコンシステンシグループにおいてそれよりも若いシーケンス番号のＲＣデータがすべて揃っていれば、副記憶装置２２１の該当するボリュームに記憶させる。そして、受信したＲＣデータのシーケンス番号よりも若いシーケンス番号のＲＣデータが揃っていなければ、その受信データはキャッシュメモリ（図示せず）などに一時保管される。これらが、副記憶装置システム２２０における通常の制御であるが、それ以外に、図１６（ｂ）のような処理を行う。
図１６（ｂ）は、副記憶装置システム２２０側の制御の流れを示したフローチャートである。まず、コンシステンシグループｂのｂ１以降の正式化を保留する（Ｓ４１）。つまり、ｂ１以降が揃っても、副記憶装置２２１に反映させない。そして、コンシステンシグループａにおいてａ５までの正式化が完了すれば（Ｓ４２）、コンシステンシグループｂのｂ１以降の正式化を開始する（Ｓ４３）。
これによって、ボリュームＤ’において、ａ４よりもｂ１が先に反映されることがなく、問題なくコンシステンシグループの分割を行うことができる。つまり、図１６（ａ）（ｂ）の処理を行わないと、ａ４よりもｂ１が先に反映されてしまうのである。なお、ここでは、コンシステンシグループを２つに分割する例を示したが、３つ以上に分割する場合でも、複数のＲＣデータにおいて移行元フラグ６４２をオンにする、または、２段階以上に分けて分割する、などにより対応することができる。
＜コンシステンシグループの統合例＞
続いて、図１７、図１８を参照しながら、コンシステンシグループの統合例について説明する。なお、上記＜コンシステンシグループの移行例＞のときと共通する部分が多く、それらについては、一部省略しながら説明する。
図１７は、図１３と同様、主ホスト１１０によるライト要求が発せられたＲＣデータをシーケンス番号６１０で時系列に表わしたものである。図１７（ａ）において、タイミング「ｊ」まではボリュームＡ、Ｂ、Ｃのペアはコンシステンシグループａに属していて、ボリュームＤ、Ｅのペアはコンシステンシグループｂに属している。そして、タイミング「ｊ」からボリュームＡ、Ｂ、Ｃ、Ｄ、Ｅのペアすべてがコンシステンシグループａに統合され、シーケンス番号６１０がａで付与されることになる。そして、副記憶装置システム２２０では、ＲＣデータを図１７（ｂ）の順序で受信したものとする。
次に、図１８を参照しながら、図１７のようにＲＣデータが送信されたときの主記憶装置システム１２０および副記憶装置システム２２０における制御について説明する。
〔主記憶装置システム１２０側の制御〕
図１８（ａ）は、主記憶装置システム１２０側の制御の流れを示したフローチャートである。主記憶装置システム１２０は、次々にＲＣデータを副サイト２００側に送信する際に、ｂ２のＲＣデータは、統合により吸収されるコンシステンシグループであるコンシステンシグループｂにおいてコンシステンシグループ統合時点（タイミング「ｊ」）の直前のＲＣデータであるため、移行元フラグ６４２をオンにする（Ｓ５１）。
次に、ａ４のＲＣデータは、コンシステンシグループ統合後において最初のＲＣデータであるため、移行先フラグ６４３をオンにする（Ｓ５２）。そして、このＳ５２の後は、ボリュームＤ、Ｅのペアはコンシステンシグループａに属することになるので、ボリュームＤ、ＥのＲＣデータのシーケンス番号３１０はａで付与する（Ｓ５３）。
つまり、主記憶装置システム１２０側から各ＲＣデータが送信される場合、受信する副記憶装置システム２２０側でＲＣデータの正式化が正しく行われるように、コンシステンシグループ統合タイミング「ｊ」の前後の特定のデータ（この場合ではｂ２、ａ４）にマークをつけておくのである。
なお、コンシステンシグループ統合後のシーケンス番号は、それまでのシーケンス番号のいずれかを引き継がなくても、まったく別のものでもよい。
〔副記憶装置システム２２０側の制御〕
次に、副記憶装置システム２２０側の制御について説明する。副記憶装置システム２２０は、主記憶装置システム１２０側から図１７（ｂ）の順序（ａ２、ａ７、ａ１、ａ８・・・）でＲＣデータを受信する。副記憶装置システム２２０側は、受信したＲＣデータについて、そのコンシステンシグループにおいてそれよりも若いシーケンス番号のＲＣデータがすべて揃っていれば、副記憶装置２２１の該当するボリュームに記憶させる。そして、受信したＲＣデータのシーケンス番号よりも若いシーケンス番号のＲＣデータが揃っていなければ、その受信データはキャッシュメモリ（図示せず）などに一時保管される。これらが、副記憶装置システム２２０における通常の制御であるが、それ以外に、図１８（ｂ）のような処理を行う。
図１８（ｂ）は、副記憶装置システム２２０側の制御の流れを示したフローチャートである。統合後のコンシステンシグループであるコンシステンシグループａにおいて、移行先フラグ６４３の付与されたＲＣデータであるａ４の１つ前のＲＣデータであるａ３までの正式化が完了したのか否かを判定する（Ｓ６１）。そして、ａ３までの正式化が完了すれば、次のステップでコンシステンシグループａのａ４以降の正式化を保留する（Ｓ６２）。そして、コンシステンシグループｂにおいてｂ２までの正式化が完了すれば（Ｓ６３）、コンシステンシグループａのａ４以降の正式化を開始する（Ｓ６４）。
これによって、ボリュームＤ’において、ｂ１よりもａ４が先に反映されることがなく、問題なくコンシステンシグループの統合を行うことができる。つまり、図１８（ａ）（ｂ）の処理を行わないと、ｂ１よりもａ４が先に反映されてしまうのである。
なお、ここでは、２つのコンシステンシグループを統合する例を示したが、３つ以上から統合する場合でも、複数のＲＣデータにおいて移行元フラグ６４２をオンにする、または、２段階以上に分けて統合する、などにより対応することができる。さらに、どのコンシステンシグループに属さないボリュームを統合する場合も、同様に実現することができる。
＜コンシステンシグループの移行例２＞
続いて、図１３、図１４、図１９を参照しながら、コンシステンシグループの移行例２について説明する。前記＜コンシステンシグループの移行例＞とほぼ共通の構成、処理であり、相違点のみを説明する。
まず、送受信するＲＣデータについては＜コンシステンシグループの移行例＞と同様に図１３の通りである。また、副記憶装置システム２２０側の処理は、図１４（ｂ）と同様である。前記＜コンシステンシグループの移行例＞のときとの相違点は、主記憶装置システム１２０が、図１４のＳ１１のようにａ５のＲＣデータの移行元フラグ６４２をオンにする代わりに、図１９のＳ９１のようにｂ３のＲＣデータの移行元フラグ６４２のところにａ５を入力する点だけである。
そうすることで、移行情報６４０を１つのＲＣデータ（ｂ３）に与えるだけでよく、前記＜コンシステンシグループの移行例＞のときと比べて運用がさらに容易になる。これによって、ボリュームＣ’において、ａ４よりもｂ４が先に反映されることがなく、問題なくボリュームＣのペアのコンシステンシグループ移行を行うことができる。
なお、ここでは、図６の移行情報６４０の移行元フラグ６４２の項目に移行タイミング直前のＲＣデータのシーケンス番号を入力する構成としたが、このように移行情報６４０の一部を変更するのではなく、当該ＲＣデータのシーケンス番号を入力する項目をＲＣデータに新たに追加するようにしてもよい。また、ＲＣデータは図６のままで、主記憶装置システム１２０の制御メモリ１３５や副記憶装置システム２２０の制御メモリ（図示せず）にその情報を記憶し、処理を行うようにしてもよい。さらに、この方法は、コンシステンシグループの分割、統合においても、同様に実施することができる。
＜差分コピーを用いたコンシステンシグループの移行例＞
続いて、図２０、図２１を参照しながら、差分コピーを用いたコンシステンシグループの移行例について説明する。
図２０は、図１３（ａ）と同様、主ホスト１１０によるライト要求が発せられたＲＣデータをシーケンス番号６１０で時系列に表わしたものである。なお、副記憶装置システム２２０側でのＲＣデータの受信順序は、図示および説明を省略する。この場合、タイミング「ｈ」において、ボリュームＣのペアがコンシステンシグループａからコンシステンシグループｂに移行する。また、主記憶装置システム１２０と副記憶装置システム２２０の通常処理はこれまでの例と同様であり、一部省略する。
図２１を参照しながら、図２０のように主ホスト１１０からライト要求があったときの、主記憶装置システム１２０および副記憶装置システム２２０における制御について説明する。
〔主記憶装置システム１２０側の制御〕
主記憶装置システム１２０は、通常のＲＣデータ送信のほかに、図２１（ａ）のフローチャートのような処理を行う。
図２１（ａ）は、主記憶装置システム１２０側の制御の流れを示したフローチャートである。移行前コンシステンシグループａにおいて移行タイミング「ｈ」直前のＲＣデータであるａ５の移行元フラグ６４２をオンにし、以降のボリュームＣのＲＣデータのシーケンス番号６１０はｂで付与する（Ｓ１１１）。その後、ａ２までの正式化が完了したという通知を副記憶装置システム２２０から受信するまでは（Ｓ１１２）、ボリュームＣへのデータ更新を差分管理する（Ｓ１１３）。そして、ａ２までの正式化が完了したという通知をタイミング「ｍ」において副記憶装置システムから受信し（Ｓ１１２）、ボリュームＣの差分リモートコピーを行う（Ｓ１１４）。
〔副記憶装置システム２２０側の制御〕
次に、副記憶装置システム２２０側の制御について説明する。副記憶装置システム２２０は、主記憶装置システム１２０側から受信したＲＣデータについて、そのコンシステンシグループにおいてそれよりも若いシーケンス番号のＲＣデータがすべて揃っていれば、副記憶装置２２１の該当するボリュームに記憶させる。そして、受信したＲＣデータのシーケンス番号よりも若いシーケンス番号のＲＣデータが揃っていなければ、その受信データはキャッシュメモリ（図示せず）などに一時保管される。これらが、副記憶装置システム２２０における通常の制御であるが、それ以外に、図２１（ｂ）のような処理を行う。
図２１（ｂ）は、副記憶装置システム２２０側の制御の流れを示したフローチャートである。まず、コンシステンシグループａにおいて、ａ２までの正式化が完了したのか否かを判定する（Ｓ１２１）。そして、ａ２までの正式化が完了すれば、そのことを主記憶装置システム１２０に通知する（Ｓ１２２）する。そして、その後は通常処理に戻り（Ｓ１２３）、主記憶装置システム１２０から送信されてくるＲＣデータを受信、処理、正式化する。
これによって、ボリュームＣ’において、ａ２よりもｂ３、ｂ４が先に反映されることがなく、問題なくボリュームＣのペアのコンシステンシグループ移行を行うことができる。また、差分管理、差分リモートコピーを行うことで、送信データ量を減らすことができる。
ここでは、コンシステンシグループの移行について説明したが、コンシステンシグループの分割、統合の場合でも同様に差分管理、差分リモートコピーを用い、同様の作用効果を得ることができる。
前記したように、本発明の実施形態に係るリモートコピーシステムによれば、リモートコピーデータに移行のタイミングを示すフラグを付与する、または、移行のタイミングのシーケンス番号を通知することで、リモートコピーのペアボリュームを別のコンシステンシグループに移すことが可能となる。これは、たとえば、リモートコピーシステムを利用するユーザの業務が変更され、コンシステンシグループの構成を変更する場合に有効である。また、大きなコンシステンシグループで運用していたものを細分化する場合や、逆に複数のコンシステンシグループを一つにまとめる場合にも有効である。
以上で実施形態の説明を終えるが、本発明の態様はこれらに限定されるものではない。たとえば、主記憶装置システムから副記憶装置システムにコンシステンシグループの変更の直前直後のＲＣデータを通知するために、移行元フラグや移行先フラグをリモートコピーデータ内に含める形式でなくても、ＲＣデータとは別に通知する形をとってもよい。
また、コンシステンシグループの移行、分割、統合を行う場合に、その動作の前あるいは後にいくつかのボリュームがどのコンシステンシグループにも属さないことも考えられるが、その場合でも、リモートコピーデータのコンシステンシグループＩＤに仮ＩＤを付与するなどの簡単な操作によって解決することができる。その他、具体的な構成について、本発明の主旨を逸脱しない範囲で適宜変更が可能である。
実施形態に係るリモートコピーシステムのハードウエア構成を示す全体図である。 実施形態に係るリモートコピーシステムの機能構成を示す全体図である。 ペアボリューム管理情報を示す図である。 ジャーナルボリューム管理情報を示す図である。 コンシステンシグループ管理情報を示す図である。 リモートコピーデータ情報を示す図である。 ジャーナルメタデータを示す図である。 ジャーナルメタデータ、データボリューム、ジャーナルデータの対応を示す図である。 コンシステンシグループ移行コマンドを示す図である。 コンシステンシグループの移行を表わした概念図である。 ジャーナル型非同期リモートコピーの処理フローである。 同期リモートコピーおよび非ジャーナル型非同期リモートコピーの処理フローである。 コンシステンシグループの移行例において、 （ａ）主ホストによる主記憶装置システムへのライト要求順序をシーケンス番号で時系列に表わした図である。 （ｂ）副記憶装置システムがＲＣデータを受信する順序をシーケンス番号で時系列に表わした図である。 コンシステンシグループの移行例において、 （ａ）主記憶装置システム側の制御の流れを示したフローチャートである。 （ｂ）副記憶装置システム側の制御の流れを示したフローチャートである。 コンシステンシグループの分割例において、 （ａ）主ホストによる主記憶装置システムへのライト要求順序をシーケンス番号で時系列に表わした図である。 （ｂ）副記憶装置システムがＲＣデータを受信する順序をシーケンス番号で時系列に表わした図である。 コンシステンシグループの分割例において、 （ａ）は、主記憶装置システム側の制御の流れを示したフローチャートである。 （ｂ）副記憶装置システム側の制御の流れを示したフローチャートである。 コンシステンシグループの統合例において、 （ａ）主ホストによる主記憶装置システムへのライト要求順序をシーケンス番号で時系列に表わした図である。 （ｂ）副記憶装置システムがＲＣデータを受信する順序をシーケンス番号で時系列に表わした図である。 コンシステンシグループの統合例において、 （ａ）は、主記憶装置システム側の制御の流れを示したフローチャートである。 （ｂ）副記憶装置システム側の制御の流れを示したフローチャートである。 主記憶装置システム側の制御の流れを示したフローチャートである。 差分コピーを用いたコンシステンシグループの移行例において、主ホストによる主記憶装置システムへのライト要求順序をシーケンス番号で時系列に表わした図である。 差分コピーを用いたコンシステンシグループの移行例において、 （ａ）主記憶装置システム側の制御の流れを示したフローチャートである。 （ｂ）副記憶装置システム側の制御の流れを示したフローチャートである。
符号の説明
１００ 主サイト
１１０ 主ホスト
１２０ 主記憶装置システム
２００ 副サイト
２１０ 副ホスト
２２０ 副記憶装置システム
３０ 管理端末

Claims (6)

  1. 複数の第１サイト論理記憶領域を有し、前記第１サイト論理記憶領域へのライト要求のあったデータを送信する第１サイトと、複数の第２サイト論理記憶領域を有し、前記第１サイトから前記データを受信して前記第２サイト論理記憶領域に反映する第２サイトと、を含んで構成され、
    前記ライト要求の順序と前記第２サイトでの前記データの前記第２サイト論理記憶領域への反映順序との整合をとるために、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアの任意数ごとにそれぞれ独立のシーケンス番号を使用して前記データの送受信を行うコンシステンシグループを複数形成し、前記第２サイトはそれぞれの前記コンシステンシグループ内において前記第１サイトから受信した前記データの前記シーケンス番号が揃っているところまでを前記第２サイト論理記憶領域に反映させ、
    所定の前記ペアを第１コンシステンシグループから第２コンシステンシグループへ移動することで前記コンシステンシグループの構成変更を行う場合に、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアそれぞれを解除せずに維持したままで、
    前記第２サイトは、
    前記構成変更の後に前記第２コンシステンシグループに属するすべてのペアについて、前記構成変更の後の最初の前記ライト要求があって前記第１サイトで移行先フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行先フラグをオンにされたデータを受信したとき、当該移行先フラグをオンにされたデータの前記第２サイト論理記憶領域への反映を保留し、
    前記構成変更の前に前記第１コンシステンシグループに属していたすべてのペアについて、前記構成変更の前の最後の前記ライト要求があって前記第１サイトで移行元フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行元フラグをオンにされたデータを受信した場合、前記構成変更の前の前記第１コンシステンシグループについて当該移行元フラグをオンにされたデータ以前のすべてのデータが揃って前記第２サイト論理記憶領域に反映させたか否かを判定し、
    当該反映が完了していれば、前記保留していた前記移行先フラグをオンにされたデータ以降のデータの前記第２サイト論理記憶領域への反映を開始する
    ことを特徴とするリモートコピーシステム。
  2. 複数の第１サイト論理記憶領域を有し、前記第１サイト論理記憶領域へのライト要求のあったデータを送信する第１サイトと、複数の第２サイト論理記憶領域を有し、前記第１サイトから前記データを受信して前記第２サイト論理記憶領域に反映する第２サイトと、を含んで構成され、
    前記ライト要求の順序と前記第２サイトでの前記データの前記第２サイト論理記憶領域への反映順序との整合をとるために、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアの任意数ごとにそれぞれ独立のシーケンス番号を使用して前記データの送受信を行うコンシステンシグループを複数形成し、前記第２サイトはそれぞれの前記コンシステンシグループ内において前記第１サイトから受信した前記データの前記シーケンス番号が揃っているところまでを前記第２サイト論理記憶領域に反映させ、
    所定の前記コンシステンシグループを第１コンシステンシグループと第２コンシステンシグループに分割することで前記コンシステンシグループの構成変更を行い、前記第２コンシステンシグループについては前記分割の前の前記所定のコンシステンシグループの使用していた前記シーケンス番号とは異なる前記シーケンス番号を使用する場合に、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアそれぞれを解除せずに維持したままで、
    前記第２サイトは、
    前記構成変更の後に前記第２コンシステンシグループに属するすべてのペアについて、前記構成変更の後の最初の前記ライト要求があって前記第１サイトで移行先フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行先フラグをオンにされたデータを受信したとき、当該移行先フラグをオンにされたデータの前記第２サイト論理記憶領域への反映を保留し、
    前記構成変更の前に前記所定のコンシステンシグループに属していたすべてのペアについて、前記構成変更の前の最後の前記ライト要求があって前記第１サイトで移行元フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行元フラグをオンにされたデータを受信した場合、前記構成変更の前の前記所定のコンシステンシグループについて当該移行元フラグをオンにされたデータ以前のすべてのデータが揃って前記第２サイト論理記憶領域に反映させたか否かを判定し、
    当該反映が完了していれば、前記保留していた前記移行先フラグをオンにされたデータ以降のデータの前記第２サイト論理記憶領域への反映を開始する
    ことを特徴とするリモートコピーシステム。
  3. 複数の第１サイト論理記憶領域を有し、前記第１サイト論理記憶領域へのライト要求のあったデータを送信する第１サイトと、複数の第２サイト論理記憶領域を有し、前記第１サイトから前記データを受信して前記第２サイト論理記憶領域に反映する第２サイトと、を含んで構成され、
    前記ライト要求の順序と前記第２サイトでの前記データの前記第２サイト論理記憶領域への反映順序との整合をとるために、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアの任意数ごとにそれぞれ独立のシーケンス番号を使用して前記データの送受信を行うコンシステンシグループを複数形成し、前記第２サイトはそれぞれの前記コンシステンシグループ内において前記第１サイトから受信した前記データの前記シーケンス番号が揃っているところまでを前記第２サイト論理記憶領域に反映させ、
    第１コンシステンシグループと第２コンシステンシグループを統合して統合コンシステンシグループとすることで前記コンシステンシグループの構成変更を行い、前記統合コンシステンシグループについて前記第１コンシステンシグループの使用していたシーケンス番号を引き継いで使用する場合に、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアそれぞれを解除せずに維持したままで、
    前記第２サイトは、
    前記構成変更の後に前記統合コンシステンシグループに属するすべてのペアについて、前記構成変更の後の最初の前記ライト要求があって前記第１サイトで移行先フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行先フラグをオンにされたデータを受信したとき、当該移行先フラグをオンにされたデータの前記第２サイト論理記憶領域への反映を保留し、
    前記構成変更の前に前記第２コンシステンシグループに属していたすべてのペアについて、前記構成変更の前の最後の前記ライト要求があって前記第１サイトで移行元フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行元フラグをオンにされたデータを受信した場合、前記構成変更の前の前記第２コンシステンシグループについて当該移行元フラグをオンにされたデータ以前のすべてのデータが揃って前記第２サイト論理記憶領域に反映させたか否かを判定し、
    当該反映が完了していれば、前記保留していた前記移行先フラグをオンにされたデータ以降のデータの前記第２サイト論理記憶領域への反映を開始する
    ことを特徴とするリモートコピーシステム。
  4. 複数の第１サイト論理記憶領域を有し、前記第１サイト論理記憶領域へのライト要求のあったデータを送信する第１サイトと、複数の第２サイト論理記憶領域を有し、前記第１サイトから前記データを受信して前記第２サイト論理記憶領域に反映する第２サイトと、を含んで構成され、
    前記ライト要求の順序と前記第２サイトでの前記データの前記第２サイト論理記憶領域への反映順序との整合をとるために、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアの任意数ごとにそれぞれ独立のシーケンス番号を使用して前記データの送受信を行うコンシステンシグループを複数形成し、前記第２サイトはそれぞれの前記コンシステンシグループ内において前記第１サイトから受信した前記データの前記シーケンス番号が揃っているところまでを前記第２サイト論理記憶領域に反映させるリモートコピーシステムにおけるリモートコピー方法であって、
    所定の前記ペアを第１コンシステンシグループから第２コンシステンシグループへ移動することで前記コンシステンシグループの構成変更を行う場合に、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアそれぞれを解除せずに維持したままで、
    前記第２サイトは、
    前記構成変更の後に前記第２コンシステンシグループに属するすべてのペアについて、前記構成変更の後の最初の前記ライト要求があって前記第１サイトで移行先フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行先フラグをオンにされたデータを受信したとき、当該移行先フラグをオンにされたデータの前記第２サイト論理記憶領域への反映を保留し、
    前記構成変更の前に前記第１コンシステンシグループに属していたすべてのペアについて、前記構成変更の前の最後の前記ライト要求があって前記第１サイトで移行元フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行元フラグをオンにされたデータを受信した場合、前記構成変更の前の前記第１コンシステンシグループについて当該移行元フラグをオンにされたデータ以前のすべてのデータが揃って前記第２サイト論理記憶領域に反映させたか否かを判定し、
    当該反映が完了していれば、前記保留していた前記移行先フラグをオンにされたデータ以降のデータの前記第２サイト論理記憶領域への反映を開始する
    ことを特徴とするリモートコピー方法。
  5. 複数の第１サイト論理記憶領域を有し、前記第１サイト論理記憶領域へのライト要求のあったデータを送信する第１サイトと、複数の第２サイト論理記憶領域を有し、前記第１サイトから前記データを受信して前記第２サイト論理記憶領域に反映する第２サイトと、を含んで構成され、
    前記ライト要求の順序と前記第２サイトでの前記データの前記第２サイト論理記憶領域への反映順序との整合をとるために、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアの任意数ごとにそれぞれ独立のシーケンス番号を使用して前記データの送受信を行うコンシステンシグループを複数形成し、前記第２サイトはそれぞれの前記コンシステンシグループ内において前記第１サイトから受信した前記データの前記シーケンス番号が揃っているところまでを前記第２サイト論理記憶領域に反映させるリモートコピーシステムにおけるリモートコピー方法であって、
    所定の前記コンシステンシグループを第１コンシステンシグループと第２コンシステンシグループに分割することで前記コンシステンシグループの構成変更を行い、前記第２コンシステンシグループについては前記分割の前の前記所定のコンシステンシグループの使用していた前記シーケンス番号とは異なる前記シーケンス番号を使用する場合に、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアそれぞれを解除せずに維持したままで、
    前記第２サイトは、
    前記構成変更の後に前記第２コンシステンシグループに属するすべてのペアについて、前記構成変更の後の最初の前記ライト要求があって前記第１サイトで移行先フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行先フラグをオンにされたデータを受信したとき、当該移行先フラグをオンにされたデータの前記第２サイト論理記憶領域への反映を保留し、
    前記構成変更の前に前記所定のコンシステンシグループに属していたすべてのペアについて、前記構成変更の前の最後の前記ライト要求があって前記第１サイトで移行元フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行元フラグをオンにされたデータを受信した場合、前記構成変更の前の前記所定のコンシステンシグループについて当該移行元フラグをオンにされたデータ以前のすべてのデータが揃って前記第２サイト論理記憶領域に反映させたか否かを判定し、
    当該反映が完了していれば、前記保留していた前記移行先フラグをオンにされたデータ以降のデータの前記第２サイト論理記憶領域への反映を開始する
    ことを特徴とするリモートコピー方法。
  6. 複数の第１サイト論理記憶領域を有し、前記第１サイト論理記憶領域へのライト要求のあったデータを送信する第１サイトと、複数の第２サイト論理記憶領域を有し、前記第１サイトから前記データを受信して前記第２サイト論理記憶領域に反映する第２サイトと、を含んで構成され、
    前記ライト要求の順序と前記第２サイトでの前記データの前記第２サイト論理記憶領域への反映順序との整合をとるために、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアの任意数ごとにそれぞれ独立のシーケンス番号を使用して前記データの送受信を行うコンシステンシグループを複数形成し、前記第２サイトはそれぞれの前記コンシステンシグループ内において前記第１サイトから受信した前記データの前記シーケンス番号が揃っているところまでを前記第２サイト論理記憶領域に反映させるリモートコピーシステムにおけるリモートコピー方法であって、
    第１コンシステンシグループと第２コンシステンシグループを統合して統合コンシステンシグループとすることで前記コンシステンシグループの構成変更を行い、前記統合コンシステンシグループについて前記第１コンシステンシグループの使用していたシーケンス番号を引き継いで使用する場合に、前記第１サイト論理記憶領域と前記第２サイト論理記憶領域のペアそれぞれを解除せずに維持したままで、
    前記第２サイトは、
    前記構成変更の後に前記統合コンシステンシグループに属するすべてのペアについて、前記構成変更の後の最初の前記ライト要求があって前記第１サイトで移行先フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行先フラグをオンにされたデータを受信したとき、当該移行先フラグをオンにされたデータの前記第２サイト論理記憶領域への反映を保留し、
    前記構成変更の前に前記第２コンシステンシグループに属していたすべてのペアについて、前記構成変更の前の最後の前記ライト要求があって前記第１サイトで移行元フラグをオンにされたデータを前記第１サイトから受信したか否かを判定し、
    当該移行元フラグをオンにされたデータを受信した場合、前記構成変更の前の前記第２コンシステンシグループについて当該移行元フラグをオンにされたデータ以前のすべてのデータが揃って前記第２サイト論理記憶領域に反映させたか否かを判定し、
    当該反映が完了していれば、前記保留していた前記移行先フラグをオンにされたデータ以降のデータの前記第２サイト論理記憶領域への反映を開始する
    ことを特徴とするリモートコピー方法。
JP2004285664A 2004-09-30 2004-09-30 リモートコピーシステムおよびリモートコピー方法 Expired - Fee Related JP4377790B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004285664A JP4377790B2 (ja) 2004-09-30 2004-09-30 リモートコピーシステムおよびリモートコピー方法
US10/991,425 US7536444B2 (en) 2004-09-30 2004-11-19 Remote copying system and remote copying method
EP04027482A EP1643367A1 (en) 2004-09-30 2004-11-19 System and method for remote data copying using consistency groups

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004285664A JP4377790B2 (ja) 2004-09-30 2004-09-30 リモートコピーシステムおよびリモートコピー方法

Publications (2)

Publication Number Publication Date
JP2006099495A JP2006099495A (ja) 2006-04-13
JP4377790B2 true JP4377790B2 (ja) 2009-12-02

Family

ID=35447538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004285664A Expired - Fee Related JP4377790B2 (ja) 2004-09-30 2004-09-30 リモートコピーシステムおよびリモートコピー方法

Country Status (3)

Country Link
US (1) US7536444B2 (ja)
EP (1) EP1643367A1 (ja)
JP (1) JP4377790B2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915775B2 (ja) 2006-03-28 2012-04-11 株式会社日立製作所 ストレージシステム及びストレージシステムのリモートコピー制御方法
JP4845627B2 (ja) * 2006-08-01 2011-12-28 株式会社日立製作所 リモートコピーシステム及びリモートコピー制御方法
JP4699837B2 (ja) * 2005-08-25 2011-06-15 株式会社日立製作所 ストレージシステム、管理計算機及びデータ移動方法
JP2007066154A (ja) * 2005-09-01 2007-03-15 Hitachi Ltd データをコピーして複数の記憶装置に格納するストレージシステム
JP4667225B2 (ja) * 2005-12-19 2011-04-06 富士通株式会社 制御装置およびコピー制御方法
US7571292B2 (en) * 2006-03-21 2009-08-04 International Business Machines Corporation Producing tertiary instant virtual copies without volume suspension
US7581136B2 (en) * 2006-05-19 2009-08-25 Hitachi, Ltd. Method and apparatus for data recovery
US7877628B2 (en) * 2006-06-08 2011-01-25 International Business Machines Corporation Mirroring data between primary and secondary sites
JP4333723B2 (ja) * 2006-09-29 2009-09-16 株式会社日立製作所 通信ログ管理システム
JP2008140300A (ja) * 2006-12-05 2008-06-19 Hitachi Ltd ストレージシステム及びウィルス感染拡散防止方法並びにウィルス除去支援方法
JP5207637B2 (ja) * 2007-02-23 2013-06-12 株式会社日立製作所 一以上のセカンダリストレージシステムで複数のバックアップを取得するバックアップ制御方法
JP4730330B2 (ja) * 2007-03-30 2011-07-20 日本電気株式会社 データベース復旧方法、データベース復旧装置及びデータベース復旧プログラム
WO2009019772A1 (ja) * 2007-08-08 2009-02-12 Fujitsu Limited 記憶部制御装置，データ処理装置，記憶部制御システム，及び記憶部制御プログラム
US7904743B2 (en) * 2007-08-27 2011-03-08 International Business Machines Corporation Propagation by a controller of reservation made by a host for remote storage
JP2009104421A (ja) * 2007-10-23 2009-05-14 Hitachi Ltd ストレージアクセス装置
US8676760B2 (en) * 2008-08-05 2014-03-18 International Business Machines Corporation Maintaining data integrity in data servers across data centers
JP5284905B2 (ja) * 2009-08-12 2013-09-11 富士通株式会社 データ移行方法、及びプログラム
WO2011048641A1 (ja) * 2009-10-23 2011-04-28 株式会社日立製作所 リモートコピーシステム及びリモートコピー制御方法
CN102395956B (zh) * 2011-07-07 2013-10-02 华为技术有限公司 内存备份过程中的系统命令的处理方法和装置
TWI432962B (zh) * 2011-10-06 2014-04-01 Mstar Semiconductor Inc 電子系統及其記憶體管理方法
CN103064756B (zh) * 2011-10-21 2016-07-06 晨星软件研发(深圳)有限公司 电子系统及其存储器管理方法
US9396277B2 (en) * 2011-12-09 2016-07-19 Microsoft Technology Licensing, Llc Access to supplemental data based on identifier derived from corresponding primary application data
US8868874B2 (en) * 2012-02-01 2014-10-21 International Business Machines Corporation Managing remote data replication
US9135120B1 (en) * 2012-06-27 2015-09-15 Emc Corporation Consistency group moving
US9361213B2 (en) 2013-01-23 2016-06-07 Hitachi, Ltd. Method and apparatus for efficient remote copy
CN103649901A (zh) * 2013-07-26 2014-03-19 华为技术有限公司 数据发送方法、数据接收方法和存储设备
JP6221564B2 (ja) * 2013-09-25 2017-11-01 富士通株式会社 ストレージ制御装置、制御方法および制御プログラム
US9213753B2 (en) * 2013-11-18 2015-12-15 Hitachi, Ltd. Computer system
US10210050B1 (en) * 2013-12-23 2019-02-19 EMC IP Holding Company LLC Consistency group driven backup
US9836515B1 (en) * 2013-12-31 2017-12-05 Veritas Technologies Llc Systems and methods for adding active volumes to existing replication configurations
US10185636B2 (en) * 2014-08-15 2019-01-22 Hitachi, Ltd. Method and apparatus to virtualize remote copy pair in three data center configuration
WO2016153497A1 (en) * 2015-03-25 2016-09-29 Hitachi, Ltd. Method and apparatus for remote copy between enterprise storage and commodity hardware based software storage
US9727262B2 (en) * 2015-12-28 2017-08-08 Netapp, Inc. Low overhead resynchronization snapshot creation and utilization
US10133874B1 (en) * 2015-12-28 2018-11-20 EMC IP Holding Company LLC Performing snapshot replication on a storage system not configured to support snapshot replication
CN107203327B (zh) * 2016-03-16 2020-02-28 伊姆西Ip控股有限责任公司 一种用于存储系统的方法和装置
US10620834B2 (en) * 2016-03-25 2020-04-14 Netapp, Inc. Managing storage space based on multiple dataset backup versions
US11422898B2 (en) 2016-03-25 2022-08-23 Netapp, Inc. Efficient creation of multiple retention period based representations of a dataset backup
US10235061B1 (en) 2016-09-26 2019-03-19 EMC IP Holding Company LLC Granular virtual machine snapshots
US9794366B1 (en) * 2016-10-19 2017-10-17 Red Hat, Inc. Persistent-memory management
US10565062B1 (en) * 2017-08-03 2020-02-18 Veritas Technologies Llc Systems and methods for managing replication of data to a remote storage device
KR20220113146A (ko) 2021-02-05 2022-08-12 에스케이하이닉스 주식회사 호스트 및 이에 연결되는 메모리 시스템의 동작 방법
CN113608692B (zh) * 2021-07-25 2023-12-29 济南浪潮数据技术有限公司 一种存储系统数据一致性验证方法、系统、设备以及介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544347A (en) * 1990-09-24 1996-08-06 Emc Corporation Data storage system controlled remote data mirroring with respectively maintained data indices
US5504861A (en) * 1994-02-22 1996-04-02 International Business Machines Corporation Remote data duplexing
US5889935A (en) * 1996-05-28 1999-03-30 Emc Corporation Disaster control features for remote data mirroring
US6101497A (en) * 1996-05-31 2000-08-08 Emc Corporation Method and apparatus for independent and simultaneous access to a common data set
JP3414218B2 (ja) 1997-09-12 2003-06-09 株式会社日立製作所 記憶制御装置
US6366986B1 (en) * 1998-06-30 2002-04-02 Emc Corporation Method and apparatus for differential backup in a computer storage system
US6253295B1 (en) * 1998-07-20 2001-06-26 International Business Machines Corporation System and method for enabling pair-pair remote copy storage volumes to mirror data in another pair of storage volumes
US6397308B1 (en) * 1998-12-31 2002-05-28 Emc Corporation Apparatus and method for differential backup and restoration of data in a computer storage system
US7107395B1 (en) * 1998-12-31 2006-09-12 Emc Corporation Apparatus and methods for operating a computer storage system
US7139885B2 (en) * 2001-12-27 2006-11-21 Hitachi, Ltd. Method and apparatus for managing storage based replication
US7152078B2 (en) * 2001-12-27 2006-12-19 Hitachi, Ltd. Systems, methods and computer program products for backup and restoring storage volumes in a storage area network
JP2004302713A (ja) * 2003-03-31 2004-10-28 Hitachi Ltd 記憶システム及びその制御方法
US20050166022A1 (en) * 2004-01-28 2005-07-28 Hitachi, Ltd. Method and apparatus for copying and backup in storage systems

Also Published As

Publication number Publication date
US20060069865A1 (en) 2006-03-30
EP1643367A1 (en) 2006-04-05
JP2006099495A (ja) 2006-04-13
US7536444B2 (en) 2009-05-19

Similar Documents

Publication Publication Date Title
JP4377790B2 (ja) リモートコピーシステムおよびリモートコピー方法
JP4257774B2 (ja) 記憶装置を応用したコピー管理の方法と装置
US8448167B2 (en) Storage system, and remote copy control method therefor
JP4842720B2 (ja) ストレージシステム及びデータ複製方法
JP4791051B2 (ja) 任意数のバックアップ・コンポーネント用のシステム・アーキテクチャのための方法、システム、およびコンピュータ・プログラム
JP4727437B2 (ja) データベースを有するストレージシステムの記憶制御方法
JP4405509B2 (ja) データ管理方法、システム、およびプログラム（リモート記憶位置にフェイルオーバを行うための方法、システム、およびプログラム）
US7702866B2 (en) Use of volume containers in replication and provisioning management
JP4733431B2 (ja) リモートコピーの初期コピーシステムおよび初期コピー方法ならびに記憶装置
CN113396407A (zh) 用于利用区块链技术扩充数据库应用的系统和方法
EP1507206A2 (en) Storage operation management program and method and storage management computer
JP5718533B1 (ja) ストレージシステムのデータ移行方法
JP2005242403A (ja) 計算機システム
JP2007179342A (ja) ストレージシステム及びスナップショット管理方法
JP2007334877A (ja) 継続的データ保護環境においてボリューム間の整合性を管理するためのシステムおよび方法
US8745006B2 (en) Computing system and backup method using the same
JP2007133822A (ja) 記憶容量を効率的に使用する計算機システム及びその制御方法
JP2007122117A (ja) ストレージシステム及び記憶制御方法
US7549029B2 (en) Methods for creating hierarchical copies
US7451283B2 (en) Method, system, and program for copying tracks between a primary storage and secondary storage
JP5691246B2 (ja) データベース二重化システム、情報処理装置及びデータベース二重化方法
JP2009064159A (ja) 計算機システム、管理計算機及びデータ管理方法
WO2014091600A1 (ja) ストレージ装置及びストレージ装置移行方法
US8583884B2 (en) Computing system and backup method
JP6000391B2 (ja) ストレージシステムのデータ移行方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090911

R150 Certificate of patent or registration of utility model

Ref document number: 4377790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees