JP4422519B2 - 情報処理システム - Google Patents

Description

本発明は、複数台のストレージがネットワークで接続されている情報処理システムのストレージリモートコピー方法に関し、データ転送および災害復旧のための技術に関する。

ストレージ装置を含む情報処理システムにおいて、電力障害や、火災、地震などで、システムに障害が発生した場合、業務の一時停止や、データの消失などが起こる場合がある。このような事態を回避するため、火災、地震などの影響が及ばないような遠隔地に同様の情報処理システムを配置し、そのシステムへ書き込みデータを転送し複製を用意する。これらを実現するために、ネットワーク装置を用いて、データを転送し複製を行う技術(以下「リモートコピー」と称する)が存在する。

リモートコピーとは、離れた位置にあるストレージ装置を含むシステムに対し、データの転送を行うものである。これにより、遠隔地でのデータバックアップや、業務引継ぎなど災害などで、一つのサイトがダウンした場合にも災害復旧を行うことが出来る。

リモートコピーには、同期リモートコピーおよび非同期リモートコピーの２種類が存在する。具体的には、同期リモートコピーでは、情報処理システムのストレージは、情報処理システムの計算機からの書き込み要求に対し、遠隔地のストレージに対するデータ転送が完了した後に、その書き込み要求に対する応答を計算機に行う。そのため、同期リモートコピーでは障害によるデータ消失は少なく、データ転送の整合性も保証されるが、ストレージ間の回線遅延が増加すると計算機とストレージ間のＩ／Ｏ遅延が発生する。

一方、非同期リモートコピーでは、ストレージ装置に対し、計算機からの書き込みがあった場合、ストレージ装置は自身のストレージに書き込まれた時点で返答を行い、遠隔地の転送先の応答を待たない。これにより、ストレージ装置間の距離が長くても、計算機とストレージ装置間のＩ／Ｏ性能低下を招きにくいが、データ消失が発生する可能性が同期リモートコピーに比べ、高くなり、かつ、データの順序保証が行われない。

非同期リモートコピーの整合性の保証については、書き込みデータに対し、付加情報を付け、その情報を元に遠隔地のシステムにて並べ替えを行い整合性の保証を行う方法がある。(特許文献１)

特開2002-149499

特許文献１に記載の方法では、一つのストレージからの書き込みに対してのみ整合性を保証しているが、複数のストレージ間の書き込みに対し、整合性の保証は行っていない。

本発明の目的は、複数のストレージからから非同期リモートコピーでデータの転送を行う際、複数ストレージ間のデータの整合性の保証を行う方法およびシステムを提供するところにある。

上記目的を達成するために、本発明では、第１のサイトと第２のサイトから構成される情報処理システムおよびストレージリモートコピー方法において、
第１のサイトは、第１の計算機に接続された第１の記憶装置と、第２の計算機に接続された第２の記憶装置とを有し、
第２のサイトは、第３の記憶装置を有し、
第１の計算機が第１の記憶装置に第１の書き込みを行った場合、第１の記憶装置が第１の書き込みに順序保証情報を加えて第３の記憶装置に転送し、
第２の計算機が第２の記憶装置に第２の書き込みを行った場合、第２の記憶装置は第１の記憶装置から前記順序保証情報を取得した後に、第２の書き込みに前記順序保証情報を加えて前記第３の記憶装置に転送し、
記第３の記憶装置は順序保証情報を元に第１の書き込みと第２の書き込みを時間順序通りに第３の記憶装置内の記憶領域に書き込むようにした。

また、第１のサイトは、第１の計算機に接続された第１の記憶装置と、第２の計算機に接続された第２の記憶装置とを有し、
前記第２のサイトは、第３の記憶装置と第４の記憶装置を有し、
第１の計算機が第１の記憶装置に第１の書き込みを行った場合、第１の記憶装置が第１の書き込みに順序保証情報を加えて第２の記憶装置に転送し、その完了後、第３の記憶装置に転送し、
第２の計算機が第２の記憶装置に第２の書き込みを行った場合、第２の記憶装置は第１の記憶装置へ転送を行い、第１の記憶装置は、第２の書き込みに対し、順序保証情報を加えて、第２の記憶装置へ書き込み完了の応答と順序保証情報を転送し、前記第３の記憶装置に転送し、
第３の記憶装置は第１及び第２の書き込みを第４の記憶装置に転送し、第３及び第４の記憶装置は、前記順序保証情報を元に第１の書き込みと第２の書き込みを時間順序通りにそれぞれの記憶装置内の記憶領域に書き込むようにした。

さらに、第２の記憶装置は、前記第１の記憶装置への書き込みを、前記第１の記憶装置から転送されて、書き込みを保持しており、
第１の記憶装置に障害が発生した場合、前記第１の計算機は第２の記憶装置に接続され、前記第２の記憶装置は、前記第１の計算機及び前記第２の計算機からの書き込みに順序保証情報を付与し、前記第３の記憶装置に書き込み、
第３の記憶装置は、書き込みを第４の記憶装置に転送して、第３及び第４の記憶装置は順序保証情報を元に書き込みを時間順序どおりにそれぞれの記憶装置内の記憶領域に書き込むようにした。

ソースストレージである第一の記憶装置で、書き込みデータに対し、一元的に順序保証用の情報を付与することで、第二のサイトに対する非同期リモートコピーの整合性を保証するという効果を奏する。

本発明に係る実施の形態について、図面を用いて詳述する。
（実施例１）
図１は、本発明を利用した情報処理システムの実施形態としてソフトウエア構成を示す図である。実施形態としてのハードウエア構成は図５に示す。両者の対応関係については後述する。

情報処理システムは、ストレージ装置１０１、１０２、１１５と、ホスト１３１、１３２、１３３と、ネットワーク１１７、１１８より構成される。以後の説明を容易にするため、順序保証のための付加情報となる通し番号もしくはそれと同様の付加情報（以後SEQ#と呼ぶ）を付与するストレージ装置１０１をナンバリングストレージ、もう一方のリモートコピー送付元のストレージ装置１０２を非ナンバリングストレージ（この二つを区別しないときにはソースストレージと呼ぶ）、遠隔地にある受信先のストレージ装置１１５をターゲットストレージと呼ぶ。ソースとターゲットという呼び方はストレージ装置内のボリュームについても行う。そのため、ソースストレージ内のボリュームをソースボリューム１４１、１４２、ターゲットストレージ内のボリュームをターゲットボリューム１４３、１４４と呼ぶ。

尚、図１ではナンバリングストレージ１０１と非ナンバリングストレージ１０２は異なるストレージ装置である場合を示したが、ナンバリングストレージ１０１と非ナンバリングストレージ１０２とが１台のクラスタ構成ストレージ装置として構成されていても良い。

ホスト１３１、１３２、１３３はトランザクション処理等の業務を実施するアプリケーションプログラムが動作する計算機であり、それぞれの計算機は、接続されているストレージ装置のボリューム１４１、１４２、１４３、１４４を用いる。通常時は、ソースストレージに接続されているホスト１３１、１３２が業務を行い、ターゲットストレージに接続されているホスト１３３は、ソースストレージでの障害発生時に、業務を引き継ぐための待機系ホストである。

ボリューム１４１、１４２はソースストレージ内のボリュームであり、それぞれホスト１３１、１３２より書き込みが行われる。ボリューム１４３、１４４はターゲットストレージ内のボリュームであり、それぞれボリューム１４１、１４２のデータのコピーを持つ。

ネットワーク１１７はナンバリングストレージ１０１と非ナンバリングストレージ１０２を接続するネットワークである。このネットワークを介して、ナンバリングストレージ１０１と非ナンバリングストレージ１０２はSEQ#の要求、転送を行っていく。

ネットワーク１１８はソースストレージからターゲットストレージへ非同期リモートコピーを行うためのネットワークである。

Ｉ／Ｏ受付プログラム１０４は、ホスト１３１、１３２からの書き込みデータを受け取るものである。

ＳＥＱ＃ナンバリングプログラム１０６はホスト１３１、１３２からの書き込みに対し、ＳＥＱ＃を付与するためのプログラムである。

ジャーナル（ＪＮＬ）生成プログラム１０５は、Ｉ／Ｏ受付プログラム１０４が受けたホストからの書き込みデータおよび書き込み先の論理ボリュームのあて先（以後ＬＵＩＤと呼ぶ）と、ＳＥＱ＃ナンバリングプログラム１０６で付与されたＳＥＱ＃をジャーナル（以後ＪＮＬと呼ぶ）としてＪＮＬ情報１１３に格納するプログラムである。

ＪＮＬ転送プログラム１０７は、ＪＮＬ情報に格納されたＪＮＬをターゲットストレージのＪＮＬ転送プログラム１２９に転送するプログラムである。ＪＮＬ転送プログラム１２９は受け取ったＪＮＬをターゲットストレージ内のＪＮＬ（管理）情報１１９に格納する。

ソースストレージ内のＪＮＬ削除プログラム１０８は、ターゲットストレージに転送が完了したＪＮＬを削除するプログラムである。また、ターゲットストレージ内のＪＮＬ削除プログラム１２０は格上げが完了したＪＮＬを削除するプログラムである。

格上げプログラム１１６は、ターゲットストレージ内のＪＮＬ情報を参照し、書き込みデータをキャッシュからボリューム１４３、１４４に書き込みを行うプログラムである。以後、この処理を格上げと呼ぶ。

書き込みプログラム１２１は、Ｉ／Ｏ受付プログラム１０４が受け取った書き込みデータをボリューム１４１、１４２に書き込むプログラムである。

ＳＥＱ＃記憶情報１１１は、ＳＥＱ＃を付与するための情報である。（これについては、図７にて説明する）
ペア情報１１２は、リモートコピーにおける、ボリューム内の論理ボリュームの対応およびそのペアの状態を示す情報である。（これについては図３にて説明する）
ＪＮＬ情報１１３は、ホスト１３１、１３２からの書き込みデータにＬＵＩＤ、ＳＥＱ＃といった管理用のヘッダをつけたＪＮＬを格納する領域である。

ＪＮＬ情報１１９は、ソースストレージからターゲットストレージに転送されたＪＮＬを格納する領域である。

ＪＮＬ情報１１３、１１９には、格上げの完了を示す格上げＦｌａｇと、送信完了を示す送信Ｆｌａｇという情報も持つ。（これについては図２にて説明する）
リモートコピーには、同期リモートコピーと非同期リモートコピーが存在する。この実施例では、非同期リモートコピーを用いてデータのコピーを行う。

非同期リモートコピーには、コピーの状態を示すために、ペア状態を定義し、ペア情報にて管理する。ペア状態としてＳｉｍｐｌｅｘ（Ｘ）、Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ（ＩＣ）、Ｄｕｐｌｅｘ（Ｄ）、Ｓｕｓｐｅｎｄ（Ｓ）、Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ（ＤＰ）、Ｓｕｓｐｅｎｄｉｎｇ（ＳＩ）を定義する。

リモートコピーのペア状態はリモートコピーの管理者に対して、コピー状態を示す情報である。管理者はコマンドでペア状態の遷移を指示することで、リモートコピーのコピー処理を制御する。以下、リモートコピーのペア状態の説明をする。

Ｓｉｍｐｌｅｘ状態では、ソース・ターゲットのボリューム間でのリモートコピーが開始されていない状態である。Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ状態は、Ｓｉｍｐｌｅｘ状態から、リモートコピーを行い、後述するＤｕｐｌｅｘ状態へ遷移するまでの中間状態である。この期間中は、ソースボリュームからターゲットボリュームへの初期化コピー（ソースボリュームにすでに格納されているデータのコピー）が行われる。初期化コピーが完了し、Ｄｕｐｌｅｘ状態へ遷移するために必要な内部処理が終わった時点でペア状態はＤｕｐｌｅｘとなる。

Ｄｕｐｌｅｘ状態では、初期化コピーが終わって、更新コピーが行われる状態である。ホストからの書き込みがあった場合、その書き込みをターゲットボリュームに対し更新コピーが行われる状態である。巨視的には、ソース・ターゲット間のボリュームのデータは同一であるとみなす。ただ、更新コピーは非同期で行われるため、データの同一性は厳密には保証されない。

Ｓｕｓｐｅｎｄ状態は、更新コピーが停止した状態である。この状態では、ソース・ターゲット間のボリュームのデータの巨視的な同一性は保証されなくなる。オペレータ、ホスト、ストレージを管理する計算機等の指示を契機に、ペア状態は、Ｓｕｓｐｅｎｄ状態へ遷移する。

それ以外に、ソースボリュームからターゲットボリュームへのリモートコピーが不可能になった場合は、ストレージが自動的にペア状態をＳｕｓｐｅｎｄ状態に遷移する。以後の説明では、後者の場合を障害Ｓｕｐｅｎｄ状態と呼ぶ。障害Ｓｕｓｐｅｎｄ状態となる原因としては、ソース・ターゲットのボリュームの障害、ソース・ターゲットのストレージの障害、ソース・ターゲット間の通信路障害（本発明の場合は、ソースストレージとターゲットストレージを接続するネットワーク１１８での障害）が考えられる。しかし、これ以外の障害も障害Ｓｕｓｐｅｎｄの原因となってもよい。

Ｓｕｓｐｅｎｄｉｎｇ状態は、Ｄｕｐｌｅｘ状態からＳｕｓｐｅｎｄ状態へ遷移するまでの中間状態である。Ｓｕｓｐｅｎｄ状態には、障害Ｓｕｓｐｅｎｄ状態も含まれる。この状態では、ソース・ターゲットのストレージは、両ストレージのメモリで保持されているＪＮＬをターゲットストレージに反映させる処理を行ってもよい。

Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態は、Ｓｕｓｐｅｎｄ状態からＤｕｐｌｅｘ状態に遷移するまでの中間状態である。この状態では、ソースボリュームとターゲットボリュームのデータを一致させるために、ソースボリュームからターゲットボリュームへのデータのコピーが実行される。ソース・ターゲットボリュームのデータの同一性を確保できた後にペア状態はＤｕｐｌｅｘ状態となる。なお、Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態におけるデータのコピーは、前述したＳｕｓｐｅｎｄ状態中の更新領域を有する情報を利用して更新が必要な部分だけをコピーする差分コピーが用いられてもよい。なお、Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ状態とＤｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態は、これらをまとめて一つの状態として管理装置の画面に表示したり、状態を遷移させてもよい。

図２は、ＪＮＬ情報１１３の内容について示したものである。ＪＮＬ情報はホストから受けたＬＵＩＤ２０１と、ＳＥＱ＃２０２と、書き込みデータ２０３を格納する領域であり、格上げ完了を示す格上げＦｌａｇ２０４と、送信完了を示す送信Ｆｌａｇ２０５の情報を持つ。格上げＦｌａｇ２０４がＯｎの状態は、そのＪＮＬはボリューム１４３、１４４に格上げされたことを示し、Ｏｆｆの状態では、格上げが完了していないことを示す。送信Ｆｌａｇ２０５がＯｎの状態は、そのＪＮＬに関してターゲットストレージ１１５から受信完了通知が届いたことを示し、Ｏｆｆの状態では、受信完了通知が届いてないことを示す。これらのＦｌａｇは、ＪＮＬ削除プログラム１０８がＪＮＬを削除可能かどうかの判断に使う。

図３は、ペア情報１１２の内容について示したものである。ペア情報１１２は、ボリューム内の論理ボリュームのデータ対応を管理するもので、ソースボリューム側の論理ボリューム番号（これをソースLU IDと呼ぶ）３０１とターゲットボリューム側の論理ボリューム番号(これをターゲットLU IDと呼ぶ)３０２を持つ。ペア情報１１２は、それらのペア状態（ペア状態については後述）を示すペア状態３０３と、ソースLU IDとターゲットLU IDの間でデータの差分があるかどうかを示す差分ビットマップ３０４を持つ。

図４は、ＳＥＱ＃記憶情報１１１の内容について示したものである。SEQ#記憶情報１１１は、現在付与したSEQ#の最新の情報701を持つ。

図５は、ストレージ装置１０１、１０２、１１５のハードウェアアーキテクチャをストレージ装置５０１として示す。ストレージ装置１０１、１０２、１１５は、それぞれプロセッサ５０２とメモリ５０３と、ホストとI/Oの遣り取りを行うホストI/O用インターフェイス５０４と、ＳＥＱ＃の要求、転送を行う、ミラーリング用インターフェイス５０５と、ソースストレージからターゲットストレージへ非同期リモートコピーを行うためのネットワークに接続する非同期RC用インターフェイス５０６とデータを格納するボリューム１４１、１４２、１４３、１４４(図中５０７として示す)を持つ。図５は、先に触れた如く、図１に示した本発明のストレージ装置のソフトウエア構成に対応するハードウエア構成を示す図であり、図１に示される各プログラムおよび各情報はハード的には図５で示すメモリ５０３に格納されており、図５で示すプロセッサ５０２によって実行されるという対応関係にある。

図６はソースストレージがホスト１３１、１３２からＩ／Ｏを受けてからターゲットストレージのボリューム１４３、１４４に書き込みが終わるまでの、情報処理システムの動作を示したフロー図である。

ホスト１３１から、ナンバリングストレージ１０１に書き込みがあった場合は、以下のステップが実行される。

ナンバリングストレージ１０１内のＩ／Ｏ受付プログラム１０４がホスト１３１より書き込みデータを受け付ける（ステップ６０１）。

次にナンバリングストレージ１０１内のＳＥＱ＃ナンバリングプログラム１０６がＳＥＱ＃を書き込みデータに付与する（ステップ６０２）。

次にナンバリングストレージ１０１内のＩ／Ｏ受付プログラム１０４がホスト１３１へ書き込み完了の通知（Ａｃｋ）を行う（ステップ６０３）。

次に、ソースストレージ内のＪＮＬ生成プログラム１０５は、ＳＥＱ＃と書き込みデータからＪＮＬを生成し（ステップ６０４）、ＪＮＬ情報１１３に格納する（ステップ６０５）。

ＪＮＬ転送プログラム１０７は、ＪＮＬ情報１１３内のＪＮＬをネットワーク１１８を経由してターゲットストレージ１１５に転送する（ステップ６０６）。

ターゲットストレージ１１５内のＪＮＬ転送プログラム１２９はステップ６０６で送られたＪＮＬデータを受け取る（ステップ６０７）。

ステップ６０８から６１０とステップ６１１から６１３はパラレルで実行される。

ターゲットストレージ１１５内のＪＮＬ転送プログラム１２９はターゲットストレージ１１５内のＪＮＬ（管理）情報１１９にデータを格納する（ステップ６０８）。次に格上げプログラム１１６は、ＪＮＬ（管理）情報１１９内のＪＮＬをＳＥＱ＃の順にソートを行い、ターゲットストレージ内のボリューム１４３、１４４に格上げを行う（ステップ６０９）。

ターゲットストレージ内のＪＮＬ削除プログラム１０８はＪＮＬ管理情報１１９内のデータ格上げが完了したＪＮＬデータを削除する（ステップ６１０）。

ターゲットストレージ内のＪＮＬ転送プログラム１２９はデータを受け取った後、データ転送を行ったソースストレージに対し、受信完了通知を返す（ステップ６１１）。

受信完了通知を受け取ったソースストレージ内のＪＮＬ転送プログラム１０７は、ＪＮＬ情報１１３内のデータの送信ＦＬＡＧをオンにする（ステップ６１２）。

ソースストレージ内のＪＮＬ削除プログラム１０８は、送信ＦＬＡＧ５０５がオンになったものを削除する。（ステップ６１３）
ホスト１３２からの書き込みが非ナンバリングストレージ１０２にあった場合、ステップ６０１、６０２の代わりに以下のステップが実行される。

非ナンバリングストレージ１０２内のＩ／Ｏ受付プログラム１０４がホスト１３２よりＩ／Ｏを受け付ける（ステップ６１４）。

次に非ナンバリングストレージ１０２内のＳＥＱ＃転送プログラム１１０がナンバリングストレージに対し、ＳＥＱ＃を要求する（ステップ６１５）。

ナンバリングストレージ１０１内のＳＥＱ＃ナンバリングプログラム１０６がＳＥＱ＃を書き込みデータに付与する（ステップ６１６）。

ナンバリングストレージ１０１内のＳＥＱ＃転送プログラム１０９が非ナンバリングストレージに対し、ＳＥＱ＃を転送する（ステップ６１７）。

非ナンバリングストレージ１０２内のＩ／Ｏ受付プログラム１０４がホスト１３２へ書き込み完了の通知を行う（ステップ６１８）。

以降は、ステップ６０４から６１３が実行される。

図７は図１に示したＳＥＱ＃ナンバリングプログラム１０６の動作のフロー図である。

ＳＥＱ＃ナンバリングプログラムはナンバリングストレージ内のＩ／Ｏ受付プログラム１０４もしくは、ＳＥＱ＃転送プログラム１０９からナンバリング要求を受ける（ステップ７０１）。

ＳＥＱ＃ナンバリングプログラム１０６は、ＳＥＱ＃記憶領域１１１から最新のＳＥＱ＃７０１を取得する（ステップ７０２）。

受け取ったＳＥＱ＃を要求元であるＪＮＬ生成プログラム１０５もしくは、ＳＥＱ＃転送プログラムにＳＥＱ＃を転送する（ステップ７０３）。

ＳＥＱ＃ナンバリングプログラム１０６は、ＳＥＱ＃管理情報１１１のＳＥＱ＃７０１に１を加える（ステップ７０４）。

図８は、図１に示したＪＮＬ生成プログラム１０５およびＪＮＬ転送プログラム１０７の動作のフロー図である。ＪＮＬ生成プログラム１０５はＩ／Ｏ受付プログラム１０４からデータとＬＵ ＩＤを受け取る（ステップ８０１）。

ＪＮＬ生成プログラム１０５は、ＳＥＱ＃ナンバリングプログラム１０６もしくは、ＳＥＱ＃転送プログラム１１０からＳＥＱ＃を受け取る（ステップ８０２）。

ＪＮＬ生成プログラム１０５は、受け取ったデータと、ＬＵ ＩＤと、ＳＥＱ＃をＪＮＬ情報に書き込む（ステップ８０３）。

ＪＮＬ生成プログラム１０５は、Ｉ／Ｏ受付プログラム１０４にＪＮＬ生成完了を返す。Ｉ／Ｏプログラムは、受信完了通知をホスト１３１もしくは１３２に返す(ステップ８０３)。

ＪＮＬ生成プログラム１０５は、ＪＮＬ転送プログラム１０７にＪＮＬ作成完了を通知する（ステップ８０４）。

ＪＮＬ転送プログラム１０７はＪＮＬ管理情報１１９を確認する（ステップ８０５）。

ＪＮＬ転送プログラム１０７は、ネットワーク１１８を経由してターゲットストレージ内のＪＮＬ転送プログラム１２９にＪＮＬを転送する（ステップ８０６）。

ＪＮＬ転送プログラム１０７は、ターゲットストレージから受信完了の通知を待ち、受信完了の通知を受けてから、ＪＮＬ情報内の送信Ｆｌａｇをオンにする(ステップ８０７)。

図９は、図１に示したターゲットストレージ内の格上げプログラム１１６の動作のフロー図を示す。格上げプログラム１１６は、ＪＮＬ情報１１３内のＪＮＬを見て、格上げＦｌａｇがオフのものを抽出する（ステップ９０１）。

格上げプログラム１１６は、抽出したＪＮＬデータをＳＥＱ＃の順にソートする（ステップ９０２）。

格上げプログラム１１６は、ＳＥＱ＃の順にボリューム１１４にＪＮＬデータを書き込む。このとき、飛び値があった場合はその直前までしか書き込まない（ステップ９０３）。

格上げプログラム１１６は、書き込みの終わったＪＮＬデータの格上げＦＬＡＧ５０４をオンにする（ステップ９０４）。

図１０は、ソースストレージに障害が起こった場合の復旧手順を示す。ここで言う復旧とは、ホスト１３１、１３２で行っていたアプリケーションをホスト１３３が、ターゲットストレージ１１５のデータを用いて業務の引継ぎを行うことである。

ソースストレージに対し、障害が発生する。その障害をホスト１３１もしくはホスト１３２が検出を行う。また、ストレージが障害を検出することを許す（ステップ１００１）。

ホスト１３１、１３２は障害発生をホスト１３３に通知する(ステップ１００２)。

ホスト１３３は、ターゲットストレージのJNL転送プログラムに障害発生を通知し、JNL転送プログラムは、ソースストレージとの接続をサスペンド状態にする。JNL転送プログラムは、ペア情報内のペア状態をサスペンドに変更する（ステップ１００３）。

格上げプログラムは、ＪＮＬ情報１１３内のＪＮＬをＳＥＱ＃の順にソートを行い、ターゲットストレージ内のボリューム１４３、１４４に書き込みを行う（ステップ１００４）。

ＪＮＬ削除プログラムは、ＪＮＬ情報内の全ＪＮＬを削除する（ステップ１００５）。

ホスト１３３は業務を再開する(ステップ１００６)。

（実施例２）
第２の実施例では、ソースストレージは同期リモートコピーを用いて、互いにデータのミラーリングを行う。そのデータをターゲットストレージに非同期リモートコピーにて転送する形態をとる。

図１１は、第２の実施形態を示す図である。

情報処理システムは、ナンバリングストレージ１１３１と、非ナンバリングストレージ１１３２と、２台のターゲットストレージ１１３３と、ホスト１３１、１３２、１３３と、ネットワーク１１８、１１２１、１１２２により構成される。

ボリューム１１０１は、ナンバリングストレージ１１３１での、ホスト１１３２からの書き込みを格納するボリュームである。ボリューム１１０３は非ナンバリングストレージ１０２でのボリューム１１０１に対するミラーボリュームである。ボリューム１１０４は、非ナンバリングストレージ１１３２での、ホスト１３２からの書き込みを格納するボリュームである。ボリューム１１０２はナンバリングストレージ１０１でのボリューム１１０４に対するミラーボリュームである。

ネットワーク１１２１は、ソースストレージ同士をつなぐネットワークである。このネットワークでは、同期リモートコピーで書き込みデータと、ＳＥＱ＃と、受信完了通知を転送する。

ネットワーク１１２２は、ターゲットストレージ同士をつなぐネットワークである。このネットワークでは、同期リモートコピーで書き込みデータと、受信完了通知を転送する。

なお、本発明の実施の形態において、ソースサイトの複数のストレージ、およびターゲットサイトの複数のストレージは、各々、複数構成のストレージ装置であっても、また、一筐体内に形成されるクラスター構成ストレージであっても、同様の効果を奏する。

図１２は、ナンバリングストレージ１１３１のプログラムおよび、内部情報について示す図である。非ナンバリングストレージも同一の構成をとる。

ミラーリングプログラム１２０１は、ソースストレージ同士、およびターゲットストレージ同士で同期リモートコピーを行うためのプログラムである。

非同期用ペア情報１２０２はソース・ターゲット間の非同期リモートコピーにおけるペア情報であり、実施例１でのペア情報１１２と同等の機能を持つことを許す。

ミラーリング用ペア情報１２０３はソースストレージ同士および、ターゲットストレージ同士間のミラーリングに関するペア情報である。

非ナンバリングストレージ１１３２もナンバリングストレージ１１３１と同様の構成をとる。

図１３は、実施例２におけるターゲットストレージのプログラムおよび、内部情報について示す図である。実施例１との相違点として、ミラーリングプログラム１２０１を持ち、非同期リモートコピー用ペア情報１２０２と、ミラーリング用ペア情報１２０３を持つ。

図１４はミラーリングペア情報１２０３の内容について示したものである。ペア状態１４０３はLUIDペア(ソースLUIDとターゲットIDの組み合わせ)ごとのネットワーク接続状況を示す。

図１５は非同期リモートコピー用ペア情報１２０２を示す。

図１６は、システム全体についてナンバリングストレージ１１３１がホスト１３１からＩ／Ｏを受け付けてからターゲットストレージまで書き込みが反映されるまでを示したフロー図である。

なお、本例では、ソースストレージの一つが非同期リモートコピーでデータを転送し、そのデータを受け取るターゲットストレージをターゲットストレージＡと呼び、もう一方のターゲットストレージをターゲットストレージＢと呼ぶ。このとき、ターゲットストレージＡ、Ｂはどちらのソースストレージがデータを転送するかによって定められる。また、データ転送をどちらのソースストレージが行うかは任意に定められることを許す。

ナンバリンスストレージ１１３１は、ホスト１３１から書き込みデータを受ける(ステップ１６０１)。

ナンバリングストレージ１１３１は、書き込みデータに対し、ＳＥＱ＃を付与する（ステップ１６０２）
ナンバリングストレージ１１３１は、非ナンバリングストレージ１１３２に対し、同期リモートコピーで書き込みデータを転送する(ステップ１６０３)。

非ナンバリングストレージ１１３２は、受信完了通知をナンバリングストレージ１１３１に返す（ステップ１６０４）。

ソースストレージの一つは、書き込みデータを非同期リモートコピーでターゲットストレージＡに転送する(ステップ１６０５)。

ターゲットストレージＡは、書き込みデータを同期リモートコピーでターゲットストレージＢに転送する（ステップ１６０６）。

ターゲットストレージＢはターゲットストレージＡに受信完了通知を返す（ステップ１６０７）
ターゲットストレージＡは、データ転送を行ったソースストレージに受信完了通知を行う（ステップ１６０８）。

図１７は、非ナンバリングストレージ１１３２がホスト１３１から、Ｉ／Ｏを受けてからナンバリングストレージ１１３１にネットワーク１１２１を経由して、同期リモートコピーでデータを転送し、ソースストレージのいずれか一方がターゲットストレージＡにネットワーク１１８を経由して、非同期リモートコピーでデータを転送し、ターゲットストレージＡが、ターゲットストレージＢへ同期リモートコピーでデータを転送するまでのフロー図である。

非ナンバリンスストレージ１１３２は、ホスト１３２から書き込みデータを受ける(ステップ１７０１)。

非ナンバリングストレージ１１３２は、ナンバリングストレージ１１３１に対し、同期リモートコピーで書き込みデータを転送する(ステップ１７０２)。

ナンバリングストレージ１１３１は、書き込みデータに対し、ＳＥＱ＃を付与する（ステップ１７０３）
ナンバリングストレージ１１３１は、受信完了通知とＳＥＱ＃をナンバリングストレージ１１３２に返す（ステップ１７０４）。

ソースストレージの一つは、書き込みデータを非同期リモートコピーでターゲットストレージＡに転送する(ステップ１７０５)。

ターゲットストレージＡは、書き込みデータを同期リモートコピーでターゲットストレージＢに転送する（ステップ１７０６）。

ターゲットストレージＢはターゲットストレージＡに受信完了通知を返す（ステップ１７０７）
ターゲットストレージＡは、データ転送を行ったソースストレージに受信完了通知を行う（ステップ１７０８）。

図１８は、ナンバリングストレージ１１３１がＩ／Ｏを受けた際の、ナンバリングストレージでの動作についてのフロー図である。

ナンバリングストレージ１１３１内の、Ｉ／Ｏ受付プログラム１０４はホスト１３１から書き込みデータを受ける(ステップ１８０１)。

ナンバリングストレージ１１３１内のＳＥＱ＃ナンバリングプログラム１０６はがＳＥＱ＃を書き込みデータに付与をする（ステップ１８０２）。

ナンバリングストレージ１１３１内のミラーリングプログラム１２０１は、非ナンバリングストレージ１１３２に書き込みデータを転送(ステップ１８０３)。

ナンバリングストレージ１１３１は、非ナンバリングストレージ１１３２からの受信完了通知を待つ(ステップ１８０４)。

ナンバリングストレージ１１３１内のミラーリングプログラム１２０１は、非ナンバリングストレージ１１３２のミラーリングプログラム１２０１から受信完了通知を受け取る(ステップ１８０５)。

ナンバリングストレージ１１３１内のＩ／Ｏ受付プログラム１０４は、ホスト１３１に受信完了通知を返す（ステップ１８０６）。

図２２は、ナンバリングストレージ１１３１がＪＮＬ転送を行う場合において、ＪＮＬを生成し、そのＪＮＬをターゲットストレージに転送するまでのフロー図である。

ナンバリングストレージ１１３１内のＪＮＬ生成プログラム１０５は書き込みデータとＳＥＱ＃をＩ／Ｏ受付プログラム１０４もしくは、ミラーリングプログラム１２０１から受け取り、ＳＥＱ＃をＳＥＱ＃ナンバリングプログラムから受け取る（ステップ２２０１）。

ＪＮＬ生成プログラム１０５は、書き込みデータとＬＵＩＤと、ＳＥＱ＃をＪＮＬ情報１１３に書き込む（ステップ２２０２）。

ＪＮＬ転送プログラム１０７はＪＮＬ情報１１３を確認し、ターゲットストレージＡにＪＮＬを転送する(ステップ２２０３)。

ターゲットストレージＡのＪＮＬ転送プログラム１１９は、ＪＮＬをナンバリングストレージから受け取る(ステップ２２０４)
このとき、ナンバリングストレージがＪＮＬ転送を行わない場合、ステップ２２０２までで終了となる。

図２５は、ナンバリングストレージ１１３１がＪＮＬ転送を行った後、ターゲットストレージＡがＪＮＬを受け取り、ナンバリングストレージ１１３１に対し、受信完了通知を返し、ナンバリングストレージ１１３１がＪＮＬを削除するまでのフロー図である。

ターゲットストレージＡ内のＪＮＬ転送プログラム１１９がナンバリングストレージ１１３１内のＪＮＬ転送プログラム１０７に受信完了通知を返す(ステップ２５０１)。

ＪＮＬを転送したソースストレージのＪＮＬ転送プログラム１０７がＪＮＬ情報の送信Ｆｌａｇ２０５をオンにする(ステップ２５０２)。

ソースストレージ内のＪＮＬ削除プログラム１０８は、ＪＮＬ情報内のＪＮＬについて、送信Ｆｌａｇを確認し、オンになっているものを削除する（ステップ２５０３）。

図１９は、ナンバリングストレージ１１３１がホスト１３１からＩ／Ｏを受けて、非ナンバリングストレージ１１３２に同期リモートコピーで書き込みデータを転送してからの非ナンバリングストレージ１１３２の動作について示したフロー図である。

非ナンバリングストレージ１１３２内のミラーリングプログラム１２０１がナンバリングストレージ１１３１から書き込みデータを受け取る(ステップ１９０１)。

非ナンバリングストレージ１１３２内のＳＥＱ＃ナンバリングプログラムが書き込みデータに付与されたＳＥＱ＃を確認し、ＳＥＱ＃記憶情報を更新する(ステップ１９０２)。

非ナンバリングストレージ１１３２内のミラーリングプログラム１２０１は、ナンバリングストレージ１１３１のミラーリングプログラム１２０１に受信完了通知を返す（ステップ１９０３）。

非ナンバリングストレージ１１３２がＪＮＬ転送を行う場合も、図２２、図２５のフローの動作と等しい。
図２３は、ターゲットストレージＡがＪＮＬを受け取ってから、格上げを行うまでのフロー図である。

ターゲットストレージＡ内のＪＮＬ転送プログラム１１９はＪＮＬをＪＮＬ情報１１３に書き込む(ステップ２３０１)。

ターゲットストレージＡ内のミラーリングプログラム１２０１がターゲットストレージＢ内のミラーリングプログラム１２０１にＪＮＬを転送する(ステップ２３０２)。

ターゲットストレージＡ内の格上げプログラム１１６がＪＮＬの格上げを行う。この格上げの動作は図９で示したものと同一である(ステップ２３０３)。

ターゲットストレージＡ内のＪＮＬ削除プログラム１２０が書き込みが終了したＪＮＬを削除する(ステップ２３０４)。

図２４は、ターゲットストレージＢがＪＮＬを受け取ってから、格上げを行うまでのフロー図である。

ターゲットストレージＢ内のミラーリングプログラム１２０１が、ターゲットストレージＡ内のミラーリングプログラム１２０１からＪＮＬを受け取る(ステップ２４０１)。

ターゲットストレージＢ内のＪＮＬ転送プログラム１１９はＪＮＬをＪＮＬ情報１１３に書き込む(ステップ２４０２)。

ターゲットストレージＢ内の格上げプログラム１１６がＪＮＬの格上げを行う。この格上げの動作は図９で示したものと同一である(ステップ２４０３)。

ターゲットストレージＢ内のＪＮＬ削除プログラム１２０が書き込みが終了したＪＮＬを削除する(ステップ２４０４)。

図２０は、非ナンバリングストレージ１１３２がホスト１３２からＩ／Ｏを受けて、ナンバリングストレージ１１３１に同期リモートコピーで書き込みデータを転送してからのナンバリングストレージ１１３１の動作について示したフロー図である。

ナンバリングストレージ１１３１内のミラーリングプログラム１２０１がナンバリングストレージ１１３２から書き込みデータを受け取る(ステップ２００１)。

ナンバリングストレージ１１３１内のＳＥＱ＃ナンバリングプログラム１０６は書き込みデータにＳＥＱ＃を付与する。付与の方法については、図７と同一の手順である(ステップ２００２)。

ナンバリングストレージ１１３１内のミラーリングプログラム１２０１は、非ナンバリングストレージ１１３２に受信完了通知にＳＥＱ＃を付与して返す（ステップ２００３）。

図２１は、非ナンバリングストレージ１１３２がＩ／Ｏを受けた際の、非ナンバリングストレージ１１３２での動作についてのフロー図である。

非ナンバリングストレージ１１３２内の、Ｉ／Ｏ受付プログラム１０４はホスト１３２から書き込みデータを受ける(ステップ２１０１)。

非ナンバリングストレージ１１３２内のミラーリングプログラム１２０１は、ナンバリングストレージ１１３１に書き込みデータを転送(ステップ２１０２)。

非ナンバリングストレージ１１３２内のミラーリングプログラム１２０１は、ナンバリングストレージ１１３１のミラーリングプログラム１２０１から受信完了通知とＳＥＱ＃を受ける(ステップ２１０４)。

非ナンバリングストレージ１１３２内のＳＥＱ＃ナンバリングプログラムが書き込みデータに付与されたＳＥＱ＃を確認し、ＳＥＱ＃記憶情報を更新する(ステップ２１０５)。

非ナンバリングストレージ１１３２内のＩ／Ｏ受付プログラム１０４は、ホスト１３２に受信完了通知を返す（ステップ２１０６）。

ターゲットストレージＡ、Ｂの動きについては、ナンバリングストレージ１１３１がＩ／Ｏを受け付けた場合と同一のものとなる。

図２６は、ソースストレージの一つで障害が発生した際、ターゲットストレージへのデータ転送方式を変更し、障害の起こっていないストレージで両方のホストからのＩ／Ｏを受けるように変更を行って業務の引継ぎを行うまでのフロー図である。このとき、ナンバリングストレージが障害を起こした場合、ＳＥＱ＃のナンバリングも引き継ぐ。

ソースストレージの一つで障害を検出する（ステップ２６０１）
ソースストレージ同士のペア状態をSuspendにする（ステップ２６０２）。

障害が発生したソースストレージと、ターゲットストレージ間のペア状態をSuspendにする（ステップ２６０３）。

障害が発生したソースストレージがナンバリングストレージ１１３１の場合、非ナンバリングストレージ１１３２内のＳＥＱ＃ナンバリングプログラムが現在のＳＥＱ＃記憶情報１１１を元に、ナンバリング業務を引き継ぐ（ステップ２６０４）
障害が発生していない方のソースストレージ（以後、生きているソースストレージと呼ぶ）内のＪＮＬ転送プログラム１０７は、ターゲットストレージにすべての書き込みデータを転送するように設定を変更する（ステップ２６０５）。

ホスト１３１、１３２は、生きているソースストレージに対し、接続パスを再設定して生きているソースストレージに書き込み出来るようにして、業務を再開する（ステップ２６０６）。

図２７は、図２６で障害が起こって、業務引継ぎを行ったあと、障害のあったソースストレージが復旧して、業務の再切り替えを行うまでのフロー図である。

障害のあったソースストレージで復旧を確認する（ステップ２７０１）。

生きているソースストレージのミラーリングプログラム１２０１が障害のあったソースストレージに対し、全データの形成コピーを行うことでペア状態をＤｕｐｌｅｘにする。ただし、差分コピーが可能であればこれを行ってもよい（ステップ２７０２）。

必要に応じて、障害の起こったソースストレージのＳＥＱ＃ナンバリングプログラム１０６は、ＳＥＱ＃記憶情報１１１を取得し、ＳＥＱ＃ナンバリング業務を生きているソースストレージから引き継ぐことを許す(ステップ２７０３)。

障害のあったソースストレージとその対応するターゲットストレージのボリュームのペア状態をＤｕｐｌｅｘにする（ステップ２７０４）。

ホスト１３１、１３２の接続パスを再設定して、障害のあったソースストレージに対して、以前接続していたホストが接続できるようにする（ステップ２７０５）。このとき、さまざまな接続形態を許す。例えば、すべてのホストが障害のあったソースストレージに接続できるようにする。例えば、切り替えを行わない、などが挙げられる。

第一の実施形態におけるシステムのハードウェアおよび、各ストレージの構成を示した図である。 ＪＮＬ情報の内容を示した図である。 ペア情報の内容を示した図である。 ＳＥＱ＃管理情報の内容を示した図である。 ストレージ装置のハードウェア図である。 第一の実施例における動作概要を示したフロー図である。 ＳＥＱ＃ナンバリングプログラムの動作を示したフロー図である。 ＳＦ生成プログラムおよびＪＮＬ転送プログラムの動作を示したフロー図である。 格上げプログラムの動作を示したフロー図である。 ソースストレージの一つに障害が起こった場合の障害復旧の手順を示したフロー図である。 第二の実施形態におけるハードウェア構成を示した図である。 ナンバリングストレージの構成を示した図である。 ターゲットストレージの構成を示した図である。 ミラーリング用ペア情報の内容を示した図である。 非同期リモートコピー用ペア情報の内容を示した図である。 第二の実施形態において、ナンバリングストレージがホストから書き込みを受けてから、ターゲットストレージに転送し、受信完了通知を受けるまでのフロー図である。 第二の実施形態において、非ナンバリングストレージがホストから書き込みを受けてから、ターゲットストレージに転送し、受信完了通知を受けるまでのフロー図である。 ナンバリングストレージが書き込みを受けてからホストに受信完了通知を返すまでのナンバリングストレージの動作を示したフロー図である。 ナンバリングストレージが書き込みを受けたとき、非ナンバリングストレージがナンバリングストレージから同期リモートコピーでデータを受け取った時の動作を示したフロー図である。 非ナンバリングストレージが書き込みを受けたとき、ナンバリングストレージが非ナンバリングストレージから同期リモートコピーでデータを受け取った時の動作を示したフロー図である。 非ナンバリングストレージが書き込みを受けてからホストに受信完了通知を返すまでの非ナンバリングストレージの動作を示したフロー図である。 ソースストレージがターゲットストレージにＪＮＬを転送する動作を示したフロー図である。 ターゲットストレージＡがソースストレージからＪＮＬを受け取ってから実ボリュームに反映し、ＪＮＬを削除するまでの動作を示したフロー図である。 ターゲットストレージＢがターゲットストレージＡからＪＮＬを受け取ってから実ボリュームに反映し、ＪＮＬを削除するまでの動作を示したフロー図である。 ターゲットストレージＡがソースストレージに受信完了通知を返してからの動作を示したフロー図である。 ソースストレージの一つで障害が発生した際の、障害復旧の手順について示したフロー図である。 障害のあったソースストレージが復旧した後に、通常運用に戻すまでの手順を示したフロー図である。

符号の説明

１１３１…ナンバリングストレージ、１１３２…非ナンバリングストレージ、
１０７…ＪＮＬ転送プログラム、１２０１…ミラーリングプログラム

Claims (5)

1. 第１のサイトと第２のサイトから構成される情報処理システムおいて、
   前記第１のサイトは、ナンバリングストレージと、該ナンバリングストレージと接続された非ナンバリングストレージとを有し、
   前記第２のサイトは、前記第１のサイトに書き込まれたライトデータを非同期リモートコピーするために前記ナンバリングストレージおよび前記非ナンバリングストレージとそれぞれに接続されたターゲットストレージを有し、
   前記ナンバリングストレージは、書き込みデータを受け取るＩ／Ｏ受付部と、データの書き込みに対しシーケンス番号を付与するシーケンスナンバリング部と、付与したシーケンス番号を転送するシーケンス番号転送部と、前記Ｉ／Ｏ受付部が受けた書き込みデータおよび書き込み先情報と前記ナンバリング部で付与された前記シーケンス番号をジャーナルとして生成格納するジャーナル生成部と、格納された前記ジャーナルを前記ターゲットストレージに転送するジャーナル転送部と、前記ターゲットストレージに転送が完了したジャーナルを削除するジャーナル削除部と、前記Ｉ／Ｏ受付部が受け付けたデータを書き込む書き込み部と、該書き込まれたデータを格納するボリューム部と、前記シーケンス番号を付与するための情報を有するシーケンス情報記憶部と、リモートコピーにおけるボリューム内の論理ボリュームの対応およびそのペア状態を示す情報を有するペア情報部と、前記ジャーナルを格納するジャーナル情報部とを有し、
   前記非ナンバリングストレージは、書き込みデータを受け取るＩ／Ｏ受付部と、該書き込みデータに対してシーケンス番号付与を前記ナンバリングストレージに対して要求し付与されたシーケンス番号を受け取るシーケンス番号転送部と、前記Ｉ／Ｏ受付部が受けた書き込みデータおよび書き込み先情報と前記ナンバリング部で付与されたシーケンス番号をジャーナルとして生成格納するジャーナル生成部と、格納されたジャーナルを前記ターゲットストレージに転送するジャーナル転送部と、前記ターゲットストレージに転送が完了したジャーナルを削除するジャーナル削除部と、前記Ｉ／Ｏ受付部が受け付けたデータを書き込む書き込み部と、該書き込まれたデータを格納するボリューム部と、前記シーケンス番号を付与するための情報を有するシーケンス情報記憶部と、リモートコピーにおけるボリューム内の論理ボリュームの対応およびそのペア状態を示す情報を有するペア情報部と、前記ジャーナルを格納するジャーナル情報部とを有し、
   前記ターゲットストレージは、データを格納するボリュームと、前記第１のサイトから転送された前記ジャーナルを受け取るジャーナル転送部と、受け取ったジャーナルを格納するジャーナル管理情報部と、シーケンス番号順にボリュームにジャーナルデータを書き込む格上げ部とを有することを特徴とする情報処理システム。
2. 前記ジャーナル情報部は、前記書き込みデータ、対応する前記書き込み先情報と前記シーケンス番号に加え、前記格上げ部による格上げ完了か否かを示す格上げＦｌａｇと、前記ターゲットストレージからの受信完了通知の有無を示す送信Ｆｌａｇを格納することを特徴とする請求項１に記載の情報処理システム。
3. 前記ペア情報部は、リモートコピーにおけるボリューム内の論理ボリュームの対応およびそのペア状態を示す情報に加え、対応する論理ボリューム間でデータの差分があるかどうかを示す差分ビットマップを保存することを特徴とする請求項１に記載の情報処理システム。
4. 前記シーケンス情報記憶部は、前記シーケンス番号を付与するための情報として、付与した最新のシーケンス番号を格納することを特徴とする請求項１に記載の情報処理システム。
5. 前記ナンバリングストレージにおいて、
   前記書き込みデータを受け取った前記Ｉ／Ｏ受付部は、前記シーケンスナンバリング部が前記シーケンス番号を付与した後、書き込み完了の通知を行い、
   前記ジャーナル生成部は、生成した前記ジャーナルを前記ジャーナル情報部に格納し、
   前記ジャーナル転送部は、格納された前記ジャーナルを前記ターゲットストレージに転送し、
   前記ターゲットストレージにおいて、
   前記ジャーナル転送部は、前記ナンバリングストレージから前記ジャーナルを受け取ると、前記ジャーナルを前記ジャーナル情報部に格納し、
   前記格上げ部は、前記ジャーナル情報部に保存された前記ジャーナルのデータを、前記シーケンス番号に従い、前記ボリュームに書き込むことを特徴とする請求項１に記載の情報処理システム。

Images