WO2017064770A1 - ストレージシステムおよびストレージシステムの制御方法 - Google Patents

Abstract

ボリュームの更新の応答時間を抑えつつ、そのボリュームの特定の時点のバックアップを別サイトに作成する。　第一ストレージ装置及び第二ストレージ装置は、第一ジャーナルボリューム内のジャーナルを第二ストレージ装置へ転送し、第二ストレージ装置は、転送されたジャーナルを第二ジャーナルボリュームへ書き込み、第二ストレージ装置は、第二ジャーナルボリューム内のジャーナルを更新の順に読み出し、第二ストレージ装置は、読み出されたジャーナルを第二データボリュームへ反映し、第一ストレージ装置は、特定条件の成立に応じて、マーカを含むジャーナルを第一ジャーナルボリューム内へ作成し、第二ストレージ装置は、読み出されたジャーナルからマーカを検出すると、第二データボリュームのスナップショットを作成する。

Description

ストレージシステムおよびストレージシステムの制御方法

　本発明は、ストレージシステムに関する。

　ストレージ装置のバックアップ作業として、ストレージ装置筐体内に複製を作成する方法や、その複製をストレージ装置の外部にあるテープ装置にバックアップする方法が取られている。前者の同一ストレージ装置筐体内に複製を作成する場合、筐体に障害があった場合は、業務の復旧作業が困難である。

　また、地震や火災といった災害が発生した場合のデータロストに備えて、複数のサイトにそれぞれ配置された複数のストレージ装置がデータを多重化して保持するリモートコピー機能が知られている。

　リモートコピー機能は、ホスト計算機からの書き込みコマンドと同期してストレージ装置がデータをコピー先のストレージ装置に転送する「同期リモートコピー」と、ホスト計算機からの書き込みコマンドへの完了応答後にストレージ装置がデータをコピー先のストレージ装置に転送する「非同期リモートコピー」の二種類に大別される。

　どちらのリモートコピー機能を用いる場合でも、正サイトの災害発生時には、ホスト計算機及びストレージ装置の双方の業務を副サイトへ交替する。これにより、サイトに災害が発生した場合でもデータ喪失や業務停止を最小化することができる。さらに、近年では、台風や津波のように災害を予期できる場合に災害を回避するため、災害前に副サイトに運用を切替えてデータ損失や業務停止を未然に防止する運用も注目を集めている。

　また、同期リモートコピーはコピー元とコピー先のデータが常に同期されている利点がある一方、ホスト計算機からの書込みの応答まで時間がかかってしまうため、長距離のサイトの間では非同期リモートコピーを用いることが一般的である。

　特許文献１には、ジャーナルを用いて非同期リモートコピーを行う技術が開示されている。正サイトのコピー元ストレージ装置では、書込みコマンドを受領するとデータ書込み用のボリュームへデータを書込み、ジャーナルボリュームへジャーナルデータを書込み、ホスト計算機に応答を返す。副サイトのコピー先ストレージ装置では、書込みコマンドとは非同期にコピー元ストレージ装置のジャーナルボリュームからジャーナルデータを読出し、自身のジャーナルボリュームに格納する。そして、コピー先ストレージ装置は、格納したジャーナルデータに基づいて、コピー先のデータ書込み用ボリュームにデータを反映する。

　また、特許文献２では、正サイトのコピー元ボリュームと副サイトのコピー先ボリュームとの間で同期リモートコピーを行い、データを二重化している。そして、コピー元ボリュームとコピー先ボリュームとのどちらも同じ識別子を有するボリュームとしてホスト計算機に提供することで、通常時は正サイトでアクセスを受付け、障害発生時に副サイトにアクセスを切替えることにより、ホストに対して透過的に副サイトを使って、業務を無停止で継続することができる技術が開示されている。

米国特許出願公開第２００５／００３３８２７号明細書 米国特許出願公開第２００９／０２７１５８２号明細書

　非同期リモートコピーでは、正サイトへ書き込まれたデータが、非同期に副サイトへコピーされるため、正サイトの特定の時点のバックアップを副サイトに作成することが困難である。

　上記課題を解決するために、本発明の一態様であるストレージシステムは、ホスト計算機に接続される第一ストレージ装置と、前記第一ストレージ装置に接続される第二ストレージ装置と、を備える。前記第一ストレージ装置は、第一データボリューム及び第一ジャーナルボリュームを前記第一ストレージ装置内に作成し、前記第一ストレージ装置は、前記第一データボリュームを前記ホスト計算機へ提供し、前記第二ストレージ装置は、第二データボリューム及び第二ジャーナルボリュームを前記第二ストレージ装置内に作成し、前記第一ストレージ装置は、前記第一データボリュームの更新に応じて、前記更新を示すジャーナルを前記第一ジャーナルボリューム内へ作成し、前記第一ストレージ装置及び前記第二ストレージ装置は、前記第一ジャーナルボリューム内のジャーナルを前記第二ストレージ装置へ転送し、前記第二ストレージ装置は、前記転送されたジャーナルを前記第二ジャーナルボリュームへ書き込み、前記第二ストレージ装置は、前記第二ジャーナルボリューム内のジャーナルを前記更新の順に読み出し、前記第二ストレージ装置は、前記読み出されたジャーナルを前記第二データボリュームへ反映し、前記第一ストレージ装置は、特定条件の成立に応じて、マーカを含むジャーナルを前記第一ジャーナルボリューム内へ作成し、前記第二ストレージ装置は、前記読み出されたジャーナルから前記マーカを検出すると、前記第二データボリュームのスナップショットを作成する。

　ボリュームの更新の応答時間を抑えつつ、そのボリュームの特定の時点のバックアップを別サイトに作成することができる。

実施例のストレージシステムのハードウェア構成を示す。 記憶領域のレイヤ構成を示す。 共有メモリに格納された制御情報及び制御プログラムを示す。 リモートコピーペアボリューム管理情報を示す。 スナップショットペアボリューム管理情報を示す。 コンシステンシグループ管理情報を示す。 リモートコピーデータを示す。 ジャーナルボリューム管理情報を示す。 データボリューム管理情報を示す。 ジャーナルデータとジャーナルメタデータの関係を示す。 ジャーナルメタデータを示す。 ジャーナル処理の概要を示す。 ジャーナル処理の詳細を示す。 重複排除処理を示す。 スナップショット取得指示が発行された場合のジャーナル処理を示す。 スナップショット作成時のＲＣＳＶＯＬとＳＳＶＯＬの関係を示す。 スナップショット作成時のＲＣＳＶＯＬとＳＳＶＯＬの関係の変形例を示す。 スナップショット作成後のＲＣＳＶＯＬとＳＳＶＯＬの関係を示す。 第一リストア処理の概要を示す。 第一リストア処理におけるストレージ装置３０Ｂの動作の詳細を示す。 第二リストア処理を示す。 ＲＣＰＶＯＬ作成処理を示す。 ＲＣＳＶＯＬ作成処理を示す。 ＲＣＰＶＯＬ側ジャーナルＶＯＬ作成処理を示す。 スナップショットボリューム作成処理を示す。

　以下の説明では、「×××テーブル」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「×××テーブル」を「×××情報」と呼ぶことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。

　また、以下の説明では、要素の識別情報として、ＩＤが使用されるが、それに代えて又は加えて他種の識別情報が使用されてもよい。

　また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号又は参照符号における共通番号を使用し、同種の要素を区別して説明する場合は、その要素の参照符号を使用又は参照符号に代えてその要素に割り振られたＩＤを使用することがある。

　また、以下の説明では、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）要求は、ライト要求又はリード要求であり、アクセス要求と呼ばれてもよい。

　また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又はインタフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主語がプロセッサとされてもよい。プログラムを主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理又はシステムとしてもよい。また、プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサ（例えばＣＰＵ）と記憶資源を含み、記憶資源はさらに配布プログラムと配布対象であるプログラムとを記憶してよい。そして、プログラム配布サーバのプロセッサが配布プログラムを実行することで、プログラム配布サーバのプロセッサは配布対象のプログラムを他の計算機に配布してよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

　また、以下の説明では、管理システムは、一以上の計算機を含んでいてもよい。具体的には、例えば、管理計算機が情報を表示する場合（具体的には、例えば、管理計算機が自分の表示デバイスに情報を表示する、或いは、管理計算機が表示用情報を遠隔の表示用計算機に送信する場合）、管理計算機が管理システムである。また、例えば、複数の計算機で管理計算機と同等の機能が実現されている場合は、当該複数の計算機（表示を表示用計算機が行う場合は表示用計算機を含んでよい）が、管理システムである。管理計算機（例えば管理システム）は、表示システムを含むＩ／Ｏシステムに接続されたインタフェースデバイスと、記憶資源（例えばメモリ）と、インタフェースデバイス及び記憶資源に接続されたプロセッサとを有してよい。表示システムは、管理計算機が有する表示デバイスでもよいし、管理計算機に接続された表示用計算機でもよい。Ｉ／Ｏシステムは、管理計算機が有するＩ／Ｏデバイス（例えばキーボード及びポインティングデバイス、タッチパネル）でもよいし、管理計算機に接続された表示用計算機又は別の計算機でもよい。管理計算機が「表示用情報を表示する」ことは、表示システムに表示用情報を表示することであり、これは、管理計算機が有する表示デバイスに表示用情報を表示することであってもよいし、管理計算機が表示用計算機に表示用情報を送信することであってもよい（後者の場合は表示用計算機によって表示用情報が表示される）。また、管理計算機が情報を入出力するとは、管理計算機が有するＩ／Ｏデバイスとの間で情報の入出力を行うことであってもよいし、管理計算機に接続された遠隔の計算機（例えば表示用計算機）との間で情報の入出力を行うことであってもよい。情報の出力は、情報の表示であってもよい。

　リード処理を読み出し処理と記載することがある。ライト処理を書き込み処理または更新処理と記載することがある。これらをまとめてアクセス処理と記載することもある。

　以下、図面を参照しながら本発明の実施例を説明する。

　＜ストレージシステムの構成＞

　図１は、実施例のストレージシステムのハードウェア構成を示す。

　リモートコピーを構成するため、２つ以上のサイト、例えば、プライマリサイト１００Ａ、セカンダリサイト１００Ｂがある。以下、説明を分かりやすくするため、プライマリサイト１００Ａが有する要素の参照符号は、親番号と子符号「Ａ」の組合せであり、セカンダリサイト１００Ｂが有する要素の参照符号は、親番号と子符号「Ｂ」の組合せである。また、プライマリサイト１００Ａとセカンダリサイト１００Ｂを区別する必要がないときは、参照符号を親番号のみとする。リモートコピー構成のプライマリサイトとセカンダリサイトでは、同一機種のストレージ装置を用いて構築する場合が多いが、本実施例はバックアップソリューションの提供が目的であり、その手段のひとつとしてリモートコピー機能を使用しているため、リモートコピー構成を組むストレージ装置の機種をそろえる必要は無い。また、セカンダリサイト１００Ｂ側にホスト計算機が存在しなくてもよい。

　プライマリサイト１００Ａは、ホスト計算機１０、ストレージ装置３０Ａを含む。セカンダリサイト１００Ｂは、ストレージ装置３０Ｂを含む。ストレージ装置３０Ａとストレージ装置３０Ｂは、互いに接続されている。ホスト計算機１０は、ストレージ装置３０の論理的な記憶領域にアクセスする。ストレージ装置３０は、物理記憶デバイス３４に設定された記憶領域にデータを格納する。ホスト計算機１０は複数台でもよい。なお、ストレージ装置３０は、ストレージシステム、あるいはストレージサブシステムと言うこともできる。図には記載が無いが、管理ネットワーク１０８を介してストレージ装置３０Ａ、３０Ｂに接続された管理装置が設けられてもよい。管理装置は、ストレージ装置３０の記憶領域の構成を管理し、例えば、入力デバイス、出力デバイス、ＣＰＵ、メモリ、ネットワークアダプタ、及び、記憶デバイスを有する。

　プライマリサイト１００Ａとセカンダリサイト１００Ｂは、リモートコピーを実行する。ここで、リモートコピーはストレージ装置に格納されたデータを別のストレージ装置に複製する技術である。格納元をプライマリサイト又は正サイト又はローカルサイトと呼び、複製を格納する先をセカンダリサイト又は副サイト又はリモートサイトと呼ぶ。

　ホスト計算機１０は、例えば、入力デバイス、出力デバイス、ＣＰＵ、メモリ、ディスクアダプタ、ネットワークアダプタ、及び、記憶デバイスを含む（図示なし）。なお、ホスト計算機１０では、ユーザが使用するアプリケーションプログラムや、ストレージ装置とのインタフェース制御をおこなうストレージ装置制御プログラムが、ホスト計算機１０内のＣＰＵにて実行される。ホスト計算機１０は、具体的には、ワークステーション、パーソナルコンピュータ、メインフレーム等である。

　ストレージ装置３０は、コントローラ３１、少なくとも１つのキャッシュメモリ３２、少なくとも１つの共有メモリ３３、及び、物理記憶デバイス３４を有する。本実施例において、これらのハードウェアは冗長化されている。

　コントローラ３１は、少なくとも、プロセッサ１７６を有するものであり、この実施例では、さらに、ホストアダプタ１７１、ネットワークアダプタ１７２、リモートコピー（ＲＣ）アダプタ１７５、ストレージアダプタ１７７、及び、共有メモリアダプタ１７８を有している。

　ホストアダプタ１７１は、ストレージネットワーク１２１を介してホスト計算機１０との間でデータを送受信する。ネットワークアダプタ１７２は、管理ネットワーク１０８を介してホスト計算機１０（又は、管理装置との間）に対し、システム管理上必要なデータ（管理情報）を送受信する。

　プロセッサ１７６は、不揮発性メモリ等に格納されているプログラムを共有メモリ３３に読み込んで、そのプログラムに規定された処理を実行する。また、プロセッサ１７６は、ホスト計算機１０からのアクセス要求に基づいて、物理記憶デバイス３４への入出力処理を実行する。

　ストレージアダプタ１７７は、物理記憶デバイス３４、及び、キャッシュメモリ３２との間でデータを送受信する。共有メモリアダプタ１７８は、共有メモリ３３との間でデータを送受信する。

　キャッシュメモリ３２は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）であり、物理記憶デバイス３４に読み書きされるデータを一時的に格納する。

　共有メモリ３３は、ハードディスクやフラッシュメモリ、ＲＡＭ等であり、コントローラ３１で動作するプログラムや構成情報等を格納する。

　キャッシュメモリ３２及び共有メモリ３３は、コントローラ３１の内部に設けられていてもよい。

　物理記憶デバイス３４は、複数の記憶デバイスを含む。記憶デバイスは、例えばハードディスクドライブであり、主としてユーザデータを格納する。記憶デバイスとしては、フラッシュメモリなどの半導体メモリを含むドライブでもよい。記憶デバイスは、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ　Ａｒｒａｙ　ｏｆ　Ｉｎｄｅｐｅｎｄｅｎｔ　Ｄｉｓｋｓ）構成に基づいてＲＡＩＤグループを構成する。物理記憶デバイス３４には、ＲＡＩＤグループに基づいて一つ以上の論理記憶領域（論理ボリューム）が作成される。論理ボリュームは、物理記憶デバイス３４が有する物理的な記憶領域と関連付けられる。これらの論理ボリュームは、ユーザの指定によりＰＶＯＬやＳＶＯＬ等のデータボリュームとジャーナルボリューム２６７として使用される。

　以下、データ複製のコピー元となるプライマリサイト１００Ａ側のストレージ装置３０Ａが有するデータボリュームを、「ＰＶＯＬ（プライマリボリューム、正ボリューム）」または「ＲＣＰＶＯＬ」と呼ぶことにする。また、ＰＶＯＬに格納されるデータの複製先となるセカンダリ側のストレージ装置３０Ｂが有するデータボリュームを、「ＳＶＯＬ（セカンダリボリューム、セカンダリ側（Ｓ）ボリューム）」または「ＲＣＳＶＯＬ」ということにする。

　次に、本実施例のストレージシステムのリモートコピー構成部分について説明する。本実施例は、前にも記載したとおり、プライマリサイト１００Ａとセカンダリサイト１００Ｂにおいて、ハードウェア構成やハードウェア性能及び数は同じであってもよいし、異なるところがあってもよい。

　プライマリサイト１００Ａのストレージ装置３０Ａと、セカンダリサイト１００Ｂのストレージ装置３０Ｂとは、通信線を介して接続され、リモートコピーを構成している。

　リモートコピーアダプタ１７５は、ストレージ装置間ネットワーク１６０を介して他のストレージ装置３０に接続される。ストレージ装置間ネットワーク１６０は、ディザスタリカバリの観点から公衆回線などのグローバルネットワークであることが多いが、ストレージ装置同士が同じ部屋の中、同じビルの中、近隣ビルの中にある場合などはローカルネットワークであってもよい。ただし、このようなネットワークの形態によって本発明が限定されるものではない。

　本実施例は、リモートコピーは、非同期リモートコピーである。

　ネットワークアダプタ１７２の他のネットワークアダプタを設け、第２のネットワークを介してストレージ装置３０に外部ストレージ装置を接続してもよい。第２のネットワークは例えばストレージエリアネットワーク（ＳＡＮ：Ｓｔｏｒａｇｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を用いることができる。外部ストレージ装置は、ストレージ装置３０と同等又は光ディスクライブラリなどでもよい。外部ストレージ装置は直接ホスト計算機１０とはネットワークで接続しておらず、ストレージ装置３０を介してアクセスする。ホスト計算機１０から、外部ストレージ装置は認識されない。外部ストレージ装置の記憶領域はストレージ装置３０の記憶領域として仮想化してホスト計算機１０に提供される。

　本実施例のストレージシステムによるバックアップの概要について説明する。

　一般に、エンタープライズストレージ装置は、高性能高信頼を求められる製品であり、高機能なプログラム、例えば、非同期リモートコピー機能、スナップショット機能、重複排除機能（Ｄｅｄｕｐｌｉｃａｔｉｏｎ）などを含む。本実施例のストレージシステムは、これらの機能を持つストレージ装置３０Ａ、３０Ｂ間でバックアップソリューションを構築する。ストレージシステムは、サイト間でリモートコピー構成を構築し、リモートコピーのプライマリサイト１００Ａでアクセス要求を受けてデータが更新されたら、セカンダリサイト１００Ｂへ更新された差分を転送する。ストレージ装置３０Ｂは、セカンダリサイト１００Ｂ側のリモートコピーボリュームからスナップショットを取得することで、高速でフルバックアップイメージを作成する。スナップショットは、ストレージ装置３０内のデータのスナップショットデータを取得する機能である。

　スナップショットデータの取得の一例を説明する。スナップショットデータを取得するために、ストレージ装置３０Ｂは、論理ボリュームをプライマリボリュームとし、仮想ボリュームをセカンダリボリュームとするペアを作成する。このスナップショットペアを分割（静止）すると、スナップショットデータが取得される。ストレージ装置３０Ｂは、プライマリボリュームのデータを更新するときに、更新される部分のデータだけを更新前スナップショットのデータとしてプールにコピーする。また、ストレージ装置３０Ｂは、更新前スナップショットのデータをプールに格納する際、重複排除して格納してもよい。

　ストレージシステムは、リストア処理として、リモートコピーボリュームとスナップショットの差分データを、セカンダリサイト１００Ｂからプライマリサイト１００Ａへ高速にコンシステンシグループのリストアを実施する。

　図２は、記憶領域のレイヤ構成を示す。

　以下、下位のレイヤから順に記憶領域を説明する。

　ＲＡＩＤグループ３０８がある。ＲＡＩＤグループ３０８は、前述した通り、複数の同種且つ同一通信インタフェースのＰＤＥＶ３４であり、それら複数のＰＤＥＶ３４に跨るストライプ列３０７を含む。

　ＥＤＥＶ３０５がある。ＥＤＥＶ３０５は、外部デバイスの略であり、図示しない外部ストレージ装置内の記憶資源に基づく論理的な記憶デバイスである。外部ストレージ装置内の記憶資源は、例えば、ＲＡＩＤグループ或いはＶＯＬである。ＥＤＥＶ３０５に対してデータの入出力が行われる場合には、ＥＤＥＶ３０５の基になっている、外部ストレージ装置内の記憶資源に対して、そのデータの入出力が行われる。

　ＲＡＩＤグループ３０８及びＥＤＥＶ３０５の上位に、ＶＤＥＶ３０３がある。ＶＤＥＶ３０３は、ＲＡＩＤグループ３０８又はＥＤＥＶ３０５に基づく仮想的な記憶資源である。ＶＤＥＶ３０３の記憶空間が仕切られることにより、ＶＤＥＶ３０３に、複数のＬＤＥＶ３０６が形成される。ＶＤＥＶ３０３が１つのＬＤＥＶ３０６であっても良い。以下、ＲＡＩＤグループ３０８が基になっているＶＤＥＶを「第１種のＶＤＥＶ」と言い、ＥＤＥＶ３０５が基になっているＶＤＥＶを「第２種のＶＤＥＶ」と言うことがある。なお、ＲＡＩＤグループ３０８及びＥＤＥＶ３０５のいずれにも基づかない仮想的な記憶資源として第３種のＶＤＥＶがあっても良い。

　ＶＤＥＶ３０３の上位にプール１２５がある。プール１２５は、複数のプールＶＯＬ６１を含む。プールＶＯＬ６１は、いずれかのＬＤＥＶに関連付けられている。プールＶＯＬ６１は、オフラインＶＯＬであるため、ホスト計算機１０から指定されるターゲットデバイスには関連付けられていない。プールＶＯＬ６１は、第１種のＶＤＥＶ内のＬＤＥＶ又は第２種のＶＤＥＶ内のＬＤＥＶに関連付けられている。プールＶＯＬ６１は、複数の実ページ１６１を含む。本実施例では、実ページ１６１とストライプ列３０７とが１対１で対応している。実ページ１６１に格納されるデータは、その実ページ１６１に対応するストライプ列３０７に格納される。１つの実ページ１６１に複数のストライプ列３０７が対応していても良い。ＴＰＶＯＬ３１２には、ＬＤＥＶが割り当てられなくても良い。

　ＶＤＥＶ３０３及びプール１２５の上位に、ホスト計算機１０からアクセス可能なオンラインＶＯＬがある。オンラインＶＯＬとして、例えば、ＲＶＯＬ３１１と、ＴＰＶＯＬ３１２がある。ＲＶＯＬ３１１は、第１種のＶＤＥＶ（＃０）内のＬＤＥＶ（＃０１）が基になっているＶＯＬである。一方、ＴＰＶＯＬ３１２は、ＶＤＥＶ３０３に基づかない仮想ＶＯＬである。

　オンラインＶＯＬの上位にターゲットデバイス４０２がある。ホストアダプタ１７１が有する通信ポート４０３に、１以上のターゲットデバイス４０２が関連付けられている。ターゲットデバイス４０２に、オンラインＶＯＬが関連付けられている。

　ＴＰＶＯＬ３１２の仮想ページ１４２には、そのＴＰＶＯＬ３１２に対応付けられているプール１２５内の空きページが割り当てられる。

　ホスト計算機１０は、ターゲットデバイスを指定したＩ／Ｏコマンド（ライトコマンド又はリードコマンド）をストレージ装置３０Ａに送信する。ターゲットデバイスには、前述した通り、ＲＶＯＬ３１１又はＴＰＶＯＬ３１２が関連付けられている。ストレージ装置３０Ａは、ＴＰＶＯＬ３１２に関連付けられているターゲットデバイスを指定したライトコマンドを受信した場合、プール１２５から、空きのページ２６４を選択し、選択したページを、ライト先仮想ページ（ライトコマンドで指定されているアドレスが属するページ）１４２に割り当てる。ストレージ装置３０Ａは、割り当てられたページ２６４に、ライト対象のデータを書き込む。ページ２６４にデータを書き込むということは、そのページに割り当てられている実ページ１６１を有するプールＶＯＬ＃５に関連付けられているＬＤＥＶ＃０２にデータを書き込むということである。ＬＤＥＶ＃０２は、第１種のＶＤＥＶ内のＬＤＥＶであるため、ＬＤＥＶ＃０２に書き込まれるデータは、実際には、ＲＡＩＤグループ３０８の、実ページ１６１に対応するストライプ列３０７に書き込まれる。

　以下に述べるリモートコピーボリューム、ジャーナルボリューム、スナップショットボリュームは、上記に述べるＴＰＶＯＬであるとして説明する。ＴＰＶＯＬはシンプロビジョニングボリューム又は容量仮想化ボリュームと呼ぶ。

　図３は、共有メモリに格納された制御情報及び制御プログラムを示す。

　共有メモリ３３には、制御情報として、ジャーナルボリューム管理情報４０１、コンシステンシグループ管理情報５０２、データボリューム管理情報５０１、ＳＶＯＬライト差分ビットマップ２５０、ジャーナル登録完了ビットマップ２４０が格納される。共有メモリ３３には更に、制御プログラムとして、リモートコピー制御プログラム２６０、ＩＯ処理プログラム２６１、スナップショット制御プログラム２６２、ジャーナル処理管理プログラム２２１、ジャーナル転送プログラム２２２、ジャーナル処理取得プログラム２２３、ジャーナル反映プログラム２２４、重複排除プログラム２２５が格納される。また、他に、図示していないプログラムが共有メモリ３３に格納されてもよい。重複排除プログラム２２５がなくてもよい。

　リモートコピー制御プログラム２６０は、リモートコピー構成の構築、リモートコピーペア形成、プライマリサイト１００Ａからセカンダリサイト１００Ｂへのコピー動作の制御などを行う。

　ＩＯ処理プログラム２６１は、ホスト計算機１０からのアクセス要求に応じて、データボリュームへのリードライト処理の制御等を行う。

　ジャーナル処理管理プログラム２２１は、各ストレージ装置３０が実行するジャーナル処理（ジャーナル取得処理、ジャーナル転送処理、ジャーナル反映処理を含む）の管理をおこなう。また、ジャーナル処理中は各ジャーナル処理管理プログラム２２１間で随時通信がおこなわれ、ジャーナル処理に必要な管理情報を交換する。

　ジャーナル取得プログラム２２３とジャーナル反映プログラム２２４は、プロセッサ１７６にジャーナルの取得とジャーナルの反映を実行させるプログラムである。ジャーナル取得プログラム２２３とジャーナル反映プログラム２２４を含む１つのプログラムのこともある。

　ここで、ジャーナルとは更新履歴情報のことで、更新に用いられたデータのコピー（ジャーナルデータ）と、ジャーナルデータの管理データであるジャーナルメタデータとを含む。

　前述の更新履歴情報をもとにデータボリュームを更新するということは、ジャーナルを用いて最新のデータに更新することを示す。他の表現として、データの反映、ジャーナルの反映（ジャーナルによる反映動作）、ジャーナルの復元などを用いることがある。

　ＳＶＯＬライト差分ビットマップ２５０等の差分ビットマップでは、ビットマップ内の各ビットに対して予め決めたデータサイズの領域のデータを対応させている。例えば、１ビットに対し６４ＫＢのデータを対応させた場合、６４ＫＢ中の１Ｂでも更新があった場合は、ビットを‘１’にして、内容がコピー先にも反映されるようにする。他のビットマップは、差分ビットマップと同様の構成である。

　ジャーナル登録完了ビットマップ２４０は、データボリューム内の領域のうち、ジャーナルボリュームへジャーナルを登録した領域を示すビットマップである。

　リモートコピーによるデータ送信は、ホスト計算機１０から、リモートコピー元であるストレージ装置３０Ａにライト要求があり、その後、そのライト要求と非同期でストレージ装置３０Ａからストレージ装置３０Ｂにデータを送信する。具体的には、非同期リモートコピーでは、ホスト計算機１０からストレージ装置３０Ａにデータのライト要求があったとき、ストレージ装置３０Ａはライト完了信号をホスト計算機１０に返して、データを一旦蓄積する。その後、所定のタイミングで、ストレージ装置３０Ａは、原則としてホスト計算機１０からのライト要求の順序でデータをストレージ装置３０Ｂに送信する。通常、通信回線はパラレルに複数あり、それぞれの通信回線の通信状況などによって、ストレージ装置３０Ｂがデータを受信する順序は、ホスト計算機１０のライト要求順序と一致するとは限らない。しかし、データ送信時にストレージ装置３０Ａ側のライト順序がわかる情報、例えばここではシーケンス番号（通し番号）をデータに付与しておけば、ストレージ装置３０Ｂ側でデータを元の順序に並べなおすことができる。データの受信側であるセカンダリサイトでは若いシーケンス番号からそろったところまでのデータをストレージ装置３０Ｂに反映させることで送信側のデータ送信順序と整合をとることができる。

　ストレージ装置３０Ｂのデータがストレージ装置３０Ａのある時刻のデータであることを「整合性がある」と呼ぶ。たとえば、データベースのデータをボリュームに格納する場合、ログデータを格納するボリュームと、テーブルデータを格納するボリュームとが、別々のボリュームに分かれる可能性がある。そして、複数のボリュームのデータが、ストレージ装置３０Ａにおける互いに異なる時刻のデータであると、ストレージ装置３０Ｂのデータを用いてもデータベースを正常に起動することができない場合が生じる。複数データをまとめて整合性を保障するために、ボリュームのまとまりをつくる。これをコンシステンシグループと呼ぶ。

　本実施例で使用されるデータ構造について説明する。

　＜データ構造＞

　図４は、リモートコピーペアボリューム管理情報を示す。

　リモートコピーペアボリューム管理情報３０１は、リモートコピーペアを管理する情報である。リモートコピーペアボリューム管理情報３０１は、リモートコピーのペアボリュームごとに持つ情報であり、少なくともストレージ装置３０Ａ側に格納される。

　リモートコピーペアボリューム管理情報３０１には、リモートコピーペアを識別するリモートコピーペアＩＤ（ＲＣペアＩＤ）３４０、リモートコピーデータの複製元であるＲＣＰＶＯＬ情報３１０、リモートコピーデータの複製先であるＲＣＳＶＯＬ情報３２０、およびペアの状態を示すペア情報３３０が含まれる。

　ＲＣＰＶＯＬは、リモートコピーのコピー元であるＰＶＯＬを示す。ＲＣＰＶＯＬ情報３１０には、ストレージ装置ＩＤ３１１とボリュームＩＤ３１２が含まれる。ＲＣＳＶＯＬは、リモートコピーのコピー先であるＳＶＯＬを示す。ＲＣＳＶＯＬ情報３２０には、ストレージ装置ＩＤ３２１とボリュームＩＤ３２２が含まれる。

　ストレージ装置ＩＤ３１１とストレージ装置ＩＤ３２１は、当該ボリュームが存在する各ストレージ装置３０の識別子である。ボリュームＩＤ３１２、３２２は、各ストレージ装置３０の中での当該ボリュームの識別子である。これらの各ＩＤにより、当該ボリュームが一意に決まることになる。

　ペア情報３３０には、ペア状態３３２および差分ビットマップ３３４が含まれる。

　ペア状態３３２は、形成コピー中である「ＰＡＩＲ」、差分コピー中である「ＣＯＰＹ」、ボリュームやパスの閉塞などの理由によりコピー処理が停止されサスペンド状態にある「ＳＵＳＰＥＮＤ」のうち、いずれかを表わすものである。形成コピーは、ボリュームの全体のコピーである。差分コピーは、ボリュームのうち差分のコピーである。

　差分コピーについて説明する。差分ビットマップにより、送信側および受信側のボリュームを、複数の領域に分割しておく。そして、送信側は、送信側のボリュームのある領域にデータの更新があった場合、更新されたデータのジャーナルを作成する。その後、送信側は、書き換えのあった領域のみのジャーナルを受信側へ送信する。このことを差分コピーという。差分コピーは、同じ領域への書き換えが多い場合などのときは、通常のコピーよりも送信量を減らせるという長所を有する。

　差分ビットマップ３３４は、前述した差分コピーを使用した場合に、ＲＣＰＶＯＬとＲＣＳＶＯＬのデータに差異がある領域、つまり、ＲＣＰＶＯＬにおいて書き換えのあった領域を示すビットマップ情報である。ＳＵＳＰＥＮＤ中にＲＣＰＶＯＬに更新があった場合、更新のあった領域を示す差分ビットをＯＮ（‘１’）にする。そして、ＳＵＳＰＥＮＤ後に、ＲＣＰＶＯＬの差分ビットマップ３３４とＲＣＳＶＯＬの差分ビットマップのＯＲ（論理和）をとったビットマップに基づいて、ビットがＯＮの領域のみをコピー（差分コピー）することで、ペアを複製状態に戻すことができる。差分コピーによりコピー転送量を減らすことができる。

　なお、ＲＣＰＶＯＬの差分ビットマップ３３４とＲＣＳＶＯＬの差分ビットマップの論理和をとる動作は、ＲＣＳＶＯＬがプライマリサイト１００Ａとは関係なくセカンダリサイト１００Ｂ内で書き換えが行われる場合などに必要な動作であって、必要ない場合は省略できる。ストレージ装置３０Ａは、差分コピーにおいて、コピーが完了した領域は差分ビットをＯＦＦ（‘０’）にする。全差分ビットがＯＦＦになると差分コピーが完了し、ＲＣＰＶＯＬとＲＣＳＶＯＬが同期していることを示す。

　また、ストレージ装置３０Ａは、ボリュームのペア作成時には差分ビットマップ３３４の全てをＯＮにして差分コピーを行う（形成コピーを行う）ことで、ＲＣＰＶＯＬの全領域をＲＣＳＶＯＬにコピーすることができる。

　次に、形成コピー中のＲＣＰＶＯＬが、ホスト計算機１０からのライト要求を受けた場合の処理を説明する。ストレージ装置３０Ａがホスト計算機１０からＲＣＰＶＯＬへのライト要求を受け、差分ビットマップ３３４においてライト要求の対象の領域の差分ビットがＯＮである場合、当該領域の形成コピーが終了していないことを示す。当該領域のデータは後ほど形成コピーによりコピーされるため、ストレージ装置３０Ａは、ＲＣＰＶＯＬへライトし、ジャーナルを作成しない。ストレージ装置３０Ａがホスト計算機１０からＲＣＰＶＯＬへのライト要求を受け、差分ビットマップ３３４においてライト要求の対象の領域の差分ビットがＯＦＦである場合、当該領域の形成コピーが終了していることを示す。そのため、ストレージ装置３０Ａは、ＲＣＰＶＯＬへライトすると共に、差分コピーと同様に当該領域のジャーナルを作成し、ストレージ装置３０Ｂへ転送する。

　図５は、スナップショットペアボリューム管理情報を示す。

　スナップショットペアボリューム管理情報３５１は、リモートコピーペアボリューム管理情報３０１と同様である。例えば、ペア情報３８０は、前述のペア情報３３０と同様である。ペア状態３８２、差分ビットマップ３８４は、前述のペア状態３３２、差分ビットマップ３３４と夫々同様である。

　但し、ＲＣＰＶＯＬ情報３１０の代わりにスナップショットＰＶＯＬボリュームＩＤ３６０が用いられ、ＲＣＳＶＯＬ情報３２０の代わりにスナップショットＳＶＯＬボリュームＩＤ３７０が用いられる。スナップショットＰＶＯＬは、スナップショットのコピー元のＰＶＯＬであり、本実施例ではＲＣＰＳＶＯＬである。スナップショットＳＶＯＬは、スナップショットのコピー先のＳＶＯＬであり、本実施例ではＳＳＶＯＬと呼ぶ。ＳＳＶＯＬが仮想ボリュームである場合、スナップショットペアボリューム管理情報３５１は、ＳＳＶＯＬに対応するプールＩＤを含んでもよい。

　なお、スナップショットペアボリューム管理情報３５１に、スナップショットＳＶＯＬボリュームＩＤを設定してもしなくてもよい。設定しない場合、ストレージ装置３０Ｂは、スナップショットのコピー先の情報として、スナップショットプール内でデータを格納する領域のアドレスのみをスナップショットＰＶＯＬであるＲＣＳＶＯＬに関連付けて管理する。例えば、スナップショットＰＶＯＬがページごとにデータを管理するとして、そのページが＃０～１００で表されるとすると、スナップショットペアボリューム管理情報３５１は、各ページに対して、スナップショットＰＶＯＬ側のデータが格納されたアドレス情報と、スナップショットペアＩＤ（または世代）ごとのスナップショットＳＶＯＬ側のデータが格納されたスナップショットプールのアドレス情報とを対応付けて管理する。

　このようにＳＳＶＯＬがボリュームＩＤを持たないことで、スナップショットの世代数が増加しても、ボリュームＩＤを消費せずにすむ。ボリュームＩＤは予め決められた上限数があり、それを超える場合には、設定のしなおしなどが必要となるため、運用上の負荷が増える。また、ボリュームＩＤが増えると管理情報が増えるため、管理情報を格納するメモリ量の確保をする必要がある。ボリュームＩＤを消費せずにスナップショット取得可能な世代数を増やす点で、この方法は有効である。

　スナップショットペアの状態として、スナップショットペアの各々のボリュームに格納されているデータの同期が取られ、各々に格納されたデータの内容が一致している状態を「ＰＡＩＲ」状態や、スナップショットペア間でデータの同期が取られていない「ＳＰＬＩＴ」状態（「分割」状態という場合もある）などがある。

　ストレージ装置３０Ｂは、例えば、ＰＡＩＲ状態にあったペアを、特定の時刻にＳＰＬＩＴ状態に変更する。このとき、ＳＳＶＯＬには、特定の時刻において格納されていたデータが保存される。このような処理を「スナップショットを取る」という。その後、ホスト計算機１０がＳＳＶＯＬからデータを読み出して他の記憶装置（例えばテープ装置など）に書き込むことで、スナップショットを取った時刻に格納されていたデータのバックアップをとることができる。なお、ストレージ装置３０Ｂは、スナップショットを取った後のＳＳＶＯＬそのものをデータのバックアップとして保存しておいてもよい。

　ストレージ装置３０Ｂは、スナップショットの複数のペアの集まりであるスナップショットグループを用いてもよい。この場合、ストレージ装置３０Ｂは、スナップショットグループ内の複数のペアに対して同じ操作を実行できる。

　図６は、コンシステンシグループ管理情報を示す。

　コンシステンシグループ管理情報５０２は、コンシステンシグループを管理するための情報である。コンシステンシグループ管理情報５０２は、少なくとも、ストレージ装置３０Ａに格納される。

　コンシステンシグループ管理情報５０２には、コンシステンシグループＩＤ５１１、ペア状態５１２、最新シーケンス番号５３０、未転送シーケンス番号５４０、正式化済みシーケンス番号５５０、ペアボリューム情報５６０、プライマリ側（Ｐ）ジャーナルボリューム情報５７０およびセカンダリ側（Ｓ）ジャーナルボリューム情報５８０が含まれる。

　コンシステンシグループ内のプライマリ側（Ｐ）ボリュームに対してホスト計算機１０からライト要求を受けたデータは、コンシステンシグループ内でのライト要求順序を保って、各プライマリ側（Ｐ）ボリュームのリモートコピーペアであるセカンダリ側（Ｓ）ボリュームにコピーされる。ライト順序を保つために各リモートコピーデータには、後述するシーケンス番号６１０が付与される。

　ストレージ装置３０Ｂでは、シーケンス番号６１０が揃ったところまでのリモートコピーデータをＲＣＳＶＯＬ２６６に反映させることができる。若いシーケンス番号６１０が抜けているリモートコピーデータは反映させない。このストレージ装置３０Ｂで反映可能と判定されたリモートコピーデータを反映させる処理を、「正式化」と呼ぶことがある。

　コンシステンシグループＩＤ５１１はコンシステンシグループを一意に決定する識別子である。

　ペア状態５１２は、当該コンシステンシグループ内の全ペアボリュームが複製状態にある「ＰＡＩＲ」、当該コンシステンシグループ内の一つ以上のペアボリュームが差分コピー中である「ＣＯＰＹ」、当該コンシステンシグループ内の全ペアボリュームがサスペンド状態にある（当該コンシステンシグループ内での整合性がある状態）「ＳＵＳＰＥＮＤ」、当該コンシステンシグループ内の一つ以上のペアボリュームがサスペンド状態にある（当該コンシステンシグループ内で整合性がない状態）「ＳＵＳＰＥＮＤ－Ｅ」のうち、いずれかの状態を表す。

　最新シーケンス番号５３０は、ストレージ装置３０Ａで当該コンシステンシグループのリモートコピーデータに付与されるシーケンス番号６１０のうち、もっとも新しく付与された番号である。

　未転送シーケンス番号５４０は、ストレージ装置３０Ａからストレージ装置３０Ｂに転送されていないリモートコピーデータのシーケンス番号６１０のうち、もっとも古いシーケンス番号６１０である。ストレージ装置３０Ａは未転送のリモートコピーデータのうち古いシーケンス番号６１０をもつリモートコピーデータから順に転送する。

　正式化済みシーケンス番号５５０は、ストレージ装置３０Ｂで正式化が済んだリモートコピーデータのシーケンス番号６１０のうち、もっとも新しいシーケンス番号６１０である。

　ペアボリューム情報５６０には、当該コンシステンシグループに含まれる各ペアのリモートコピーペアボリューム管理情報３０１が含まれる。

　プライマリ側ジャーナルボリューム情報５７０は、プライマリサイト１００Ａ側についての、ストレージ装置ＩＤ５７１を含み、当該コンシステンシグループに含まれる各ジャーナルボリュームのジャーナルボリューム管理情報４０１を示す。セカンダリ側ジャーナルボリューム情報５８０は、セカンダリサイト１００Ｂ側についての、ストレージ装置ＩＤ５８１を含み、当該コンシステンシグループに含まれる各ジャーナルボリュームのジャーナルボリューム管理情報４０１を示す。ストレージ装置ＩＤ５７１、５８１は、ジャーナルボリュームを含む各ストレージ装置３０の識別子である。

　図７は、リモートコピーデータを示す。

　リモートコピーデータ６０１は、ストレージ装置３０Ａからストレージ装置３０Ｂに転送されるデータである。リモートコピーデータ６０１は、コンシステンシグループＩＤ５１１、シーケンス番号６１０、タイムスタンプ６２０、コピーデータ情報６３０を含む。

　コンシステンシグループＩＤ５１１は、前述したようにコンシステンシグループを識別するものである。シーケンス番号６１０は、前述したように、コンシステンシグループ内でライト順序を保つために付与される通し番号である。

　タイムスタンプ６２０は、ストレージ装置３０Ａにおいて、ホスト計算機１０からデータのライト要求を受けた時刻を表す情報である。タイムスタンプ６２０は、ストレージ装置３０Ｂのデータがストレージ装置３０Ａのどの時刻のデータであるかを知るために利用される。

　コピーデータ情報６３０は、各コピーデータに対し、格納データボリュームＩＤ６３１、データ格納アドレス６３２、データ長６３３、データ６３４を含む。格納データボリュームＩＤ６３１は、ストレージ装置３０ＢにおけるＲＣＳＶＯＬを示す識別子である。データ格納アドレス６３２は、ＲＣＳＶＯＬにおけるライトデータの書き込む場所を示す。データ長６３３は、ライトデータのサイズを示す。データ６３４は、ＲＣＰＶＯＬに書き込まれるデータのコピーで、ＲＣＳＶＯＬもＲＣＰＶＯＬと同じようにライト更新される。

　なお、コピーデータは一つであってもよいし、複数であってもよい。ＲＣＰＶＯＬへのホスト計算機１０からの一つのライトごとにリモートコピーデータ６０１を作る場合、コピーデータは一つになる。ある時間間隔内（例えば１０秒間隔など）にホスト計算機１０からストレージ装置３０Ａが受けたライト要求をまとめてリモートコピーデータ６０１を作る場合、コピーデータが複数になる。この場合、コピーデータは、ホスト計算機１０からのライトデータと同一でもよい。また、ストレージ装置３０Ａは、ホスト計算機１０からの更新があった領域を差分として保存し、差分の領域のデータをコピーデータとしてもよい。同一領域に複数のホスト計算機１０からのライト要求がある場合、差分の領域のデータをコピーデータとすると、コピーデータ量を削減できる。

　図８は、ジャーナルボリューム管理情報を示す。

　ジャーナルボリューム管理情報４０１は、リモートコピーのジャーナルを格納するボリューム（ジャーナルボリューム）を管理する情報である。ジャーナルおよびジャーナルデータとは、ストレージ装置３０Ａに格納されたデータの更新履歴であり、たとえば、リモートコピーデータにライト要求時刻などを付加したものである。ジャーナルボリューム管理情報４０１は、ジャーナルボリュームごとに持つ情報であり、ストレージ装置３０Ａの共有メモリ３３Ａとストレージ装置３０Ｂの共有メモリ３３Ａに格納される。

　ジャーナルボリューム管理情報４０１には、ストレージ装置ＩＤ４１０、ボリュームＩＤ４２０、ジャーナル情報４３０が含まれる。ストレージ装置ＩＤ４１０は、各ストレージ装置３０を識別するものであり、ボリュームＩＤ４２０は各ストレージ装置３０内でジャーナルボリュームを識別するものである。当該ジャーナルボリュームが仮想ボリュームである場合、ジャーナルボリューム管理情報４０１は、当該ジャーナルボリュームに対応するプールのプールＩＤを含んでもよい。

　ジャーナル情報４３０には、ジャーナルボリュームに格納されている各ジャーナルに対し、シーケンス番号４３１とジャーナルメタデータポインタ４３２が含まれる。ジャーナルメタデータポインタ４３２は、ジャーナルメタデータの所在を表わすポインタである。シーケンス番号４３１とジャーナルメタデータについての詳細は後述する。

　図９は、データボリューム管理情報を示す。

　データボリューム管理情報５０１は、データボリュームを管理するための情報であり、データボリュームのストレージ装置３０内で識別するためのボリュームＩＤ５１０、当該データボリュームのボリューム属性５３０、当該データボリュームに対応するプールＩＤ５２４、当該データボリュームのサイズ５３６、および、当該データボリュームとペアを成すデータボリュームの情報であるペアボリューム情報５２０が含まれる。

　ペアボリューム情報５２０には、当該ペアボリュームが存在するストレージ装置の識別子であるストレージ装置ＩＤ５２１、当該ペアボリュームを識別するデータボリュームＩＤ５２２、当該ペアの状態を示すペア状態５２３が含まれる。ストレージ装置ＩＤ５２１とデータボリュームＩＤ５２２を組み合わせることにより、データボリュームが一意に決まる。

　ペア状態５２３には、データボリュームが複製状態（ボリューム内でデータ一貫性がある状態）にある「ＰＡＩＲ」、差分コピーをおこなっている「ＣＯＰＹ」、ボリュームやパスの閉塞等によりコピー処理が停止されサスペンド状態にある「ＳＵＳＰＥＮＤ」のうちいずれかの状態を指す。

　ボリューム属性５３０は、論理ボリュームの属性の識別子を示す情報である。当該データボリュームがＲＶＯＬ３１１である場合にはＲＶＯＬを示す識別子が格納され（つまり“実ボリューム”であればその識別子）、当該データボリュームがＴＰＶＯＬ３１２である場合にはＴＰＶＯＬを示す識別子（つまり“シンプロビジョニングのボリューム＝容量仮想化ボリューム”であればその識別子）が格納される。また、当該データボリュームがプールに設定されている場合は、プール属性を示す識別子が格納される。ボリューム属性５３０は、外部ボリューム等においても、同様に対応する識別子を格納する。

　プールＩＤ５２４は、当該データボリュームがプールに設定されている場合に、当該データボリュームが属する形成するプールの識別子が格納される。当該データボリュームが仮想ボリュームに設定されている場合、プールＩＤ５２４は、データを格納する際に、記憶領域を割り当てるプールのプールＩＤである。

　サイズ５２６は、当該データボリュームに設定されている容量を示す。

　データボリューム管理情報５０１は、その他、図示していないが、当該データボリュームを構成する物理ハードディスク番号群や、その物理ハードディスクからボリュームを構成するＲＡＩＤレベルや、ＬＵ番号、物理ポート番号などの情報を管理する。

　図１０は、ジャーナルデータとジャーナルメタデータの関係を示す。

　ここでジャーナルは、データのコピーであるジャーナルデータ８２１と、ジャーナルデータの管理情報であるジャーナルメタデータ７０１とを含む。

　一般に、ＲＣＰＶＯＬ２６５、ＲＣＳＶＯＬ２６６、およびジャーナルボリューム２６７Ａ、２６７Ｂの各々は、予め定められた論理ブロック単位で管理される（例えば５１２ＫＢ）。論理ブロックの各々には、論理ブロックアドレスが付与されている。

　プライマリサイト１００Ａのジャーナルボリューム２６７Ａは、ジャーナルメタデータ領域８１０Ａ、および、ジャーナルデータ領域８２０Ａを有する。ジャーナルデータ領域８２０Ａには、ジャーナルデータ８２１Ａ、すなわち、ライトコマンドによってＲＣＰＶＯＬ２６５に書き込まれたデータ８３１Ａのコピーが格納される。ジャーナルメタデータ領域８１０Ａには、ジャーナルデータ８２１Ａに関するジャーナルメタデータ７０１Ａが格納される。

　セカンダリサイト１００Ｂのジャーナルボリューム２６７Ｂも、ジャーナルボリューム２６７Ａと同様に、ジャーナルメタデータ領域８１０Ｂ、および、ジャーナルデータ領域８２０Ｂを有する。ジャーナルメタデータ領域８１０Ｂには、ジャーナルボリュームのジャーナルメタデータ領域８１０Ａから転送されたジャーナルメタデータ７０１Ｂが格納される。ジャーナルデータ領域８２０Ｂには、ジャーナルボリューム２６７Ａのジャーナルデータ領域８２０Ａから転送されたジャーナルデータ８２１Ｂが格納される。

　図１１は、ジャーナルメタデータを示す。

　ジャーナルメタデータ７０１は、データとジャーナルデータを関連付けるための管理情報であり、データボリューム情報７１０とジャーナル情報７２０を含む。

　データボリューム情報７１０には、データが更新された時刻を示す更新時刻７１１、更新されたデータを格納するデータボリュームを識別するデータボリューム識別子７１２、および、データを格納するデータボリューム上の先頭アドレスを示すデータ格納アドレス７１３を含む。

　ジャーナル情報７２０には、ジャーナルデータを格納するジャーナルボリューム上の先頭アドレスを示すジャーナルデータ格納アドレス７２１、ジャーナルデータのデータ長７２２、および、ジャーナル取得の際に割り当てられたコンシステンシグループ内での当該ジャーナルの通番であるジャーナルシーケンス番号７２３を含む。

　前述のジャーナルとデータとの関係において、ジャーナルメタデータ７０１Ｂは、ＲＣＰＶＯＬ２６５で行われたデータ更新の情報を持ち、そのジャーナル情報７２０Ｂは対応するジャーナルデータ８２１Ｂのアドレス、データ長、シーケンス番号を示す。ストレージ装置３０Ｂは、ジャーナルデータ８２１Ｂを、ジャーナルボリューム２６７Ｂ内のジャーナルデータ領域８２０Ｂから、ＲＣＳＶＯＬ２６６のデータ格納アドレス７１３Ｂに対応するアドレスへ、ジャーナルデータ８２１Ｂをコピーすることによって、ＲＣＰＶＯＬ２６５での更新をＲＣＳＶＯＬ２６６へ反映することができる。

　各アドレスは、ボリューム上の論理ブロックアドレス（Ｌｏｇｉｃａｌ　Ｂｌｏｃｋ　Ａｄｄｒｅｓｓ：ＬＢＡ）により表されてもよい。データ長は、論理ブロック数により表されてもよい。また、データが格納されている場所は、データが格納された領域（ジャーナルデータ領域またはジャーナルメタデータ領域）のベースアドレス（先頭ＬＢＡ）との差分（オフセット）で表されても良い。本実施例において、ジャーナルメタデータ７０１のデータ長は一定（例えば６４バイト）であるが、ジャーナルデータのデータ長は、ライトコマンドで更新されるデータに依存するので一定ではない。

　コンシステンシグループ定義時に、各ストレージ装置３０は、設定されるジャーナルボリューム２６７に対して、ジャーナルメタデータ領域８１０およびジャーナルデータ領域８２０の設定をおこなう。具体的には、各領域の先頭ＬＢＡおよびブロック数が設定される。

　ストレージ装置３０は、ジャーナルボリュームを、シーケンス番号順に記憶領域の先頭から使用し、最後まで使用したら、先頭へ戻ってサイクリックに使用する。プライマリサイト１００Ａのジャーナルは、セカンダリサイト１００Ｂへ転送済みか、セカンダリサイト１００Ｂにて当該ジャーナルを反映し終わったタイミングで、パージされ、順次ジャーナルの領域が解放される。セカンダリサイト１００Ｂのジャーナルも同様に、ＲＣＳＶＯＬ２６６に反映済みとなったタイミングでパージされ、順次ジャーナルの領域が解放される。また、ストレージ装置３０は、ジャーナルをジャーナルボリュームに格納しているが、キャッシュメモリ３２や、専用に設けられたハードディスクやフラッシュメモリ、ＲＡＭ等に格納してもよい。

　ホスト計算機１０、あるいは、ストレージ装置３０に接続された保守端末（あるいは、管理装置）が持つＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等が、ストレージ装置３０にペア作成コマンドを発行し、コピー元となるストレージ装置３０Ａが有するＲＣＰＶＯＬ２６５と、ＲＣＰＶＯＬ２６５に格納されるデータのコピー先となるストレージ装置３０Ｂが有するＲＣＳＶＯＬ２６６とを、ペアとして関連付けることで、リモートコピー構成が構築される。さらに、ストレージ装置３０は、各々のジャーナル処理管理プログラム２２１を用いて、ＲＣＰＶＯＬ２６５およびＲＣＳＶＯＬ２６６に対応するジャーナルを格納するジャーナルボリュームを割り当て、コンシステンシグループ（データボリュームのペアとジャーナルボリュームのペア）を形成する。

　まず、ＲＣＰＶＯＬ２６５からＲＣＳＶＯＬ２６６へデータをコピーする形成コピー処理が実行される。コピーする際には、ＲＣＰＶＯＬ２６５のボリューム先頭領域から末尾まで転送される。

　＜バックアップ処理動作＞

　以下、ＲＣＰＶＯＬ２６５のバックアップの動作について説明する。

　図１２は、ジャーナル処理の概要を示す。

　ここでは、通常運用時、プライマリサイト１００Ａのストレージ装置３０Ａでアクセスを受け付ける場合のジャーナル処理について説明する。

　ストレージ装置３０Ａおよび３０Ｂが、それぞれジャーナル処理管理プログラム２２１を実行してジャーナル処理を制御する。

　ジャーナル取得プログラム２２３Ａを実行することによって、ストレージ装置３０Ａは、ＲＣＰＶＯＬ２６５に書き込まれるデータのコピーをジャーナルデータとして、ジャーナルボリューム２６７Ａに格納する。また、ストレージ装置３０Ａは、ジャーナルの一部としてジャーナルメタデータもジャーナルボリューム２６７Ａに格納する。これらの処理がジャーナル取得処理である。

　一方、ストレージ装置３０Ｂは、ジャーナル反映プログラム２２４Ｂを実行してジャーナル反映処理をおこなう。ジャーナル反映プログラム２２４Ｂは、ジャーナルボリューム２６７Ｂに格納されたジャーナルに基づきデータをＲＣＳＶＯＬ２６６に反映して、ＲＣＰＶＯＬ２６５で更新されたデータをＲＣＳＶＯＬ２６６に反映する。

　図１３は、ジャーナル処理の詳細を示す。

　ストレージ装置３０Ａにおいて、ＩＯ処理プログラム２６１は、ホスト計算機１０からＲＣＰＶＯＬ２６５へのライト要求を受信すると（Ｓ１１１０）、ホスト計算機１０から受信したデータをＲＣＰＶＯＬ２６５に書込む。ジャーナル取得プログラム２２３は、ジャーナルを作成し、作成したジャーナルをジャーナルボリューム２６７Ａに格納する（Ｓ１１１２）。ここで、ジャーナル取得プログラム２２３は、ストレージ装置３０Ａの共有メモリ３３上に格納されているコンシステンシグループ管理情報５０２を参照し、ジャーナル格納先を決定し、最新シーケンス番号５３０の次の番号をシーケンス番号として取得し、ジャーナルメタデータ７０１を作成する。具体的には、ジャーナル取得プログラム２２３は、書込まれるデータのコピーであるジャーナルデータと、作成したジャーナルメタデータ７０１とからジャーナルを作成し、ジャーナルボリューム２６７Ｂに格納する。ストレージ装置３０Ａは、ストレージ装置３０Ａへの書き込みが完了した時点で、ホスト計算機１０への書込み完了応答を行う。ストレージ装置３０Ａからストレージ装置３０Ｂへのジャーナルの転送は、ライト要求とは非同期に行われる。

　ストレージ装置３０Ｂは、一定周期ごと等、所定のタイミングで、ストレージ装置３０Ａのジャーナルの情報を取得する。ストレージ装置３０Ｂにおいて、ジャーナル処理管理プログラム２２１Ｂは、ストレージ装置３０Ａから、ジャーナル作成状況に関する情報を取得するための要求を、ストレージ装置３０Ａに送信する（Ｓ１１１４）。ジャーナル作成状況に関する情報は、例えば、ジャーナルボリューム内のジャーナルの容量、ジャーナルの一番古い時刻等である。ジャーナル処理管理プログラム２２１Ａは、要求に従ってジャーナル作成状況に関する情報をストレージ装置３０Ｂに転送する（Ｓ１１１５）。ジャーナル処理管理プログラム２２１Ｂは、この取得した情報を利用してジャーナル転送要求を作成する。

　次に、ストレージ装置３０Ａからストレージ装置３０Ｂにジャーナルを転送する処理について説明する。ストレージ装置３０Ｂにおいて、ＧＵＩを介したユーザからの指示の入力あるいは予め定められたスケジュールに従って、ジャーナル転送指示が発生すると、ジャーナル処理管理プログラム２２１Ｂは、ストレージ装置３０Ａのジャーナル転送プログラム２２２Ａに対し、ジャーナル転送要求を出す（Ｓ１１１６）。スケジュールは、例えば、ストレージ装置３０Ａで一定量のジャーナルがジャーナルボリューム２６７Ａに格納されたときや、一定期間ごと等である。

　ジャーナル転送要求には、コピーすべきジャーナル（複数でも良い）、そのジャーナルが格納されているジャーナルボリューム２６７Ａ、そのジャーナルボリュームを有するストレージ装置３０Ａを指定する情報、および、コピーしたジャーナルが格納されるジャーナルボリューム２６７Ｂを指定する情報が含まれている。ジャーナル処理管理プログラム２２１Ｂは、共有メモリ３３上のコンシステンシグループ管理情報５０２から取得した情報から、ジャーナル転送要求を作成する。

　ジャーナル転送要求を受けたジャーナル転送プログラム２２２Ｂは、ジャーナル転送要求で指定されたジャーナルに対するリードコマンドをストレージ装置３０Ａに対して発行する（Ｓ１１１８）。このリードコマンドを受けたストレージ装置３０Ａのジャーナル処理管理プログラム２２１Ａは、リードコマンドで指定されたジャーナルをストレージ装置３０Ｂに送信する（Ｓ１１２０）。ジャーナルを受信したストレージ装置３０Ｂのジャーナル処理管理プログラム２２１Ｂは、ジャーナル転送要求で指定されたジャーナルボリューム２６７Ｂに、受信したジャーナルを格納する（Ｓ１１２１）。

　その後、ストレージ装置３０Ｂのジャーナル処理管理プログラム２２１Ｂは、ストレージ装置３０Ｂのジャーナル反映プログラム２２４Ｂに対して、ジャーナル反映要求を発行する（Ｓ１１２２）。ジャーナル反映要求を受けたジャーナル反映プログラム２２４Ｂは、ジャーナルボリューム２６７Ｂのジャーナルのシーケンス番号に従って、ジャーナルデータをＲＣＳＶＯＬ２６６に書込むことで、ＲＣＳＶＯＬ２６６にＲＣＰＶＯＬ２６５のデータの反映をおこなう（Ｓ１１２４）。なお、ジャーナル反映プログラム２２４Ｂは、反映に用いられたジャーナルが格納されていた領域をパージする（Ｓ１１２５）。これにより、その領域は、新たなジャーナルの格納に利用されることができる。

　また、ジャーナル反映プログラム２２４Ｂは、ＲＣＳＶＯＬ２６６にデータが反映されたジャーナルのシーケンス番号を、ストレージ装置３０Ａのジャーナル処理管理プログラム２２１Ａに通知する。これにより、ジャーナル処理管理プログラム２２１Ａは、ＲＣＳＶＯＬ２６６に反映されたジャーナルが格納されていた、ストレージ装置３０Ａのジャーナルボリューム２６７Ａの領域を解放する（Ｓ１１２６）。この領域は、新たなジャーナルの格納に利用することができる。なお、ジャーナルのパージを、通知の受領後すぐにおこなう必要はない。ジャーナルのパージを定期的におこなっても良いし、ユーザからの指示に従ってパージしても良い。

　以上のジャーナル処理によれば、ＲＣＰＶＯＬ２６５からＲＣＳＶＯＬ２６６への非同期リモートコピーを行うことにより、ホスト計算機１０によるＲＣＰＶＯＬ２６５のアクセスにおいて、同期リモートコピーを行う場合に比べて、応答時間を小さくすることができる。ストレージ装置３０Ａがスナップショット作成条件の成立に応じてマーカを作成し、ストレージ装置３０Ｂがマーカの検出に応じてＲＣＳＶＯＬ２６６のスナップショットを作成することで、ＲＣＰＶＯＬ２６５の特定の時刻のスナップショットを、セカンダリサイト１００Ｂに作成することができる。これにより、プライマリサイト１００Ａの障害時に、セカンダリサイト１００Ｂを用いて復旧することが容易になる。ＲＣＳＶＯＬ２６６をＴＰＶＯＬとすることにより、ＲＣＳＶＯＬ２６６の容量の管理等が容易になる。

　ジャーナル処理の変形例について説明する。

　変形例のジャーナル処理は、前述のジャーナル処理のようにストレージ装置３０Ａがストレージ装置３０Ｂからのリードコマンドを待つのではなく、ストレージ装置３０Ａからストレージ装置３０Ｂに対してデータを書き込むライトコマンドを発行することにより、ジャーナルの転送を行う。

　変形例のジャーナル処理では、ストレージ装置３０Ａのジャーナル処理管理プログラム２２１Ａは、Ｓ１１１６に代えて、ジャーナル転送プログラム２２２Ａにジャーナル転送要求を発行する。ジャーナル転送要求には、ストレージ装置３０Ｂへ送信すべきジャーナルが格納されているジャーナルボリューム２６７Ａ、ストレージ装置３０Ｂを指定する情報、および、ストレージ装置３０Ｂでそのジャーナルを格納すべきジャーナルボリューム２６７Ｂを指定する情報等が含まれる。ジャーナル処理管理プログラム２２１Ａは、共有メモリ３３上に格納されたコンシステンシグループ管理情報５０２Ａから、これらの情報を取得する。

　ジャーナル転送要求を受け取ったジャーナル転送プログラム２２２Ａは、Ｓ１１１８に代えて、ライトコマンドをストレージ装置３０Ｂに発行することで、指定されたジャーナルをストレージ装置３０Ｂに送信する。ストレージ装置３０Ｂは、ストレージ装置３０Ａからライトコマンドとして受信したジャーナルを、そのコマンドで指定されたジャーナルボリューム２６７Ｂの領域に格納する。

　ジャーナルを格納する方法として、物理ボリュームにジャーナルを格納する方法や、ジャーナルボリュームをシンプロビジョニングボリュームで作成し、ジャーナルをプール２６８に格納する方法等がある。

　ストレージ装置３０Ｂで、ジャーナルをＲＣＳＶＯＬへ反映する処理の詳細を説明する。

　ストレージ装置３０Ｂは、ＲＣＳＶＯＬ２６６およびジャーナルボリューム２６７Ｂを容量仮想化（シンプロビジョニング）ボリュームに設定する。ストレージ装置３０Ｂは、ストレージ装置３０Ａから転送されたリモートコピーデータを、リモートコピー用プールに格納する。具体的には、ストレージ装置３０Ｂは、ストレージ装置３０Ａから転送されるジャーナルを、プール２６８Ｂに格納する。ストレージ装置３０Ｂは、ジャーナルメタデータから、ＲＣＳＶＯＬ２６６内の更新対象ページを求める。更新対象ページに既にデータが格納されていれば、ストレージ装置３０Ｂは、更新対象ページにデータを上書きする。更新対象ページにデータが格納されていなければ、ストレージ装置３０Ｂは、更新対象ページを管理するデータ格納アドレスに、ジャーナルデータが格納されたプール２６８Ｂ内のページのアドレスを格納する。ストレージ装置３０Ｂは、このようにマッピングの変換で、プール内２６８Ｂ内のページを、ＲＣＳＶＯＬ２６６に割り当てることができる。

　また、ストレージ装置３０Ａ側のＲＣＰＶＯＬ２６５が容量仮想化ボリュームであってもよい。

　ストレージ装置３０Ｂの重複排除プログラム２２５は、ストレージ装置３０Ａから転送されたジャーナルに対して重複排除処理を実行してもよい。

　図１４は、重複排除処理を示す。

　重複排除プログラム２２５は、ストレージ装置３０Ａからストレージ装置３０Ｂへ転送されたジャーナル内のジャーナルデータが、プール２６８Ｂに格納されている（ＲＣＳＶＯＬ２６６に反映前の）ジャーナルデータと、同一であるか否かを判定する。同一であると判定された場合、重複排除プログラム２２５は、プール２６８Ｂに格納されているジャーナルデータ８２１Ｂに対応するジャーナルメタデータ７０１Ｂ内のジャーナルデータ格納アドレス７２１Ｂの値を、転送されたジャーナルデータに対応するジャーナルメタデータ７０１Ｂｂ内のジャーナルデータ格納アドレス７２１Ｂｂへ格納する。この場合、重複排除プログラム２２５は、転送されたジャーナルデータをプール２６８Ｂへ書き込まない。これにより、ストレージ装置３０Ｂは、重複するデータを格納することを防ぎ、プール２６８Ｂの使用量を削減できる。同一でないと判定された場合、重複排除プログラム２２５は、プール２６８Ｂからジャーナルボリューム２６７Ｂに空き領域を割当て、転送されたジャーナルデータを格納する。いずれの場合も、転送されたジャーナルメタデータ７０１Ｂｂのエントリは必要となる。重複排除プログラム２２５は、転送されたジャーナルデータのハッシュ値を算出して保存し、二つのハッシュ値を比較することで、二つのジャーナルデータが同一であるか否かを判定してもよい。

　なお、重複排除プログラム２２５は、ストレージ装置３０Ａからストレージ装置３０Ｂへ転送されたジャーナル内のジャーナルデータが、プール２６８Ｂ内のデータと、同一であるか否かを判定してもよい。

　なお、重複排除プログラム２２５は、ＲＣＳＶＯＬ２６６に反映するデータを重複排除して、プール２６８Ｂに格納してもよい。

　次に、スナップショット取得条件が成立した場合の動作について説明する。

　本実施例のストレージシステムは、スナップショット取得条件が成立すると、ＲＣＰＶＯＬ２６５のスナップショットをストレージ装置３０Ｂ内に作成する。例えば、スナップショット取得条件は、ストレージ装置３０Ａが、ホスト計算機１０から、スナップショットを作成する指示であるスナップショット取得指示を受信することである。また、例えば、ホスト計算機１０からストレージ装置３０Ａに対して、スナップショットを取得する時刻が設定され、スナップショット取得条件は、その時刻に達することである。

　本実施例のストレージシステムは、非同期リモートコピーを実行しているため、ストレージ装置３０Ａの非同期リモートコピーの正ボリューム（ＲＣＰＶＯＬ２６５）と、ストレージ装置３０Ｂの非同期リモートコピーの副ボリューム（ＲＣＳＶＯＬ２６６）との間に、ＲＣＰＶＯＬ２６５とＲＣＳＶＯＬ２６６が不一致である状態が発生する。このようにＲＣＰＶＯＬ２６５とＲＣＳＶＯＬ２６６が不一致である状態でスナップショットを取得しても、取得したい瞬間のＲＣＰＶＯＬ２６５のスナップショットが取れない。スナップショットを取得するためには、ストレージ装置３０Ａとストレージ装置３０Ｂが同じ状態、すなわち、静止化された状態である必要がある。

　ストレージ装置３０Ｂは、ジャーナルを逐次読み出し、ＲＣＳＶＯＬ２６６への反映作業中、ジャーナル内にマーカを見つけると、ＲＣＳＶＯＬ２６６のスナップショットをＳＳＶＯＬに取得できる。マーカとは、ＲＣＰＶＯＬ２６５のスナップショット作成時、コンシステンシグループ内で整合性がとれていることを示す情報である。マーカは例えば、予め設定されたデータパターンであってもよいし、予め設定されたアドレスを示すジャーナルメタデータを含んでいてもよい。

　これにより、ストレージシステムは、プライマリサイト１００Ａに対して指示された時点のＲＣＰＶＯＬ２６５のスナップショットを、セカンダリサイト１００Ｂに作成することができる。

　また、ホスト計算機１０が、スナップショット取得指示をストレージ装置３０Ａに発行しても良い。また、ホスト計算機１０がスナップショット取得指示と共に、Ｉ／Ｏ要求を停止してもよい。この場合、ストレージ装置３０Ｂは、スナップショットを作成すると、ストレージ装置３０Ａに通知し、ストレージ装置３０Ｂは、スナップショット取得指示の応答をホスト計算機１０へ返す。これに応じて、ホスト計算機１０は、Ｉ／Ｏ要求を再開する。

　管理装置が、スナップショット取得指示をストレージ装置３０Ａに発行しても良いし、スナップショット取得の時刻をストレージ装置３０Ａに予め設定してもよい。

　ＲＣＰＶＯＬ２６５の静止化状態を積極的に作成するために、ストレージ装置３０Ａは、スナップショット取得指示に応じて、Ｉ／Ｏを停止してもよい。

　ストレージ装置３０Ｂが、ジャーナルボリューム２６７Ｂとして、シンプロビジョニングによる容量仮想化ボリュームを作成すると、ジャーナルの実体はプール２６８Ｂに格納される。以下の説明では、複数のジャーナルボリュームが同一のプール２６８Ｂを使用する場合について説明する。ジャーナルをプール２６８Ｂに格納すると、Ｓ１１２０のジャーナルの転送の処理は、プール２６８Ａからプール２６８Ｂにジャーナルを転送する。ページとはプールの記憶領域を管理するための記憶単位のことである。ページサイズは、例えば８ＭＢ、数十ＭＢなどである。

　ストレージ装置３０ＡがＲＣＰＶＯＬ２６５に対するスナップショット取得指示を受けると、その指示をジャーナルに格納し、ジャーナルがストレージ装置３０Ｂに転送され、ストレージ装置３０Ｂがジャーナル内のスナップショット取得指示を検出したとき、スナップショットを取得してもよい。即ち、前述のマーカとしてスナップショット取得指示を用いることにより、ＲＣＰＶＯＬ２６５の静止化を行って、その時点までのジャーナルを転送すれば、スナップショット取得時に、ＲＣＰＶＯＬ２６５とＲＣＳＶＯＬ２６６が同じ状態となる。

　図１５は、スナップショット取得指示が発行された場合のジャーナル処理を示す。

　まず、ストレージ装置３０Ａの処理を説明する。スナップショット取得が指示されると、ジャーナル処理管理プログラム２２１Ａは、ＲＣＰＶＯＬ２６５のジャーナルボリューム２６７Ａのその時点で格納されている最後の順番のジャーナルにマーカを入れる（Ｓ１０１０）。マーカは、スナップショット取得前の最後のジャーナルであることを示す。

　ＲＣＰＶＯＬ２６５のジャーナルは、予め決められた契機で、予め決められた数ずつ、ストレージ装置３０Ｂへ非同期に転送される。ジャーナルは、作成された時刻の順番を守って反映される。契機がきたら、ジャーナル処理管理プログラム２２１Ａは、ＲＣＳＶＯＬ２６６へ未転送のジャーナルがＲＣＰＶＯＬ２６５のジャーナルボリューム２６７Ａに残っているか否かを判定する（Ｓ１０１２）。残っている場合（Ｓ１０１２がＹＥＳ）、ジャーナル転送プログラム２２２Ａは、ストレージ装置３０Ｂにジャーナルを転送する（Ｓ１０１４）。転送されたジャーナルは、ジャーナルボリューム２６７Ｂに格納される。スナップショット取得指示までの全てのジャーナルを転送し終わっている（すなわちマーカの転送が完了している）場合（Ｓ１０１２がＮＯ）、コントローラ３１Ａは処理を終了する。

　また、ここでは、ジャーナル処理管理プログラム２２１Ａが、ジャーナルが転送済みか判定しているが、ストレージ装置３０Ｂのリモートコピー制御プログラム２６０Ｂが、ジャーナルボリューム２６７Ａからスナップショット取得指示までの全ジャーナルを取得済みか（マーカが転送済みか）判定し、取得済みでない場合、ジャーナル転送プログラム２２２Ｂがストレージ装置３０Ａにジャーナルリード要求を送信し、この要求に応じてジャーナル転送プログラム２２２Ａがジャーナルを転送してもよい。

　続いて、ストレージ装置３０Ｂのジャーナル処理を説明する。ジャーナル反映プログラム２２４Ｂは、ジャーナルボリューム２６７ＢにＲＣＳＶＯＬ２６６へ未反映のジャーナルがあるか否か判定する（Ｓ１０１８）。未反映のジャーナルがなければ（Ｓ１０１８がＮｏ）、ジャーナル反映プログラム２２４Ｂは、ストレージ装置３０Ａからジャーナルが送信されるまで待機する。未反映のジャーナルがあれば（Ｓ１０１８がＹｅｓ）、ジャーナル反映プログラム２２４Ｂは、未反映のジャーナルのうちシーケンス番号が先頭のジャーナルを選択し（Ｓ１０２２）、選択したジャーナルがマーカであるか否か判定する（Ｓ１０２４）。

　もしマーカでなければ（Ｓ１０２４がＮｏ）、選択したジャーナルが未反映のジャーナルであるので、ジャーナル反映プログラム２２４Ｂは、そのジャーナルによる更新がＲＣＳＶＯＬ２６６のどの位置に対応するかを検索し、ＳＶＯＬライト差分ビットマップ２５０において、その位置に対応するビットが‘１’であるか判定する（Ｓ１０２６）。具体的には、ジャーナル反映プログラム２２４Ｂは、ジャーナルメタデータ７０１内に格納されている、対応するジャーナルデータが格納されているアドレスの情報から、ＲＣＳＶＯＬ２６６内の位置（アドレス）を参照する。ＳＶＯＬライト差分ビットマップ２５０は、予め決めた単位のサイズのデータをビットマップ内の１ビットに対応させて管理する。データボリューム内の領域の先頭から前述のサイズ単位にビットを対応させて使う。例えば、ＳＶＯＬライト差分ビットマップ２５０内のビット＃１０に対応するＲＣＳＶＯＬ２６６内のアドレスが＃００１～＃１００であるとき、ジャーナルデータに対応するデータ格納アドレス７１３が＃００３である場合、ＳＶＯＬライト差分ビットマップ２５０内の対応するビットはビット＃１０である。このように、ジャーナル反映プログラム２２４Ｂは、ＲＣＳＶＯＬ２６６内のアドレスからＳＶＯＬライト差分ビットマップ２５０内のビットを特定することができる。

　ジャーナル反映プログラム２２４Ｂは、ジャーナルデータに対応するビットを特定し、そのビットが‘１’であれば（Ｓ１０２６がＹｅｓ）、ＲＣＳＶＯＬ２６６にあるデータが最新のデータではない、すなわちＲＣＰＶＯＬ２６５のデータと一致していない可能性があると判定し、ＲＣＳＶＯＬ２６６にジャーナルデータを反映し（Ｓ１０２８）、ジャーナルデータをジャーナルボリューム２６７Ｂから削除する（Ｓ１０３０）。ジャーナル反映プログラム２２４Ｂは、次のジャーナルがあれば同様の処理を繰り返す。

　次のジャーナルが、マーカであった場合（Ｓ１０２４がＹｅｓ）、ジャーナル反映プログラム２２４Ｂは、全ての未反映のジャーナルの反映が完了したと認識する。即ち、ＲＣＰＶＯＬ２６５とＲＣＳＶＯＬ２６６に同一のデータが格納された状態である。その後、スナップショット制御プログラム２６２Ｂは、ＲＣＳＶＯＬ２６６からスナップショットを取得する（Ｓ１０３４）。ここでスナップショット制御プログラム２６２Ｂは、スナップショットペアのコピー元であるＲＣＳＶＯＬ２６６の複製を、スナップショットペアのコピー先であるスナップショットＳＶＯＬ（ＳＳＶＯＬ）２７１に作成する。ここでのＳＳＶＯＬ２７１は仮想ボリュームである。スナップショット制御プログラム２６２Ｂは、ＲＣＳＶＯＬ２６６の実体が格納されるプール２６８Ｂ内のページを、ＳＳＶＯＬ２７１にマッピングする。

　ストレージ装置３０Ａは、形成コピーが終わっていない状態で、スナップショット取得指示を受けた後に、形成コピー前の箇所に書き込み要求を受けた場合、更新前の状態をストレージ装置３０ＢのＲＣＳＶＯＬ２６６に格納する必要があるため、この場合は当該箇所の更新前のデータをジャーナルとして登録する。ストレージ装置３０Ｂは、マーカより前にあるジャーナルと、形成コピーされたデータをＲＣＳＶＯＬ２６６に反映してから、スナップショットを作成する。その後、ストレージ装置３０Ｂは、形成コピー処理が完了してから、マーカより後のジャーナルをＲＣＳＶＯＬ２６６へ反映する。

　以下、スナップショット作成（Ｓ１０３４）の詳細について説明する。

　図１６は、スナップショット作成時のＲＣＳＶＯＬとＳＳＶＯＬの関係を示す。

　前述のジャーナル処理により、ストレージ装置３０Ａからストレージ装置３０Ｂへ転送されたジャーナルは、ジャーナルボリューム２６７Ｂに格納される。ジャーナルボリューム２６７Ｂ内のページ２５１の実体のジャーナルデータは、プール２６８Ｂ内のページ２５２に格納される。ジャーナルメタデータ７０１内のデータ格納アドレスは、ページ２５２のアドレスを示す（Ｓ２２１０）。

　ストレージ装置３０Ｂは、ジャーナルボリューム２６７Ｂからシーケンス番号順にジャーナルを取り出しＲＣＳＶＯＬ２６６へ反映していく。ページ２５１のジャーナルデータを反映すると、ＲＣＳＶＯＬ２６６内のページ２５３をプール２６８Ｂ内の実体のページ２５２にマッピングする（Ｓ２２１２）。すなわちＲＣＳＶＯＬ２６６内のページ２５３は、ページ２５１の実体のページ２５２にマッピングされる。既にＲＣＳＶＯＬ２６６内のページ２５３にデータが格納されていた場合、ストレージ装置３０Ｂは、実体のページ２５２に上書きする。

　この状態でストレージ装置３０Ｂが、ジャーナルボリューム２６７Ｂから取り出されたジャーナルにマーカを検出すると、スナップショットをする（Ｓ１０３４）。ここでストレージ装置３０Ｂは、ＲＣＳＶＯＬ２６６内のページ２５３に対応するＳＳＶＯＬ２７１内のページ２５５に、実体のデータを格納することなく、ＲＣＳＶＯＬ２６６内のページ２５３のアドレスをマッピングする（Ｓ２２１４）。

　図１７は、スナップショット作成時のＲＣＳＶＯＬとＳＳＶＯＬのデータの関係の変形例を示す。

　ＲＣＳＶＯＬ２６６とＳＳＶＯＬ２７１に割り当てられるプールが、同一のプール２６８Ｂであれば、直接プール２６８Ｂ内のページ２５２をＳＳＶＯＬ２７１内のページ２５５にマッピングしてもよい。ＲＣＳＶＯＬ２６６とＳＳＶＯＬ２７１が同一のプール２６８Ｂを用いることにより、プール２６８Ｂの管理の作業コストを抑えることができる。

　図１８は、スナップショット作成後のＲＣＳＶＯＬとＳＳＶＯＬの関係を示す。

　スナップショット作成後にＲＣＳＶＯＬ２６６の更新を示すジャーナルにより、プール２６８Ｂ内のページ２５２にジャーナルデータが反映される場合、反映前に、プール２６８Ｂ内のページ２５２のデータを、ＳＳＶＯＬ２７１用のプール２７２内のページ２５４へ転送（退避）し（Ｓ２２１６）、ＳＳＶＯＬ２７１内のページ２５５のマッピング先をプール２７２内のページ２５４へ変更し（Ｓ２２１８）、プール２６８Ｂ内のページ２５２をジャーナルデータで更新する（Ｓ２２２０）。

　以上のようにストレージ装置３０Ｂへ非同期リモートコピーの差分を転送し、かつスナップショットを組み合わせることで、高速なフルバックアップイメージを作成することができる。

　このようにストレージ装置３０Ｂは、マーカ（スナップショット作成）後のジャーナルのＲＣＳＶＯＬ２６６への反映において、反映前のデータをＳＳＶＯＬ２７１用のプール２７２内のページ２５４へ書き込み、反映後のデータをプール２６８Ｂ内のページ２５２へ書き込む。これにより、ストレージ装置３０Ｂは、スナップショット取得指示後のＲＣＰＶＯＬ２６５の更新前のデータだけを、プール２７２へ書き込むことができる。なお、ストレージ装置３０Ｂは、マーカ後のジャーナルのＲＣＳＶＯＬ２６６への反映において、反映前のデータをプール２６８Ｂ内のページ２５２に維持し、反映後のデータを他のページや他のプールへ書き込んでもよい。

　なお、前述のように、ＳＳＶＯＬ２７１をボリュームとして管理しない場合、ＳＳＶＯＬ２７１にボリュームＩＤを付与しなくてもよい。その場合、ストレージ装置３０Ｂは、スナップショットペアボリューム管理情報３５１と別のテーブルをもつ。このテーブルはＲＣＳＶＯＬのアドレスに対し、バックアップされたデータがどこに格納されているかを管理できればよい。

　以上のように、ストレージ装置３０Ｂは、ＲＣＳＶＯＬ２６６内のページ２５３や、プール２６８Ｂ内のページ２５２を、ＳＳＶＯＬ２７１内のページ２５５に割り当てることにより、高速にＲＣＳＶＯＬ２６６のスナップショットを作成することができる。スナップショット作成後のジャーナルの反映において、反映前のデータのみを、プール２７２へコピーすることにより、プール２７２に格納されるデータはＳＳＶＯＬ２７１とＲＣＳＶＯＬ２６６の差分のみとなる。これにより、プール２７２の使用量を抑えることができる。

　また、スナップショット用のプール２７２を用いることにより、プール２６８Ｂの管理や、プール２７２の増設等を容易にすることができる。ジャーナルボリューム２６７ＢとＲＣＳＶＯＬ２６６に、同一のプール２６８Ｂ内のページ２５２を割り当てることにより、ＲＣＰＶＯＬ２６５からＲＣＳＶＯＬ２６６へのジャーナルの反映や、ＲＣＳＶＯＬ２６６からＲＣＰＶＯＬ２６５へのジャーナルの作成が高速になると共に、物理記憶デバイスの使用量を抑えることができる。

　以下、リストア（復元）処理について説明する。

　リストアの方法として例えば次の第一リストア処理～第三リストア処理がある。
（１）第一リストア処理：非同期リモートコピーの差分を転送するコンシステンシグループのリストア
（２）第二リストア処理：スナップショットボリュームを外部接続し、レプリケーションによるボリュームリストア
（３）第三リストア処理：スナップショットボリュームを外部接続し、ホスト計算機１０で細粒度のリストア

　図１９は、第一リストア処理の概要を示す。

　第一リストア処理は、前述のジャーナル処理に対して逆向きの、ストレージ装置３０Ｂからストレージ装置３０Ａへの非同期リモートコピーを行う。第一リストア処理は、差分コピー、すなわち、ジャーナルを使って変更した箇所のデータをストレージ装置３０Ｂからストレージ装置３０Ａへ転送する処理を行う。

　ホスト計算機１０は、リストアしたいスナップショット時点を示すリストア指示をストレージ装置３０Ａへ発行する（Ｓ２１１０）。ホスト計算機１０は、リストアを開始する際、ＲＣＰＶＯＬへアクセスするアプリケーションを停止する（Ｓ２１１２）。ホスト計算機１０は、非同期リモートコピーのストレージ装置３０Ａからストレージ装置３０Ｂに運用を切り替えるための処理を行うことにより、主と副の立場を切り替える（Ｓ２１１４）。この切り替え以降、コピー処理の方向がストレージ装置３０Ｂからストレージ装置３０Ａへとなる。ストレージ装置３０Ａは、ストレージ装置３０Ｂへこの指示を通知する。

　ストレージ装置３０Ｂは、ホスト計算機１０から指定されたスナップショットのデータを、ＳＳＶＯＬからＲＣＳＶＯＬに復元する（Ｓ２１２０）。

　図２０は、第一リストア処理におけるストレージ装置３０Ｂの動作の詳細を示す。

　具体的には、ストレージ装置３０Ｂは、ＲＣＳＶＯＬの先頭アドレスから順にデータの管理単位に対象アドレスを選択する（Ｓ２１２１）。ストレージ装置３０Ｂは、スナップショットペアボリューム管理情報３５１に基づいて、プール２７２内に対象アドレスに対応するスナップショットデータが存在するかどうか判定する（Ｓ２１２２）。

　対象アドレス対応するスナップショットデータが存在する場合、スナップショットデータが復元すべきデータであるため、ストレージ装置３０Ｂは、スナップショットデータをＲＣＳＶＯＬのデータに上書きする（Ｓ２１２３）。そして、ストレージ装置３０Ｂは、スナップショットデータへ非同期リモートコピーするためのジャーナルを作成し（Ｓ２１２４）、ジャーナルボリューム２６７Ｂへ登録する（Ｓ２１３０）。ストレージ装置３０Ｂは、前述のアドレスに対するジャーナルがジャーナルボリューム２６７Ｂにあるかどうか判定する（Ｓ２１２５）。ジャーナルがあれば、ストレージ装置３０Ｂは、そのジャーナルを削除し（Ｓ２１２６）、このフローを終了する。

　Ｓ２１２２の判定において対象アドレスに対応するスナップショットデータが存在しない場合、ＲＣＳＶＯＬに格納されたデータがＲＣＰＶＯＬに復元すべきデータである。このため、ストレージ装置３０Ｂは、前述のアドレスに対するジャーナルがジャーナルボリューム２６７Ｂにあるかどうか判定する（Ｓ２１２７）。そのジャーナルがあれば、ストレージ装置３０Ｂは、そのジャーナルを削除する（Ｓ２１２８）。そして、ストレージ装置３０Ｂは、ＲＣＳＶＯＬに格納されたデータでジャーナルを作成して（Ｓ２１２９）、ジャーナルボリューム２６７Ｂに登録し（Ｓ２１３０）、このフローを終了する。そのジャーナルがなければ、ストレージ装置３０Ｂは、このフローを終了する。

　ストレージ装置３０Ｂは、対象アドレス毎にこのフローを繰り返す。

　ストレージ装置３０Ｂは、ＲＣＳＶＯＬ内の全てのアドレスについてこのフローを実行した後、ジャーナルボリューム２６７Ｂに格納されたジャーナルをストレージ装置３０Ａに転送する（Ｓ２１３２）。ストレージ装置３０Ａは、転送されたジャーナルをジャーナルボリューム２６７Ａに格納する（Ｓ２１３４）。ストレージ装置３０Ａは、ジャーナルをもとに、非同期リモートコピー構成の差異を解消して、ＲＣＰＶＯＬをＲＣＳＶＯＬに同期させる。すなわち、ストレージ装置３０Ａは、ジャーナルの示すアドレスに対応するＲＣＰＶＯＬのアドレスのジャーナルデータに上書きすることで、スナップショット時点のデータを復元する（Ｓ２１３６）。

　ＲＣＰＶＯＬとＲＣＳＶＯＬの同期がとれたら、ホスト計算機１０はアプリケーションを起動する。

　前述したような、ボリューム形式でないＳＳＶＯＬの管理方法の場合、ストレージ装置３０Ｂは、スナップショットデータのリストア（Ｓ２１３０）のあと、スナップショットペアを分割し、ＳＳＶＯＬにボリュームＩＤを与え、ＳＳＶＯＬをボリューム形式として残す処理をしてもよい。

　以上の第一リストア処理によれば、セカンダリサイト１００Ｂに作成されたＳＳＶＯＬ２７１から、プライマリサイト１００ＡのＲＣＰＶＯＬ２６５の特定の時刻のデータを復元できる。また、ストレージ装置３０Ｂは、リストア指示の時点の、ＳＳＶＯＬ２７１のうちマーカ後のジャーナルによる反映前のデータ（ＳＳＶＯＬ２７１とＲＣＳＶＯＬ２６６の差分）のジャーナルや、ＲＣＳＶＯＬ２６６のうち未反映のジャーナルの反映前のデータ（ＲＣＳＶＯＬ２６６とＲＣＰＶＯＬ２６５の差分）のジャーナルを作成することで、ＳＳＶＯＬ２７１内の全データをストレージ装置３０Ａへ転送する必要がなく、高速にリストアすることができる。

　図２１は、第二リストア処理を示す。

　第二リストア処理は、スナップショットそのものを直接ホスト計算機１０に見せる方法がある。ここでは、スナップショットデータが前述のようにボリューム形式で管理されていない場合を示す。ストレージ装置３０Ａが、ホスト計算機１０からリストア指示を受けると（Ｓ２２１０）、ストレージ装置３０Ｂは、スナップショットデータをボリュームとして管理するための仮想ボリューム（ＶＶＯＬ）２５８を設け、ＳＳＶＯＬ２６９を仮想ボリューム２５８にマッピングする（Ｓ２２１２）。これにより、ストレージ装置３０Ａは、仮想ボリューム２５８内のアドレスを用いて、スナップショットデータを参照することが可能となる。

　ストレージ装置３０Ａは、外部ストレージ装置内のボリュームを内部のボリュームとしてアクセス可能にする外部接続機能を使って、仮想ボリューム２５８にアクセス可能とする。ストレージ装置３０Ａは、外部ボリューム（ＥＶＯＬ）２５７を設け、外部ボリューム２５７にストレージ装置３０Ｂ内の仮想ボリューム２５８を外部ボリューム２５７にマッピングする（Ｓ２２１４）。ストレージ装置３０Ａは、外部ボリューム２５７からＲＣＰＶＯＬ２６５へレプリケーション処理を実行し、ホスト計算機１０に応答する（Ｓ２２１６）。ホスト計算機１０は、その応答に応じて、ＲＣＰＶＯＬ２６５にアクセスすることで業務を実施する。レプリケーション処理は、ホスト計算機１０からのアクセス中も、外部ボリューム２５７内のデータをＲＣＰＶＯＬ２６５へコピーする。レプリケーション処理中、ホスト計算機１０が、ＲＣＰＶＯＬ２６５へのリード要求を発行し、外部ボリューム２５７からリード要求の対象ページへのコピーを完了していない場合、ストレージ装置３０Ａは、対象ページのデータを外部ボリューム２５７からＲＣＰＶＯＬ２６５へコピーし、そのデータをホスト計算機１０へ応答する。

　これにより、ホスト計算機１０は、直接接続されていないストレージ装置３０Ｂに格納されているスナップショットデータに、高速にアクセスすることを可能になる。

　次に、第三リストア処理について説明する。

　第三リストア処理は、前述の第二リストア処理のＳ２２１４まで同様の処理を行う。その後、ホスト計算機１０は、ＯＳやアプリケーションにより、外部ボリューム２５７からリストア対象データを選択し、ＲＣＰＶＯＬ２６５へコピーする。

　これにより、ボリュームより細かい粒度のリストア対象データをホスト計算機１０に提供できる。

　＜環境構築＞

　ストレージシステムが以上の処理を行うために、事前の環境構築をする作業が必要になる。事前の環境構築の手順について説明する。

　機器を導入後、システムユーザ（管理者）は、ネットワークの設定、ストレージ装置３０の設定、ホスト計算機１０の設定、ホスト計算機１０上で動作するアプリケーションの設定を実施する。ストレージ装置３０の設定は、プール作成、コマンドデバイス作成、ポート設定、リモートパス・外部パス（外部ストレージ装置と接続するためのパス）設定を行う。ホスト計算機１０の設定は、ホスト計算機１０に各コンポーネントをインストールし、ストレージシステムの管理プログラムを設定し、バックアップ設定ファイルを記述する。管理プログラムは、ホスト計算機１０からストレージ装置３０に対してコマンドを発行することによって、ストレージ装置３０に格納されるコピー系のプログラムを操作する。管理プログラムの設定として、構成ファイルを作成する。バックアップ設定ファイルは、ホスト計算機１０内に格納される。バックアップ設定ファイルは、例えば、プールＩＤや、ＲＣＰＶＯＬ側及びＲＣＳＶＯＬ側のポート番号や、ジャーナルボリュームの容量やペア状態が遷移するときの監視タイムアウト値などを定義する。ここで定義された値は、以降の設定作業時に使用される。

　図２２は、ＲＣＰＶＯＬ作成処理を示す。

　ストレージ装置３０Ａは、ホスト計算機１０からの指示に応じて、ＲＣＰＶＯＬを作成する。

　システムユーザはボリューム容量を指定して、ホスト計算機１０からストレージ装置３０Ａに対し、ボリュームの作成指示を発行する（Ｓ１２１０）。例えば、ホスト計算機１０は、ボリューム作成スクリプトを実行する。ホスト計算機１０は、バックアップ設定ファイルを読み込み、プールＩＤを取得する（Ｓ１２１２）。ホスト計算機１０は、ストレージ装置３０Ａにボリュームを作成するために、まだ作成されていない論理ボリュームの論理ボリューム番号の情報をストレージ装置３０Ａから取得する（Ｓ１２１４）。ホスト計算機１０は、取得した論理ボリューム番号から１個選択する（Ｓ１２１６）。ホスト計算機１０は、選択された番号の論理ボリュームを作成する指示をストレージ装置３０Ａに発行し、ストレージ装置３０Ａは、論理ボリュームを作成する（Ｓ１２１８）。このとき、ホスト計算機１０は、取得したプールＩＤの情報もストレージ装置３０Ａへ転送する。ボリュームの容量はシステムユーザに指定された容量とし、ボリュームの属性は非同期リモートコピーボリュームのＲＣＰＶＯＬとなることをマークしておく。ストレージ装置３０Ａは、作成した論理ボリュームにＬＵ（Ｌｏｇｉｃａｌ　Ｕｎｉｔ）パスを作成する（Ｓ１２２０）。ストレージ装置３０Ａは、取得した論理ボリュームの番号に対応するデータボリューム管理情報５０１の箇所へプールＩＤ、サイズ等の情報を格納する。ストレージ装置３０Ａは、ＬＵパスを作成したらホスト計算機１０へ返信する。

　ボリュームが作成されると、前述のデータボリューム管理情報５０１において、ボリューム属性５３０、プールＩＤ５２４、サイズ５３６が登録される。リモートコピーボリュームとして設定された時には、ペアボリューム情報５２０が登録される。さらにリモートコピーが構成されると、その情報がリモートコピーペアボリューム管理情報３０１に登録される。

　図２３は、ＲＣＳＶＯＬ作成処理を示す。

　ストレージ装置３０Ｂは、ホスト計算機１０からの指示に応じて、ＲＣＳＶＯＬを作成する。

　システムユーザはホスト計算機１０からストレージ装置３０Ｂへコンシステンシグループ作成指示を発行する（Ｓ１３１０）。具体的には、ホスト計算機１０は、コンシステンシグループ作成スクリプトを実行する。ホスト計算機１０のコンシステンシグループ作成プログラムは、バックアップ設定ファイルを読み込み、プールＩＤを取得する（Ｓ１３１２）。

　ストレージ装置３０Ｂにボリュームを作成するため、ホスト計算機１０は、論理ボリュームがまだ作成されていない論理ボリューム番号の情報をストレージ装置３０Ｂから取得する（Ｓ１３１４）。ホスト計算機１０は、取得した論理ボリューム番号から１個選択する（Ｓ１３１６）。ホスト計算機１０は、ストレージ装置３０ＡへＲＣＰＶＯＬとなるボリューム番号を指定し、ＲＣＰＶＯＬの情報を取得する（Ｓ１３１８）。ホスト計算機１０は、取得した情報からＲＣＰＶＯＬの容量などの情報を抽出する（Ｓ１３２０）。ホスト計算機１０は、抽出した容量を指定してストレージ装置３０ＢへＲＣＳＶＯＬを作成する指示を発行し、ストレージ装置３０Ｂは、ＲＣＳＶＯＬを作成する（Ｓ１３２２）。このとき、ホスト計算機１０は、取得したプールＩＤの情報も転送する。ボリュームの容量はシステムユーザに指定された容量とし、ボリュームの属性は非同期リモートコピーボリュームのＳＶＯＬとなることをマークしておく。ストレージ装置３０Ｂは、作成した論理ボリュームにＬＵパスを作成する（Ｓ１３２４）。ストレージ装置３０Ｂは、ＬＵパスを作成したら、ホスト計算機１０へ返信する。

　２個目以降のＲＣＳＶＯＬの作成は、Ｓ１３１４～Ｓ１３２４の処理を繰り返す。

　ストレージ装置３０Ｂは、ＲＣＰＶＯＬ情報を登録したときと同様に、データボリューム管理情報５０１にＲＣＳＶＯＬ情報を登録する。

　図２４は、ＲＣＰＶＯＬ側ジャーナルＶＯＬ作成処理を示す。

　ジャーナルＶＯＬは、アクセス要求を出す上位のホスト計算機１０から認識される必要がないボリューム（オフラインボリューム）であるため、ジャーナルボリューム管理情報４０１にて管理される。ホスト計算機１０は、ジャーナルボリューム管理情報４０１そのものか、またはジャーナルボリュームが使用中か空きかがわかる情報を取得して（Ｓ１３３０）、その中から空きジャーナルボリュームＩＤを１つ選択する（Ｓ１３３２）。ホスト計算機１０は、ＲＣＰＶＯＬ側ジャーナルＶＯＬの作成の指示を、ストレージ装置３０Ａへ発行し、ストレージ装置３０Ａは、ＲＣＰＶＯＬ側ジャーナルＶＯＬを作成する（Ｓ１３３４）。

　その後、ストレージ装置３０Ａは、ＲＣＰＶＯＬ側ジャーナルＶＯＬに、ＲＣＰＶＯＬのジャーナルを作成する（Ｓ１３４０）。

　ストレージ装置３０Ａは、作成されたジャーナルボリュームについて、ジャーナルボリューム管理情報４０１に、ボリュームＩＤ、プールＩＤを登録する。また、後述のコンシステンシグループ作成処理において、ストレージ装置３０Ａは、コンシステンシグループのコンシステンシグループ管理情報５０２にジャーナルボリュームのボリュームＩＤを登録する。

　ホスト計算機１０及びストレージ装置３０Ｂは、ＲＣＰＶＯＬ側ジャーナルＶＯＬ作成処理と同様、ＲＣＳＶＯＬ側ジャーナルＶＯＬ作成処理を行う。

　ＲＣＳＶＯＬ側ジャーナルＶＯＬ作成処理は、ＲＣＰＶＯＬ側ジャーナルＶＯＬ作成処理のうち、ストレージ装置３０Ａに対する処理をストレージ装置３０Ｂに対して行う処理となる。

　ストレージ装置３０は、各ジャーナルＶＯＬがどのＲＣＰＶＯＬやＲＣＳＶＯＬとセットであるかを管理する。

　次に、コンシステンシグループ作成処理について説明する。

　ホスト計算機１０は、ボリュームＩＤとコンシステンシグループＩＤを指定して、コンシステンシグループを作成する指示を、ストレージ装置３０Ａ、３０Ｂへ発行する。ストレージ装置３０Ａ、３０Ｂの夫々は、コンシステンシグループ管理情報５０２へ、同じコンシステンシグループにグルーピングする非同期リモートコピーペアの情報として、作成したＲＣＰＶＯＬとＲＣＳＶＯＬを登録する。またストレージ装置３０Ａ、３０Ｂの夫々は、対応するジャーナルＶＯＬを、コンシステンシグループ管理情報５０２内のＰジャーナルボリューム情報５７０、Ｓジャーナルボリューム情報５８０に登録する。前述のコンシステンシグループ管理情報５０２の例では、ＲＣＰＶＯＬとＲＣＳＶＯＬは、ペアボリューム情報５６０内のペアボリューム管理情報３０１の中に記載される。

　次に、非同期リモートコピーペア作成処理について説明する。

　ホスト計算機１０は、ＲＣＰＶＯＬのボリューム番号とＲＣＳＶＯＬのボリューム番号を指定する非同期リモートコピーペア作成指示をストレージ装置３０Ａ、３０Ｂに発行する。これによって、ストレージ装置３０Ａ、３０Ｂは、非同期リモートコピーペアを作成する。ストレージ装置３０Ａ、３０Ｂは、指定されたＲＣＰＶＯＬとＲＣＳＶＯＬを、リモートペアボリューム管理情報３０１内のＲＣＰＶＯＬ情報３１０、ＲＣＳＶＯＬ情報３２０に夫々登録する。ストレージ装置３０Ａ、３０Ｂは、リモートペアボリューム管理情報３０１のアドレスをコンシステンシグループ管理情報５０２内のペアボリューム管理情報＃ｎに登録する。

　図２５は、スナップショットボリューム作成処理を示す。

　ホスト計算機１０及びストレージ装置３０Ｂは、前述のボリューム作成処理のＳ１２１からＳ１２２０までと同様に、ボリュームを作成する（Ｓ１３７０からＳ１３７６）。コピー元はＲＣＳＶＯＬとなるため、ストレージ装置３０Ｂは、ＲＣＳＶＯＬのスナップショットを取得するためのスナップショットペアボリューム管理情報３５１を確保する管理情報領域を作成する（Ｓ１３７４）。

　ホスト計算機１０はバックアップボリューム（ＳＳＶＯＬ）からリストアするときに、バックアップボリュームを認識するための、外部ボリュームをストレージ装置３０Ａに作成する。前述のように、外部ボリュームは、外部ストレージ内にある論理ボリュームを自分の内部ボリュームとして仮想化する方法である。

　そのために、ホスト計算機１０は、ストレージ装置３０ＡからＥｘｔｅｒｎａｌポートの情報を取得し（Ｓ１３７８）、その情報から、ＥｘｔｅｒｎａｌポートのＷＷＮを抽出する（Ｓ１３８０）。ホスト計算機１０は、ストレージ装置３０Ａから外部ボリュームグループを示す外部ボリュームグループ情報を取得し（Ｓ１３８２）、その情報から、空き外部ボリューム番号を抽出する（Ｓ１３８４）。ホスト計算機１０は、抽出されたＷＷＮ、空き外部ボリューム番号を指定して、新たな外部ボリュームの情報をストレージ装置３０Ａへ送信し、外部ボリュームを示す外部ボリュームグループ情報を作成する（Ｓ１３８６）。

　更にホスト計算機１０及びストレージ装置３０Ａは、前述のボリューム作成処理のＳ１２１からＳ１２２０までと同様に、ＳＳＶＯＬを参照する外部ボリュームを作成する指示を、ストレージ装置３０Ａに発行し、ストレージ装置３０Ａは外部ボリュームを作成する。

　以下、本実施例の効果について説明する。

　近年のビックデータ時代におけるデータ量の急激な増大に伴い、バックアップの作業時間が増加し、バックアップデータを格納するための記憶容量が増加し、バックアップ／リストアの運用・管理コストが増加している。

　従来のバックアップシステムでは、ボリューム単位の全データをリストアすると、リストアに時間がかかる。本実施例によれば、リストア指示後、ホスト計算機１０がＲＣＰＶＯＬ２６５にアクセスするまでの時間が短くなる。

　従来のバックアップシステムでは、バックアップ対象となるデータ量が増えることで、データを格納するために確保する記憶容量が増え続ける。本実施例によれば、ストレージ装置３０Ｂに格納するデータ量を削減することができ、ストレージ装置３０Ｂの記憶容量を削減することができる。

　従来のバックアップシステムでは、ストレージ装置を制御する専用のバックアップサーバが必要となる等、導入コストがかかる。また、バックアップ作業のために、バックアップサーバとストレージ装置の間の管理プログラムの設定が必要になる等、運用コストがかかる。本実施例は、バックアップサーバを導入する必要がない。

　本発明の表現のための用語について説明する。第一ストレージ装置は、ストレージ装置３０Ａであってもよい。第二ストレージ装置は、ストレージ装置３０Ｂであってもよい。第一データボリュームは、ＲＣＰＶＯＬ２６５であってもよい。第二データボリュームは、ＲＣＳＶＯＬ２６６であってもよい。第一ジャーナルボリュームは、ジャーナルボリューム２６７Ａであってもよい。第二ジャーナルボリュームは、ジャーナルボリューム２６７Ｂであってもよい。スナップショットは、ＳＳＶＯＬ２７１であってもよい。特定条件は、スナップショット作成条件であってもよい。第二データボリューム内の記憶領域は、ページ２５３であってもよいし、ページ２５２であってもよい。スナップショット内の仮想記憶領域は、ページ２５５であってもよい。第一プールは、プール２６８Ｂであってもよい。第一記憶領域は、ページ２５２であってもよい。第二記憶領域は、ページ２５４であってもよい。第二プールは、プール２７２であってもよい。

　以上、本発明の実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲を上記構成に限定する趣旨ではない。本発明は、他の種々の形態でも実施する事が可能である。

　１０、１０Ａ…ホスト計算機、　３０、３０Ａ、３０Ｂ…ストレージ装置、　３１…コントローラ、　３２…キャッシュメモリ、　３３…共有メモリ、　３４…物理記憶デバイス、　１００Ａ…プライマリサイト、　１００Ｂ…セカンダリサイト、　１０８…管理ネットワーク、　１２１…ストレージネットワーク、　１６０…ストレージ装置間ネットワーク、　１７１…ホストアダプタ、　１７２…ネットワークアダプタ、　１７５…リモートコピーアダプタ、　１７６…プロセッサ、　１７７…ストレージアダプタ、　１７８…共有メモリアダプタ

Claims (12)

1. 　ホスト計算機に接続される第一ストレージ装置と、
   　前記第一ストレージ装置に接続される第二ストレージ装置と、
   を備え、
   　前記第一ストレージ装置は、第一データボリューム及び第一ジャーナルボリュームを前記第一ストレージ装置内に作成し、
   　前記第一ストレージ装置は、前記第一データボリュームを前記ホスト計算機へ提供し、
   　前記第二ストレージ装置は、第二データボリューム及び第二ジャーナルボリュームを前記第二ストレージ装置内に作成し、
   　前記第一ストレージ装置は、前記第一データボリュームの更新に応じて、前記更新を示すジャーナルを前記第一ジャーナルボリューム内へ作成し、
   　前記第一ストレージ装置及び前記第二ストレージ装置は、前記第一ジャーナルボリューム内のジャーナルを前記第二ストレージ装置へ転送し、
   　前記第二ストレージ装置は、前記転送されたジャーナルを前記第二ジャーナルボリュームへ書き込み、
   　前記第二ストレージ装置は、前記第二ジャーナルボリューム内のジャーナルを前記更新の順に読み出し、
   　前記第二ストレージ装置は、前記読み出されたジャーナルを前記第二データボリュームへ反映し、
   　前記第一ストレージ装置は、特定条件の成立に応じて、マーカを含むジャーナルを前記第一ジャーナルボリューム内へ作成し、
   　前記第二ストレージ装置は、前記読み出されたジャーナルから前記マーカを検出すると、前記第二データボリュームのスナップショットを作成する、
   ストレージシステム。
2. 　前記第二ストレージ装置は、前記第二データボリューム内の記憶領域を、前記スナップショット内の仮想記憶領域に割り当てることで、前記スナップショットを作成する、
   請求項１に記載のストレージシステム。
3. 　前記第二ストレージ装置は、第一プールを作成し、
   　前記第二ストレージ装置は、前記第一プール内の記憶領域を、前記第二データボリューム内の仮想記憶領域に割り当てる、
   請求項２に記載のストレージシステム。
4. 　前記第二ストレージ装置は、前記第二ジャーナルボリュームから、前記マーカを含むジャーナルの後に作成されたジャーナルである後続ジャーナルを読み出し、前記第二データボリューム内で前記後続ジャーナルの反映先である第一記憶領域に、反映前の第一データが格納されている場合、前記第一データを前記第一記憶領域と異なる第二記憶領域に書き込み、前記スナップショット内で前記第一記憶領域に対応する仮想記憶領域に、前記第二記憶領域を割り当て、前記後続ジャーナルに含まれる第二データを前記第一記憶領域へ書き込む、
   請求項３に記載のストレージシステム。
5. 　前記ジャーナルは、前記更新により前記第一データボリュームへ書き込まれたデータであるジャーナルデータと、前記更新の順序及び前記ジャーナルデータの記憶領域を示すジャーナルメタデータとを含み、
   　前記第二ストレージ装置は、前記転送されたジャーナル内のジャーナルデータと同一のデータが前記第二ジャーナルボリュームに格納されているか否かを判定し、
   　前記同一のデータが前記第二ジャーナルボリュームに格納されていると判定された場合、前記第二ストレージ装置は、前記同一のデータの記憶領域を示すジャーナルメタデータを前記第二ジャーナルボリュームへ書き込み、
   　前記同一のデータが前記第二ジャーナルボリュームに格納されていないと判定された場合、前記第二ストレージ装置は、前記転送されたジャーナル内のジャーナルデータを前記第二ジャーナルボリュームへ書き込み、前記書き込まれたジャーナルデータの記憶領域を示すジャーナルメタデータを前記第二ジャーナルボリュームへ書き込む、
   請求項４に記載のストレージシステム。
6. 　前記特定条件は、前記第一ストレージ装置が前記スナップショットの作成の指示を受けたことと、予め設定された時刻に達したこととの、一つである、
   請求項５に記載のストレージシステム。
7. 　前記第二ストレージ装置は、前記第一プール内の記憶領域を、前記第二ジャーナルボリューム内の仮想記憶領域に割り当てる、
   請求項６に記載のストレージシステム。
8. 　前記第二ストレージ装置は、第二プールを作成し、
   　前記第二ストレージ装置は、前記第一プールから前記第一記憶領域を選択し、
   　前記第二ストレージ装置は、前記第二プールから前記第二記憶領域を選択する、
   請求項７に記載のストレージシステム。
9. 　前記第二ストレージ装置は、リストア指示に応じて、前記スナップショットのうち、前記後続ジャーナルの反映前のデータを、前記第二データボリュームへコピーし、前記コピーされたデータを示すジャーナルを、前記第二ジャーナルボリューム内へ作成し、
   　前記第二ストレージ装置は、前記第二データボリュームのうち、前記第一ストレージ装置から転送されたジャーナルの反映前のデータを示すジャーナルを、前記第二ジャーナルボリューム内へ作成し、
   　前記第一ストレージ装置及び前記第二ストレージ装置は、前記第二ジャーナルボリューム内のジャーナルを前記第一ストレージ装置へ転送し、
   　前記第一ストレージ装置は、前記第二ストレージ装置から転送されたジャーナルを前記第一ジャーナルボリュームへ書き込み、
   　前記第一ストレージ装置は、前記第一ジャーナルボリューム内のジャーナルを前記第一データボリュームへ反映する、
   請求項８に記載のストレージシステム。
10. 　前記第二ストレージ装置は、リストア指示に応じて、第一仮想ボリュームを作成し、
    　前記第二ストレージ装置は、前記スナップショット内の仮想記憶領域を前記仮想ボリューム内の仮想記憶領域に割り当て、
    　前記第一ストレージ装置は、第二仮想ボリュームを作成し、
    　前記第一ストレージ装置は、前記第一仮想ボリューム内の仮想記憶領域を、前記第二仮想ボリューム内の仮想記憶領域に割り当て、
    　前記第一ストレージ装置は、前記第二仮想ボリュームから前記第一データボリュームへのレプリケーションを実行することで、前記第二仮想ボリューム内の仮想記憶領域に割り当てられた前記第一仮想ボリューム内の仮想記憶領域からデータを読み出し、前記読み出されたデータを前記第一データボリュームへコピーし、
    　前記第一ストレージ装置は、前記レプリケーション中に前記ホスト計算機から前記第一データボリュームへのリード要求を受け、前記リード要求の対象データが前記第二仮想ボリュームから前記第一データボリュームへコピーされていない場合、前記対象データを前記第二仮想ボリュームから前記第一データボリュームへコピーする、
    請求項８に記載のストレージシステム。
11. 　前記第二ストレージ装置は、前記第一プールから前記第一記憶領域及び前記第二記憶領域を選択する、
    請求項７に記載のストレージシステム。
12. 　ホスト計算機に接続される第一ストレージ装置と、前記第一ストレージ装置に接続される第二ストレージ装置と、
    を含むストレージシステムの、制御方法であって、
    　第一データボリューム及び第一ジャーナルボリュームを前記第一ストレージ装置内に作成し、
    　前記第一データボリュームを前記ホスト計算機へ提供し、
    　第二データボリューム及び第二ジャーナルボリュームを前記第二ストレージ装置内に作成し、
    　前記第一データボリュームの更新に応じて、前記更新を示すジャーナルを前記第一ジャーナルボリューム内へ作成し、
    　前記第一ジャーナルボリューム内のジャーナルを前記第二ストレージ装置へ転送し、
    　前記転送されたジャーナルを前記第二ジャーナルボリュームへ書き込み、
    　前記第二ジャーナルボリューム内のジャーナルを前記更新の順に読み出し、
    　前記読み出されたジャーナルを前記第二データボリュームへ反映し、
    　スナップショット作成条件の成立に応じて、マーカを含むジャーナルを前記第一ジャーナルボリューム内へ作成し、
    　前記読み出されたジャーナルから前記マーカを検出すると、前記第二データボリュームのスナップショットを作成する、
    ことを備える制御方法。

Images