JPH1115604A - データ多重化方法 - Google Patents

Abstract

(57)【要約】 【課題】 データ多重化システムにおける多重化回復の
ための回復コピーの障害耐性を向上させ、コピーデータ
の整合性を維持する。 【解決手段】 マスタシステム１００とリモートシステ
ム１１０との間におけるデータ多重化を維持するための
回復コピーにおいて、マスタシステム１００から差分デ
ータを受け取るリモートシステム１１０の側では、上書
きする前に、当該差分データに対応したディスク駆動装
置１１３上の旧データを、キャッシュメモリ１１４やパ
リティトラック２２０あるいはスペアディスク２３０に
退避させた後、当該差分データをディスク駆動装置１１
３の目的の記憶領域に格納する。マスタシステム１００
側の障害等で回復コピーが失敗した場合には、退避して
あった旧データをディスク駆動装置１１３に戻して、コ
ピーデータの整合性を維持する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ多重化技術
に関し、特に、例えば遠隔地に設置された複数のシステ
ム間にてデータを複写することでデータ多重化を実現す
る場合におけるデータの整合性の維持管理等に適用して
有効な技術に関する。

【０００２】

【従来の技術】情報処理システムは、社会活動の広汎な
領域に利用されており、その故障は重大な社会的混乱を
招く要因となり得る。このため、例えば、取り扱うデー
タの喪失が許されない金融等の分野を初めとして、以前
より、取扱うデータを失うことのないよう、運用システ
ム配下において、常時バックアップデータを採取保存す
ることは基本的に行われてきた。

【０００３】ところが、最近の天災や事故の教訓から、
通常運用しているマスタシステムが復旧不可能な場合に
陥り、大量のバックアップデータやログからのデータ修
復に要する手間や時間、更には情報を失うことなどの問
題点を考慮し、遠隔地に設置されているリモートシステ
ムにバックアップコピーデータを貯えるための方法が、
例えば特表平８−５０９５６５号公報に開示された「遠
隔データのミラー化」等の技術として新たに提唱され
た。

【０００４】その方法は、マスタシステムのデータをそ
のままリモートシステムに反映することにより「ミラー
状態」を維持するものであり、マスタシステムでの運用
が不可能となった場合に、リモートシステムに運用を移
行し、システム運用再開を一段と容易にしようとするも
のである。

【０００５】また、リモートシステムへのバックアップ
コピー方法としては、マスタシステムとリモートシステ
ム間のデータの更新契機から、大きく「同期型」と「非
同期型」の２種類に分けることができる。

【０００６】前者は、マスタシステムのホストより発生
した各更新Ｉ／Ｏ命令に対し、まずマスタサイドの記憶
装置に書き込みを行い、続いてリモートシステムの記憶
装置に向けて書き込みを実施し、リモートシステムより
書き込み終了通知を受領したところで、マスタサイドの
記憶装置はマスタシステムのホストに対して、最終的な
書き込み終了報告を行い、常にマスタサイドとリモート
サイドの更新は同期を保つ技術である。

【０００７】それに対し、後者は、マスタシステムのホ
ストより発生した各更新Ｉ／Ｏに対し、マスタサイドの
記憶装置に書き込みを終了した時点で、マスタシステム
のホストに書き込み終了報告を行い、この更新Ｉ／Ｏに
対するリモートシステムへの更新は遅れて、即ち、非同
期に実施される技術である。

【０００８】通常の「ミラー状態」を維持している条件
にあって、仮にマスタシステムが重大災害等で運用不可
能に陥った場合、「同期型」においては、データ更新の
同期性から「ミラー状態」は維持される。この場合、最
終更新に関するデータ分は、タイミングによりリモート
システムに反映されないかもしれないが、整合性に関し
ては問題ない。一方、「非同期型」においては、リモー
トシステムには非同期に更新データが反映されるため、
場合によっては「ミラー状態」どころか整合性の保証も
できなくなる。

【０００９】この整合性の維持の方法としては、例え
ば、特開平６−２９０１２５号公報に開示されているよ
うに、更新データを待ち行列化して、更新があった順に
リモートシステム側のバックアップ記憶媒体上に反映を
行う技術が挙げられる。

【００１０】

【発明が解決しようとする課題】上述のような従来の技
術でのリモートシステムへのバックアップコピー方法
は、常にリモートシステムが正常に動作しており、常時
バックアップコピーが可能な条件が成立する前提での
み、リモートバックアップコピーとしての意味をもつも
のである。

【００１１】具体的に例を挙げて説明すると、リモート
システムへのバックアップ運用を実施している最中に、
マスタシステムとリモートシステムを結ぶデータ転送路
において自動的あるいは、センタ運用者や保守員等によ
る人手介入によって修復可能なレベルの一時的障害（簡
単な例を挙げれば、データ転送路としてのケーブルがは
ずれたケースなど）が発生した場合、その一時的障害が
取り除かれるまでの期間は、リモートシステムへのデー
タの反映が不可能となる（この状態を「サスペンド状
態」と呼ぶ）。

【００１２】もちろん、この「サスペンド状態」は短期
的な場合もあれば、数時間以上を費やす長期的な場合も
あり得る。

【００１３】一方、マスタシステムにおいては「サスペ
ンド状態」中もデータの更新は、絶え間なく次々と行わ
れる（この「サスペンド状態」中に発生する各更新デー
タを「差分データ」と呼び、総称して「差分データ群」
と呼ぶ）。

【００１４】その後、「サスペンド状態」が解除され、
バックアップコピーが再開可能なノーマルな状態に戻る
と、マスタシステムはリモートシステムに向けて、「差
分データ」の反映を行いつつ、その間においても逐次入
る更新データに対する反映も考慮にいれ、データの「ミ
ラー状態」への回復の為の試行（本試行を「回復コピ
ー」と呼ぶ）を実施する。

【００１５】ところが、この「回復コピー」は、バック
アップコピーとしての意味を失う程の重大な問題を抱え
ている。

【００１６】一般に、マスタシステム側では次々と入っ
てくる「差分データ」をマスタシステム側の記憶媒体上
に書き込み、記憶媒体領域全体をビットマップ形式で表
現し、更新のあった領域に対応するビットを立てること
により、「差分データ」の格納領域を表現した「差分ビ
ットマップ」にて管理している。ところが、複数の「差
分データ」：データ１，２，３，．．．が存在した場
合、「差分ビットマップ」では、更新の行われた順番ま
ではわからない。そのため、「回復コピー」が始まる
と、「差分ビットマップ」を最初から検索し、差分のあ
る領域をみつけて、そのデータをリモートシステムに反
映している。そのため、「回復コピー」の最中にマスタ
システムが重大障害（自然災害、人為災害）等によっ
て、データの読み出しが出来ないなどの運用不可状態に
陥った場合、リモートシステムでは、運用上情報の整合
性を保証する必要のある単位（それは、１つのデータセ
ット単位であったり、複数のお互いに関連のあるデータ
セットで構成される単位であったりする。その他、物理
的あるいは論理的に定義されている各デバイスも１つの
単位として考えられる。）での整合性の保証をすること
ができないため、この単位でのバックアップコピーは運
用出来ず、マスタシステムの破壊状態によっては最悪の
場合、データ喪失の状態に陥る。

【００１７】本発明の目的は、複数のシステム間でのデ
ータ多重化を維持するための差分データの回復複写にお
ける障害耐性を向上させることにある。

【００１８】本発明の他の目的は、マスタシステムおよ
びリモートシステムが、ある整合性の維持を要求する情
報単位において、特に「サスペンド状態」に陥る瞬間ま
で「ミラー状態」を維持していた場合の、「回復コピ
ー」におけるリモートシステム側での多重化データの整
合性を保証する技術を提供することにある。

【００１９】本発明の他の目的は、データ多重化を行う
マスタシステムおよびリモートシステムにおいて、マス
タシステム側の障害等に際してリモートシステムに運用
を切り替える上で運用可能な整合性の保証されたデータ
を提供することにある。

【００２０】

【課題を解決するための手段】本発明は、第１のシステ
ムに設けられた第１の記憶装置に格納されたデータを、
少なくとも一つの第２のシステムに設けられた第２の記
憶装置に複写することでデータの多重化を行うデータ多
重化方法において、任意の要因にて第１のシステム側に
蓄積された未複写のデータを第２のシステム側に転送す
る回復複写処理（「回復コピー」）の実行に際して、第
２のシステム側では、第１のシステムから到来するデー
タに対応した旧データを任意の方法にて保存しておき、
回復複写処理が失敗した時には、保存されている旧デー
タを用いて第１のシステムと第２のシステムとの間にお
けるデータの整合性を維持するものである。

【００２１】すなわち、より具体的には、一例として、
「同期方式」のデータ多重化にてマスタシステム（第１
のシステム）とリモートシステム（第２のシステム）と
の間におけるデータの「ミラー状態」を維持する場合
に、リモートシステム側において、マスタシステム側と
「ミラー状態」を維持していた最近、即ち「サスペンド
状態」に陥った直前のデータを、「回復コピー」実行の
間、別の記憶領域に一時的に退避して保存するものであ
る。

【００２２】なお、旧データの保存方法としては、「回
復コピー」実行の間にリモートシステムに到来するバッ
クアップ対象データを、「回復コピー」が完了するまで
の間は対応する旧データの上書きせずに、別の記憶領域
に一時的にストアし、リモートシステム側の第２の記憶
装置上には「サスペンド状態」に陥った直前の整合性を
維持した状態の旧データを残しておく方法でもよい。

【００２３】また、「回復コピー」中の障害の発生に備
えて、マスタシステム側では、リモートシステムが「サ
スペンド状態」に陥ってから「回復コピー」実行に至る
までの各「差分データ」を、例えば時系列キューを構築
して管理することにより発生順序に従って保持する。そ
して、最も過去にキューに組み入れた差分データから、
「回復コピー」を始めることによって、リモートシステ
ム側は、特に差分データの整合性を意識することなし
に、「回復コピー」に障害が発生した場合には、当該障
害直前の旧データを採用することで、バックアップデー
タの整合性を保つことができる。

【００２４】また、「回復コピー」中におけるマスタシ
ステムおよびマスタシステムとリモートシステムとの間
におけるデータ転送経路等の障害の有無をリモートシス
テム側から的確に判別すべく、「回復コピー」の完了ま
での許容最大時間を設定する機能を設け、予め、設定さ
れた許容最大時間を超過してもマスタシステム側から
「回復コピー」の完了報告がない場合には、リモートシ
ステム側では、マスタシステムが重大障害に陥り、運用
不可の状態になっていると判断して、保存されていた旧
データのレベルで整合性をとる等の整合性復旧のための
処理を自動的に開始する構成とすることもできる。

【００２５】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら詳細に説明する。

【００２６】図１は、本発明の一実施の形態であるデー
タ多重化方法が実施される情報処理システムの構成の一
例を示す概念図である。

【００２７】本実施の形態の情報処理システムは、マス
タシステム１００（Ｍ−ＳＹＳ）と、このマスタシステ
ム１００が取扱うデータのバックアップシステムとして
機能するリモートシステム１１０（Ｒ−ＳＹＳ）からな
る。

【００２８】マスタシステム１００は、ホストＣＰＵ１
０１、ディスク制御装置１０２およびディスク駆動装置
１０３の組み合わせからなる情報記憶システム一系列を
構成しており、同様にリモートシステム１１０において
も、ホストＣＰＵ１１１、ディスク制御装置１１２およ
びディスク駆動装置１１３の組み合わせからなる情報記
憶システム一系列を構成している。

【００２９】ディスク制御装置１０２とディスク制御装
置１１２の間は、各々に設けられたコネクタ１０６，コ
ネクタ１１６を介して、例えば専用回線や公衆回線等の
情報通信網等からなるデータ転送路１２０にて接続され
ている。

【００３０】ディスク駆動装置１０３、ディスク駆動装
置１１３としては、一例として、例えば磁気ディスク、
光ディスク、光磁気ディスク、デジタルビデオディスク
（ＤＶＤ）等、任意の記憶媒体を用いた記憶装置を用い
ることができる。

【００３１】ホストＣＰＵ１０１は、ディスク駆動装置
１０３のディスク媒体へのデータ書込み命令の発行をは
じめ、ディスク制御装置１０２を制御する為の指示を発
行し、ディスク制御装置１０２は、ホストＣＰＵ１０１
からの指示を解析し、その結果に基づいて制御を行な
う。例えば、ホストＣＰＵ１０１よりデータの書込み指
示があり、そのデータが送られてくると、ディスク制御
装置１０２はその指示に従い、目的のディスク駆動装置
１０３にデータを書込む。更に、ディスク制御装置１０
２は、リモートシステム１１０の側に向けて、データの
バックアップに関するリモートシステム１１０への制御
指示、およびバックアップデータを転送する機能を有す
る。また、リモートシステム１１０側のディスク制御装
置１１２は、マスタシステム１００からの指示やバック
アップデータの受付けを実施し、書込みデータをディス
ク駆動装置１１３のディスク媒体上に反映する機能を有
する。

【００３２】また、マスタシステム１００のディスク制
御装置１０２およびディスク駆動装置１０３、そして、
リモートシステム１１０のディスク制御装置１１２およ
びディスク駆動装置１１３は、各々、キャッシュメモリ
１０４，キャッシュメモリ１１４、更には、ディスク制
御装置１０２、ディスク制御装置１１２に対する様々な
情報や機能（例えばバックアップコピーの為の各種条件
やシステム内の構成情報等の設定や指示機能）を提供す
るサービスプロセッサ１０５（ＳＶＰ），サービスプロ
セッサ１１５（ＳＶＰ）を持つ。

【００３３】また、本実施の形態の場合、一例として、
ディスク駆動装置１０３およびディスク駆動装置１１３
は、ＲＡＩＤ５のアーキテクチャを有する。

【００３４】尚、本実施の形態においては、一例として
上述の通り構成されるが、本発明においては、記憶装置
としては、ディスク駆動装置やＲＡＩＤ５を採用するこ
とに限らず、一般の記憶装置（ＲＡＩＤアーキテクチャ
を有さないディスク装置、半導体記憶装置、磁気テープ
装置など）や他のＲＡＩＤレベル（ＲＡＩＤ０，ＲＡＩ
Ｄ１，．．．）構成に対しても適用可能である。また、
ホストＣＰＵ１０１，１１１、およびディスク制御装置
１０２，１１２、更にＳＶＰ１０５，１１５における上
述の機能については、各々マスタシステム１００およ
び、リモートシステム１１０内に設けられているならば
代用可能である。例えば、ディスク制御装置１０２、１
１２が自らデータの書き込み指示を発行して、ディスク
媒体上への反映を行なったリ、バックアップコピーに関
する条件設定をＳＶＰを介してではなく、ホストＣＰＵ
１０１やディスク制御装置１０２自身で設定するケース
などが考えられる。

【００３５】図２は、本実施の形態のディスク駆動装置
１０３およびディスク駆動装置１１３の各々におけるＲ
ＡＩＤ５のアーキテクチャの一例を示す概念図である。

【００３６】ＲＡＩＤ５のアーキテクチャを有するディ
スク制御装置／駆動装置とは、多数の小型ディスク２０
０，２０１，．．．を記憶媒体として用い、大型ディス
ク装置をエミュレイトしたしたディスク装置であり、何
本かの論理トラック２１０，２１１，．．．に対して、
データ修復コードであるパリティコードを格納する１本
の論理トラック（パリティトラック２２０）を用意して
おり、ある１台の小型ディスクが故障してもパリティト
ラック２２０のパリティデータを元に故障ディスク内の
全データの修復を自発的に行い、故障したディスクの代
替用の小型ディスク（スペアディスク２３０）にその回
復データを反映することにより、オンラインでのシステ
ム運用継続を可能にするなどの特徴を持っている。

【００３７】以上に述べた構成の本実施の形態の情報処
理システムにおいて、例えば、整合性を維持する単位と
して、論理デバイスを選んだ場合のバックアップコピー
の手順の一例を説明する。図３は、その手順の一例を図
式化して例示した概念図であり、図４はそのフローチャ
ートである。

【００３８】マスタシステム１００において、ホストＣ
ＰＵ１０１、或いはＳＶＰ１０５などより、論理デバイ
ス単位でマスタシステム１００とリモートシステム１１
０の間でペア（マスタシステム１００側の１論理デバイ
ス（Ｍ−ＤＥＶ）とリモートシステム１１０側の１論理
デバイス（Ｒ−ＤＥＶ）の組であり、Ｒ−ＤＥＶは、Ｍ
−ＤＥＶに対するデータのコピー先にあたり、Ｍ−ＤＥ
Ｖのデータは、指定されたＲ−ＤＥＶ内に格納され
る。）３１０，３１１，．．．，３１２を形成するよう
指示が発生すると（ステップ３５０）、マスタシステム
１００は（ディスク制御装置１０２等の記憶制御装置な
どを介して）、リモートシステム１１０に向けて、その
旨を指示する命令を発行する（ステップ３５１）。その
正常終了報告をリモートシステム１１０側より受けると
（ステップ３５２）、マスタシステム１００はバックア
ップコピーを開始し、Ｍ−ＤＥＶ＃＝Ｍｉに入った更新
データは、そのペアにあたるＲ−ＤＥＶ＃＝Ｒｉに反映
を行い、「ミラー状態」を維持する（ステップ３５
３）。なお、この「ミラー状態」とは、あくまでも、真
のミラー状態である必要はなく、データの多重化が維持
されていればよく、物理的に全く同一のトラックに反映
しなくてもかまわない。

【００３９】ところが、ケーブル等のデータ転送路１２
０が切断されたり、マスタシステム１００側のディスク
駆動装置１０３の媒体障害などでペア間のデータコピー
が一時的に不可能となった、即ち、ペアが「サスペンド
状態」に陥った場合、ケーブルの交換、ディスク駆動装
置１０３のオンライン交換（データはパリティデータよ
り再生成可能）などにより、障害要因が取り除かれ、ペ
ア間のデータコピーが再開可能になるまでの間、ホスト
ＣＰＵ１０１より発行される更新Ｉ／Ｏに対し、ディス
ク制御装置１０２は更新のあった論理デバイス番号（Ｌ
−ＤＥＶ＃）および論理トラック番号（Ｌ−ＴＲＫ＃）
を後述のような差分ビットマップ１０７を利用して記憶
する。

【００４０】図７は、この差分ビットマップ１０７の構
成の一例を示す概念図である。ここでは、論理デバイス
番号を行（論理デバイス＃＝０を１行目、．．．論理デ
バイス＃＝ｉをｉ＋１行目）、論理トラック番号を列
（論理トラック＝０を１列目、．．．論理トラック＃＝
ｊをｊ＋１列目）に配列したものとなっている。例え
ば、マスタシステム１００側にて、論理デバイス＃＝ｉ
の論理トラック＃＝０に差分（トラック）データが発生
すると、（ｉ＋１）行、１列目のビット１０７ａを立て
ることにより差分が当該トラックに存在することを表わ
している。

【００４１】やがて、ペア間のデータコピーが再開可能
となった後、ホストＣＰＵ１０１からの指示、或はＳＶ
Ｐ１０５からの指示によって、「回復コピー」を始め
る。

【００４２】最初に、この「回復コピー」において、リ
モートシステム１１０側では、マスタシステム１００側
から転送されて来るデータに対応したディスク駆動装置
１１３内の旧データを、上書きされる前に、他の領域に
退避させて保存する場合について説明する。図５および
図６は、この場合の「回復コピー」の処理の流れの一例
を示したフローチャートであり、図５はマスタシステム
側の動作を、図６はリモートシステム側の動作を、それ
ぞれ示している。

【００４３】本実施の形態においては、旧データの退避
エリアとして、リモートシステム１１０配下のディスク
制御装置１１２に搭載されているキャッシュメモリ１１
４および、ディスク駆動装置１１３内のパリティトラッ
ク２２０（パリティエリア）或は、スペアディスク２３
０の記憶領域を利用している。特にパリティトラック２
２０を退避エリアとして使用することはリモートシステ
ム１１０側のディスク駆動装置１１３が、「回復コピ
ー」を実施したことを契機にＲＡＩＤ５の機能レベルを
失うことを意味するが、それよりも、「回復コピー」中
にマスタシステム１００が運用不可に陥り、更にリモー
トシステム１１０側のディスクデータも保証出来ないと
いう技術的課題を解決する方がはるかに大切である。も
ちろん、パリティトラック２２０やスペアディスク２３
０の使用可否等の条件をユーザ側にて選択できる機能は
用意する。但し、一般的には、「回復コピー」が終了し
て、各ペアが「ミラー状態」を回復した瞬間に至れば、
マスタシステム１００のパリティデータを考慮に入れれ
ば、リモートシステム１１０側のディスク駆動装置１１
３のＲＡＩＤ５レベルは確保できる。

【００４４】さて、マスタシステム１００配下のディス
ク制御装置１０２は回復コピー指示のイベントを受ける
と（ステップ４０１）、まず、ＳＶＰ１０５から回復コ
ピー完了許容最大時間Ｔを入手し（ステップ４０２）、
さらに、リモートシステム１１０側の記憶制御装置（デ
ィスク制御装置１１２）のキャッシュメモリ容量、パリ
ティトラック本数およびスペアディスク数などの構成情
報をリモートシステム１１０より入手する（ステップ４
０３）。

【００４５】さらに、ユーザが設定した条件（ＲＡＩＤ
５レベルの維持、スペアディスク２３０の使用可否、キ
ャッシュメモリ１１４の最大占有許容量（しきい値）な
どがあり、リモートシステム１１０側よりこれらの条件
を設定する場合、マスタシステム１００は「回復コピ
ー」を開始する前に、予め入手しておく。また、マスタ
システム１００側よりこれらの情報を設定する場合は、
リモートシステム１１０側に、これらの情報を与えてお
き、これらの条件を双方のシステムが同一認識している
中で「回復コピー」を実施する）を元に、旧データの退
避エリアの容量を算出し、同時に「回復コピー」を実施
することが可能なペア数の最大値ｎを決定する（ステッ
プ４０４）。

【００４６】この最大値ｎの決定の理由は、「回復コピ
ー」処理の効率の面から、確保できる旧データの退避エ
リアの容量に対応した推奨値を提供する目的で求めるも
のであり、単に１論理デバイス単位毎に「回復コピー」
を実施しても構わない。

【００４７】例えば、リモートシステム１１０側のディ
スク駆動装置１１３の構成例として、６４論理デバイス
を２４台の物理ディスク（小型ディスク）でエミュレイ
トし、小型ディスク４台分のパリティトラック（４パリ
ティグループ）および２台のスペアディスク２３０から
なり、キャッシュメモリ１１４は考慮にいれない場合、
ｎとして設定できる最大値は（６４／２４）×（４＋
２）の整数部分をとったもの、即ち、ｎ＝１６であり、
「回復コピー」を実施する上で、旧データの退避エリア
がネックとなることはないといえる。また、キャッシュ
メモリ１１４を充分に搭載したシステム環境を整えるこ
とが可能ならば、キャッシュメモリ１１４のみを退避エ
リアとして使用することも可能である。

【００４８】次に、マスタシステム１００側で「回復コ
ピー」の為の準備が整った段階で、リモートシステム１
１０側に「回復コピー」開始を指示し（ステップ４０
５）、「回復コピー」にあたって使用する情報（回復コ
ピー完了許容最大時間：Ｔなど）を送り、指示に対する
応答を待つ（ステップ４０６）。

【００４９】一方、リモートシステム１１０側では、
「回復コピー」の指示を受けると（ステップ５０１）、
「回復コピー」開始を認識し、監視タイマ（回復コピー
完了許容最大時間Ｔに対する監視）をスタートさせるな
どの準備を行い（ステップ５０２）、“回復コピー中”
のフラグをＯＮにし（ステップ５０３）、マスタシステ
ム１００に準備が整ったことを表わす応答を返し（ステ
ップ５０４）、差分データの到着を待つ（ステップ５０
５）。

【００５０】さて、リモートシステム１１０より「回復
コピー」開始指示に対する応答を受けたマスタシステム
１００側は、差分ビットマップ１０７（図７）を参照す
ることにより、差分データがあるトラック（差分トラッ
ク）を検索し（ステップ４０７）、見つかると、そのト
ラックデータをリモートシステム１１０側に送るべく、
書き込み命令を作成・発行し（ステップ４０８）、リモ
ートシステム１１０からの書き込み終了報告を待つ（ス
テップ４０９）。

【００５１】その書き込み命令受信を検知すると、リモ
ートシステム１１０側は、バックアップドライブ（ディ
スク駆動装置１１３）への格納アドレスを求め（ステッ
プ５０６）、キャッシュメモリ１１４上に差分データを
格納し（ステップ５０７）、書き込み終了報告を行う
（ステップ５０８）。

【００５２】その後、この差分データをディスク駆動装
置１１３の目的のトラックに上書きする前に、当該トラ
ック上の旧データを退避するために、空きエリア（トラ
ック）を探したのち（ステップ５０９）、一旦トラック
上の旧データをキャッシュ上に退避し、旧データが元格
納されていたデバイス番号やトラック番号および退避先
などの情報を作成して、記憶しておく（ステップ５１
０）。

【００５３】尚、退避データが使用可能キャッシュ許容
量を越えない限りは（ステップ５１１）、キャッシュメ
モリ１１４のみを使用して退避を続け、そのしきい値を
越えた場合に限って、ディスク駆動装置１１３上の退避
エリアに反映する（ステップ５１２）。

【００５４】以上が、１本分の差分トラックに対する
「回復コピー」の処理になるが、このあとも引き続き、
マスタシステム１００側は、差分トラックを検索して
（ステップ４１０）、リモートシステム１１０側に書き
込み命令を送り、あるペアの全差分データを反映し終わ
ると、そのペアｉに対する回復到達報告をリモートシス
テム１１０側に行い（ステップ４１１）、「回復コピ
ー」待ちになっていたペアを追加して（ステップ４１
２）、「回復コピー」指示のあった全てのペアに対する
差分データをリモートシステム１１０側に送り続ける。
そして、全ての差分データがリモートシステム１１０側
に反映されたところで「回復コピー」完了報告をリモー
トシステム１１０に送り（ステップ４１３）、マスタシ
ステム１００側の「回復コピー」に対する処理は完了す
る。

【００５５】さて、リモートシステム１１０側は、「回
復コピー」中は、マスタシステム１００側からの書き込
み命令受信、マスタシステム１００側からの「回復コピ
ー」完了報告および、「回復コピー」実行時間タイムオ
ーバのいずれかを検知すると、それに対応した処理へ移
行するようになっており（ステップ５０５、ステップ５
１４、ステップ５１５で形成されるループ）、「回復コ
ピー」完了報告を受けると、リモートシステム１１０側
は、「回復コピー」完了を認識して“回復コピー中”の
フラグをＯＦＦし（ステップ５２０）、「回復コピー」
処理を完了させる。

【００５６】一方、マスタシステム１００側からの「回
復コピー」完了報告がいつまでたってもなく、「回復コ
ピー」実行タイムオーバに達した場合においては、回復
到達報告（図５のステップ４１１）があったペア以外
の、整合性を保証できないリモートシステム１１０側の
論理デバイスに対する退避データの有無をチェックし
（ステップ５１６）、退避データがキャッシュメモリ１
１４上に残っているか否かを判別し（ステップ５１
７）、残っていればキャッシュメモリ１１４より（ステ
ップ５１８）、そうでない退避データは、パリティトラ
ック２２０やスペアディスク２３０からキャッシュメモ
リ１１４上に読み込みを行なって、バックアップを行な
っている目的のトラックに旧データを反映し（ステップ
５１９）、整合性復旧の為の処理を実施する。

【００５７】次に、旧データの退避方法、および手順の
一例について詳細に説明を行なう。図８は、その手順の
一例を図式化して例示した概念図であり、図９は、その
フローチャートである。

【００５８】まず、リモートシステム１１０は、マスタ
システム１００から差分データが転送され、そのデータ
をディスク制御装置１１２のキャッシュメモリ１１４内
に格納すると、差分データ格納終了報告をマスタシステ
ム１００に対し行なう（ステップ７５１、ステップ７５
２）。その後、差分データによって上書きされる旧デー
タを退避する為に、システム管理用メモリ１１７上の退
避エリア管理ビットマップ１１８をアクセスし、空きト
ラックを検索、退避先を決定する（ステップ７５３）。

【００５９】なお、システム管理用メモリ１１７の割り
当て領域には特に制限はなく、リモートシステム１１０
内の任意のメモリ（例えばキャッシュメモリ１１４な
ど）上に任意に定義することができる。

【００６０】図１０は、退避エリア管理ビットマップ１
１８の具体例を例示した概念図である。パリティトラッ
ク群、あるいは、スペアディスク１台分を行に、および
トラック番号を列に配列し、各退避先トラック１本１本
の使用状況をビットマップ８０２で表現したものであ
る。場合によっては、パリティトラック２２０、スペア
ディスク２３０の使用可否フラグ８０１（ビットマップ
の１列目に配置）を持つこともある。図１０の例では、
スペアディスク＃０に対する使用可否フラグ８０３が立
っている為、スペアディスク＃０のトラックが退避先と
して許可されており、更に、その論理トラック番号０、
ｎに対するスペアディスク＃０上のエリアは“空き”で
あることを表わす。

【００６１】退避エリアを確保すると、差分データによ
って上書きされる旧データを退避データとしてキャッシ
ュメモリ１１４上に読み込み（ステップ７５４）、併せ
て、整合性回復実施時に必要な退避データに関する諸情
報を作成し、１つのノードとして、システム管理用メモ
リ１１７の一部に設けられた退避データ情報キュー１１
９にエントリする（ステップ７５５）。

【００６２】図１１は、この退避データ情報キュー１１
９の構造と各ノードに関する諸情報の一例を表わす概念
図である。この例では、差分データの反映先である論理
デバイスの番号毎に、１つのキュー９０１、９０
２、．．．，９０３を設け、１論理トラック分を単位と
して１つのノードを割り当てている。尚、本実施の形態
では一例として退避データ情報キュー１１９のようなキ
ュー構造を採用しているが、本発明においては、単純な
テーブル構造等、任意のデータ構造を採用することも可
能である。

【００６３】各ノードには、整合性回復を行なう際に必
要な情報、具体的には差分データの反映先にあたる物理
デバイス番号９５０やその格納アドレス（物理トラック
番号（セクタ番号）９５１）、旧データの退避先にあた
る（スペア）ディスク番号９５２、および物理トラック
番号（セクタ番号）９５３等の格納アドレス、および旧
データのキャッシュメモリ上格納アドレス９５４などを
含んでいる。

【００６４】そして、最後に、差分データを記憶媒体
（ディスク駆動装置１１３）上に、退避旧データをパリ
ティトラック２２０やスペアディスク２３０上の退避エ
リアに反映し、１差分データに対する、旧データの退避
は完了する（ステップ７５６、ステップ７５７）。な
お、このステップ７５６、ステップ７５７の操作は、非
同期に実施されても構わない。

【００６５】次に、リモートシステム１１０側における
「回復コピー」実行時の旧データの保存方法の他の例を
説明する。この例では、「回復コピー」実行時に旧デー
タの退避は行わず、マスタシステム１００から到来する
差分データを本来のディスク駆動装置１１３の書込領域
以外の領域に一時的に保持することで、旧データの保存
を行う。この例について、図６を参照して、前述の実施
の形態との違いを挙げながら説明を行う。

【００６６】違いは３つあり、１つ目は、退避エリアを
確保すべく、退避エリア管理ビットマップ１１８を使っ
て、空きエリア（トラック）を探した後（ステップ５０
９に対応）、その次のステップ５１０は行わずに、退避
データ情報キュー１１９に差分データに対する情報を作
成しエントリを行う（ステップ５１１に対応）。本実施
の形態においても、キャッシュメモリ占有許容量（しき
い値）を越えない限りは、基本的に退避データ（差分デ
ータ）をキャッシュメモリ１１４上に置いておく。

【００６７】２つ目は、「回復コピー」完了報告後の処
理であり、全差分データを目的のディスク駆動装置１１
３に反映する必要がある。キャッシュメモリ１１４上に
なくパリティトラック２２０やスペアディスク２３０上
に退避してある差分データは、キャッシュメモリ１１４
の空き容量に応じてキャッシュメモリ１１４上に読み込
みを行い、順次、目的のバックアップを行うべきディス
ク駆動装置１１３に差分データの反映を行う。

【００６８】また、３つ目は、「回復コピー」実行タイ
ムオーバになったケース、即ち、整合性維持のための処
理の部分であり、回復到達報告を受けたペアに対して
は、差分データの反映を実施するが、回復到達報告を受
けていないペアに対しては差分データは目的のバックア
ップを行うべきディスク駆動装置１１３への反映を行わ
ずに破棄する。

【００６９】次に、マスタシステム１００の側において
「サスペンド状態」の時に自システム内で発生した更新
データ（差分データ）を時系列に蓄積する場合に用いら
れる時系列キューの構築方法の一例について説明する。

【００７０】図１２は、その時系列キュー１０８の構造
を表わしており、１００１、１００２、．．．は時系列
キュー１０８の各ノードにあたる。この時系列キュー１
０８は、マスタシステム１００内にあるメモリ（例えば
ディスク制御装置１０２のキャッシュメモリ１０４や図
示しないシステム管理用メモリなど）に定義・構築し、
少なくとも整合性の維持を図る単位（例えば論理デバイ
スなど）毎に設ける。各ノードは、差分データの発生順
にキュー先頭から並んでおり、例えば、論理トラック単
位毎に１個のノードを割り当てる。

【００７１】時系列キュー１０８を構成する個々のノー
ド１００１、ノード１００２、．．．は、直前に入った
差分データに対する、今まで最後尾に接続されていたノ
ードの先頭をさす前エントリノードポインタ１１０１
と、次に発生した差分データに対するノードの先頭をさ
す次エントリノードポインタ１１０６とを有する双方向
キューの形式をとっている。なお、前エントリノードポ
インタ１１０１を省略した一方向キューの形式を採って
もよいことは言うまでもない。

【００７２】更に、個々のノード１００１、ノード１０
０２、．．．は、本ノード制御用情報１１０２と、当該
ノードに割り当てられた差分データの論理トラック番号
１１０３と、差分データの格納先を表わす物理媒体上格
納アドレス１１０４と、キャッシュメモリ上アドレス１
１０５とを含んでいる。

【００７３】本ノード制御用情報１１０２には、例えば
当該ノードに対する差分データが、論理トラック全体を
フォーマットするための更新（フォーマットライト）デ
ータなのか、部分的な更新（パーシャルライト）データ
なのかを表わす更新タイプ情報１１０２ａや、当該ノー
ドに対する差分データはリモートシステム１１０側に転
送すべきかどうかを表わす本ノード有効フラグ１１０２
ｂなどを含んでいる。

【００７４】次に、上述のような構成の時系列キュー１
０８へのエントリ手順の一例を、図１３フローチャート
を参照して説明する。ここでは、ある論理デバイスの特
定の論理トラックへの差分データに対するノードのキュ
ーへのエントリに対する例を挙げており、その更新デー
タがマスタシステム１００側で発生すると（ステップ１
２０１）、そのデータの格納アドレス（キャッシュメモ
リ上アドレス、物理記憶媒体上（物理デバイス）アドレ
ス）を求め（ステップ１２０２）、更新データをキャッ
シュメモリ１０４などに格納する（ステップ１２０
３）。その後、本更新データに対する情報を組み合わせ
てノード情報を作成して（ステップ１２０４）、目的の
時系列キュー１０８に接続する（ステップ１２０５）。
更に、本論理トラックに対するフォーマット形式の差分
データが既にあったか否かを調べ（ステップ１２０
６）、あった場合には、以前に発生したフォーマットデ
ータにあたる差分データはリモートシステム１１０側に
転送する必要はないため、以前にエントリしたフォーマ
ット形式の差分データに対するノードを検索し、そのノ
ードに対する本ノード有効フラグ１１０２ｂをＯＦＦに
するか、あるいは時系列キュー１０８からはずすなどの
手順を実施し（ステップ１２０７）、差分ビットマップ
への反映は行わない。また、前記ステップ１２０６で、
なかったと判定された場合には、差分ビットマップ１０
７への反映を行う（ステップ１２０８）。

【００７５】このような時系列キュー１０８を使用して
（必要に応じて差分ビットマップを併用して）、回復コ
ピー開始に伴い、その先頭位置にあるノードに対する差
分データ、すなわち最も過去に発生した差分データから
時系列に転送を開始することにより、整合性を維持すべ
き単位（論理デバイス単位など）での整合性を常に維持
することが可能になる。

【００７６】以上説明したように、本実施の形態のデー
タ多重化方法によれば、例えば「同期型」のデータ多重
化を行う情報処理システム等において、なんらかの障害
で「サスペンド状態」に陥った後の「回復コピー」実行
中にマスタシステム１００が重大災害によって運用不可
な状態に陥ったとしても、リモートシステム１１０側の
バックアップデータに対する整合性の保証を保持するこ
とができる為、リモートシステム１１０への運用移行を
的確に行うことができる。

【００７７】以上本発明者によってなされた発明を実施
の形態に基づき具体的に説明したが、本発明は前記実施
の形態に限定されるものではなく、その要旨を逸脱しな
い範囲で種々変更可能であることはいうまでもない。

【００７８】たとえば、上述の実施の形態の説明では、
一例としてマスタシステムおよびリモートシステムの二
つのシステム間でデータを二重に保持させる例を説明し
たが、３以上のシステムにてデータ多重化を行う場合に
も、本発明は適用できる。

【００７９】

【発明の効果】本発明のデータ多重化方法によれば、複
数のシステム間でのデータ多重化を維持するための差分
データの回復複写における障害耐性を向上させることが
できる、という効果が得られる。

【００８０】また、本発明のデータ多重化方法によれ
ば、マスタシステムおよびリモートシステムが、ある整
合性の維持を要求する情報単位において、特に「サスペ
ンド状態」に陥る瞬間まで「ミラー状態」を維持してい
た場合の、「回復コピー」におけるリモートシステム側
の多重化データの整合性を保証することができる、とい
う効果が得られる。

【００８１】また、本発明のデータ多重化方法によれ
ば、マスタシステム側の障害等に際してリモートシステ
ムに運用を切り替える上で運用可能な整合性の保証され
たデータを提供することができる、という効果が得られ
る。

【図面の簡単な説明】

【図１】本発明の一実施の形態であるデータ多重化方法
が実施される情報処理システムの構成の一例を示す概念
図である。

【図２】本発明の一実施の形態であるデータ多重化方法
が実施される情報処理システムにおけるＲＡＩＤ５のア
ーキテクチャの一例を示す概念図である。

【図３】本発明の一実施の形態であるデータ多重化方法
が実施される情報処理システムでのバックアップコピー
の手順の一例を図式化して例示した概念図である。

【図４】本発明の一実施の形態であるデータ多重化方法
が実施される情報処理システムでのバックアップコピー
の手順の一例を示すフローチャートである。

【図５】本発明の一実施の形態であるデータ多重化方法
が実施される情報処理システムにおけるマスタシステム
の作用の一例を示すフローチャートである。

【図６】本発明の一実施の形態であるデータ多重化方法
が実施される情報処理システムにおけるリモートシステ
ムの作用の一例を示すフローチャートである。

【図７】本発明の一実施の形態であるデータ多重化方法
が実施される情報処理システムにて使用される差分ビッ
トマップの一例を示す概念図である。

【図８】本発明の一実施の形態であるデータ多重化方法
が実施される情報処理システムにおける回復コピー手順
の一例を図式化して例示した概念図である。

【図９】本発明の一実施の形態であるデータ多重化方法
が実施される情報処理システムにおける回復コピー手順
の一例を示すフローチャートである。

【図１０】本発明の一実施の形態であるデータ多重化方
法が実施される情報処理システムにおける退避エリア管
理ビットマップの一例を例示した概念図である。

【図１１】本発明の一実施の形態であるデータ多重化方
法が実施される情報処理システムにおける退避データ情
報キューの構造の一例を示す概念図である。

【図１２】本発明の一実施の形態であるデータ多重化方
法が実施される情報処理システムにおける時系列キュー
の構造の一例を示す概念図である。

【図１３】本発明の一実施の形態であるデータ多重化方
法が実施される情報処理システムにおける時系列キュー
のエントリ手順の一例を示すフローチャートである。

【符号の説明】

１００…マスタシステム（第１のシステム）、１０１…
ホストＣＰＵ、１０２…ディスク制御装置、１０３…デ
ィスク駆動装置（第１の記憶装置）、１０４…キャッシ
ュメモリ、１０５…サービスプロセッサ、１０６…コネ
クタ、１０７…差分ビットマップ、１０８…時系列キュ
ー、１１０…リモートシステム（第２のシステム）、１
１１…ホストＣＰＵ、１１２…ディスク制御装置、１１
３…ディスク駆動装置（第２の記憶装置）、１１４…キ
ャッシュメモリ、１１５…サービスプロセッサ、１１６
…コネクタ、１１７…システム管理用メモリ、１１８…
退避エリア管理ビットマップ、１１９…退避データ情報
キュー、１２０…データ転送路、２００…小型ディス
ク、２１０…論理トラック、２２０…パリティトラッ
ク、２３０…スペアディスク、８０１…使用可否フラ
グ、８０２…ビットマップ、９５０…物理デバイス番
号、９５１…物理トラック番号（セクタ番号）、９５２
…ディスク番号、９５３…物理トラック番号（セクタ番
号）、９５４…キャッシュメモリ上格納アドレス、１１
０１…前エントリノードポインタ、１１０２…本ノード
制御用情報、１１０２ａ…更新タイプ情報、１１０２ｂ
…本ノード有効フラグ、１１０３…論理トラック番号、
１１０４…物理媒体上格納アドレス、１１０５…キャッ
シュメモリ上アドレス、１１０６…次エントリノードポ
インタ、Ｔ…回復コピー完了許容最大時間。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 第１のシステムに設けられた第１の記憶
   装置に格納されたデータを、少なくとも一つの第２のシ
   ステムに設けられた第２の記憶装置に複写することで前
   記データの多重化を行うデータ多重化方法であって、 任意の要因にて前記第１のシステム側に蓄積された未複
   写の前記データを前記第２のシステム側に転送する回復
   複写処理の実行に際して、前記第２のシステム側では、
   前記第１のシステムから到来する前記データに対応した
   旧データを任意の方法にて保存しておき、前記回復複写
   処理が失敗した時には、保存されている前記旧データを
   用いて前記第１のシステムと前記第２のシステムとの間
   における前記データの整合性を維持することを特徴とす
   るデータ多重化方法。
2. 【請求項２】 請求項１記載のデータ多重化方法におい
   て、 前記第２のシステムでは、 前記第１のシステムから到来する前記データに対応した
   前記旧データを前記第２の記憶装置における現在の記憶
   領域から他の任意の記憶領域または他の任意の記憶媒体
   に退避させることで前記旧データの保存を行う第１の操
   作、 前記第１のシステムから到来する前記データを、当該デ
   ータに対応する前記旧データの格納領域とは異なる格納
   領域または記憶媒体に一時的に保持することで前記旧デ
   ータの保存を行う第２の操作、 前記回復複写処理の完了までの許容最大時間が任意に設
   定され、前記許容最大時間を超過しても前記第１のシス
   テム側から前記回復複写処理の完了報告がない場合に
   は、前記回復複写処理が失敗したものと見なして前記旧
   データによる前記整合性の維持を行う第３の操作、 の少なくとも一つの操作を行うことを特徴とするデータ
   多重化方法。
3. 【請求項３】 請求項１または２記載のデータ多重化方
   法において、 前記第１のシステムでは、任意の前記要因によって、当
   該第１のシステム内で発生した前記データを前記第２の
   システムに複写できずに蓄積するとき、更新が発生した
   順序が弁別可能に前記データを蓄積し、前記回復複写処
   理の実行時には、最も過去に発生した前記データから順
   に時系列に前記第２のシステムに転送する第４の操作を
   行うことを特徴とするデータ多重化方法。