JPH11305950A - 磁気ディスク制御装置によるリモート転送方法 - Google Patents
磁気ディスク制御装置によるリモート転送方法Info
- Publication number
- JPH11305950A JPH11305950A JP10107961A JP10796198A JPH11305950A JP H11305950 A JPH11305950 A JP H11305950A JP 10107961 A JP10107961 A JP 10107961A JP 10796198 A JP10796198 A JP 10796198A JP H11305950 A JPH11305950 A JP H11305950A
- Authority
- JP
- Japan
- Prior art keywords
- track
- magnetic disk
- transfer
- remote
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
転送エラーが発生したとしても順序性を確実に保証しな
がらデータ(トラック)を正センタ側から副センタ側へ
転送できるようにする。 【解決手段】 順序性保証モードが指定されている場
合、正センタ側磁気ディスク制御装置は、正センタ側ホ
ストから1つのトラックの転送依頼を受けると、当該ト
ラックを該副センタ側磁気ディスク制御装置に転送し、
当該トラックの転送を完了した時点で正センタ側ホスト
に転送完了通知を送り返し、正センタ側ホストは、正セ
ンタ側磁気ディスク制御装置から前記転送完了通知を受
領すると、次のトラックの転送依頼を正センタ側磁気デ
ィスク制御装置に対して発行する。
Description
正センタ(業務システム)の設置場所とは別の場所(遠
隔地)に副センタ(バックアップシステム)を設置し正
センタの業務を副センタによりバックアップ可能に構成
したシステムでは、各センタに、リモート転送機能を有
する磁気ディスク制御装置〔以下、リモートFCU(Fi
le ControlUnit)という〕がそなえられている。
正センタ側から副センタ側へリモート転送を行なう際
に、転送データ(トラック)の順序性を保証する機能を
実現するためのリモート転送方法に関する。
務システム)の動作が地震等の災害や突発的な故障によ
り停止した場合にそなえ、図16に示すように、正セン
タ1Aの設置場所とは別の遠隔地に副センタ(バックア
ップシステム)1Bを設置することが一般的になってい
る。
により正センタ1Aの業務をバックアップ可能にしたシ
ステムの構成について、図16を参照しながら説明す
る。なお、図16において、正センタ1Aと副センタ1
Bとで同じ機能を果たす構成要素には同じ数字を符号と
して付与し、また、正センタ1Aに属する構成要素を示
す符号には“A”を付し、副センタ1Bに属する構成要
素を示す符号には“B”を付している。
磁気ディスク制御装置(以下、FCUという)3A,磁
気ディスク装置(ボリューム)4Aおよびアダプタ5A
を有して構成されている。ホスト2Aは、本来の業務の
ための処理を行なうもので、アダプタ5Aを介して通信
回線6に接続されている。FCU3Aは、ホスト2Aと
磁気ディスク装置4Aとの間に介装され、ホスト2Aか
らの入出力信号(以下、単にI/Oと呼ぶ場合がある)
に応じて磁気ディスク装置4Aに対する書込/読出制御
を行なうものである。
スト(CPU)2B,FCU3B,磁気ディスク装置
(ボリューム)4Bおよびアダプタ5Bを有して構成さ
れている。ホスト2Bは、バックアップ時に正センタ1
Aから業務のための処理を引き継いで行なうもので、ア
ダプタ5Bを介して通信回線6に接続されている。FC
U3Bは、ホスト2Bと磁気ディスク装置4Bとの間に
介装され、ホスト2Bからの入出力信号に応じて磁気デ
ィスク装置4Bに対する書込/読出制御を行なうもので
ある。
行に伴い磁気ディスク装置4Aのデータが変更された場
合には、変更されたデータについての情報が、ホスト2
Aおよびアダプタ5Aを通じて通信回線6へ送り出さ
れ、この通信回線6を介して副センタ1Bへ送信され
る。その情報は、副センタ1Bにおいて、通信回線6か
らアダプタ5Bを通じてホスト2Bで受信され、このホ
スト2Bは、FCU3Bに対してI/Oを出力すること
により、磁気ディスク装置4Bのデータに対して正セン
タ1Aの磁気ディスク装置4Aのデータと同一の変更を
施す。これにより、正センタ1Aの磁気ディスク装置4
Aと副センタ1Bの磁気ディスク装置4Bとには常に同
じデータが保持される。つまり、常時、副センタ1Bの
磁気ディスク装置4Bには、正センタ1Aの磁気ディス
ク装置4Aと等価なボリューム(リモートシャドウボリ
ューム)が構築される。
タ1Bのいずれか一方の動作が地震等の災害や突発的な
故障によって停止した場合、動作停止を免れた他方のセ
ンタ1Bまたは1Aにはデータが保持されることになる
ので、他方のセンタ1Bまたは1Aは、直ちに動作停止
したセンタ1Aまたは1Bの動作を引き継いで行ない、
業務をバックアップすることができる。
ための処理を行なっており元々負荷が大きいため、上述
のように正センタ1Aのホスト2Aが副センタ1Bへの
データ転送を行なう場合、あまり大きなデータを転送で
きず効率のよい転送を行なうことができなかった。そこ
で、正センタ1Aおよび副センタ1Bのそれぞれにおい
て、図16に示すFCU3Aおよび3Bに代え、図17
に示すように、リモート転送機能を有するFCU(以
下、リモートFCUという)10Aおよび10Bをそな
え、これらのリモートFCU10A,10Bの間を通信
回線6により接続したリモートシステムが提案され用い
られている。このリモートシステムでは、正センタ1A
から副センタ1Bへのデータ転送(リモート転送)が、
リモートFCU10Aによって行なわれるので、ホスト
2Aの負荷が分散され、データ転送を効率よく行なえる
ようになる。
接続する通信回線6としては例えば高速ディジタル回線
やATM回線が用いられる。また、ホスト2A,2Bと
リモートFCU10A,10Bとの間はチャネルインタ
フェースにより接続されるほか、リモートFCU10
A,10Bと磁気ディスク装置(ボリューム)4A,4
Bとの間はPCI(Peripheral Component Interconnec
t)インタフェースあるいはSCSI(Small Computer S
ystem Interface)インタフェースにより接続される。
構成を、図18により説明する。この図18に示すよう
に、リモートFCU10A,10Bのそれぞれは、CA
(Channel Adapter)11,RM(Resource Manager)1
2,TS(Table Storage)13,RA(Remort Adapter)
14,CFE(Cache Function Engine)15,SS(Sha
red Storage)16,DA(Device Adapter)17およびC
−BUS(Control-BUS)18を有して構成されている。
の外部インタフェース制御を担当するモジュールであ
り、RM12は、基本動作に関する、リモートFCU1
0A,10B内における資源の管理/制御を担当するモ
ジュールであり、TS13は、RM12に付設され、リ
モートFCU10A,10B内の資源管理用のテーブル
として使用されるメモリである。
使用し、通信回線6を介して他のリモートFCU10A
または10Bとの間のデータの転送を担当する回線通信
モジュールであり、CFE15は、SS16におけるキ
ャッシュメモリ16a(図17参照)の管理を担当する
モジュールである。ここでは、キャッシュメモリ16a
などを含む共用メモリ部を総称してSS(符号16)と
呼んでいる。なお、通常、各リモートFCU10A,1
0Bには複数個(例えば2個〜8個)のRA14が搭載
されており、正センタ1Aと副センタ1Bとの間は複数
本(例えば2本〜8本)の回線が敷設されている。ただ
し、図17ではRA14および通信回線6はそれぞれ1
つだけ図示されている。
装置(ボリューム)4A,4Bとのインタフェース制御
を担当するモジュールであり、C−BUS18は、上述
した各機能モジュール(符号11〜17)が互いにコミ
ュニケーションを行なうためのルートで、モジュール間
の制御情報の送受信に使用されるものである。上述のご
とく構成されたリモートシステムでのデータの流れにつ
いて、図17を参照しながら説明する。
A内のRA14は、通信回線6を介し、遠隔地にある副
センタ1BにおけるリモートFCU10B内のRA14
に接続されており、正センタ1A内では、ホスト2Aか
らのデータは、リモートFCU10AのCA11により
受け取られて、一旦、SS16上のキャッシュメモリ1
6aに書き込まれる。
まれたデータ(トラック)は、RA14により複数のパ
ケットに分割されて副センタ1B側のリモートFCU1
0Bに転送される。また、正センタ1Aにおいて、キャ
ッシュメモリ16aから磁気ディスク装置4Aへの書込
は、リモートFCU10AのDA17により適当なタイ
ミングで実行される。
側のリモートFCU10Aからのデータは、リモートF
CU10BのRA14により受け取られて、一旦、SS
16上のキャッシュメモリ16aに書き込まれる。そし
て、キャッシュメモリ16aに書き込まれたデータ(ト
ラック)は、DA17により適当なタイミングで磁気デ
ィスク装置4Bに書き込まれる。
A側のホスト2Aは、リモートFCU10Aに対してI
/Oを発行する際、順序性保証モードを指定することに
より、リモートFCU10Aに、順序性を保証したデー
タ書込/転送を行なわせることができる。ここで、順序
性を保証したデータ書込/転送とは、正センタ1A側に
おいて、ホスト2AからリモートFCU10Aに対しト
ラックT1,T2,T3の順で書込/転送すべきデータ
を送った場合、正センタ1A側の磁気ディスク装置4A
および副センタ1B側のリモートFCU10Bにも全く
同じ順番でデータ(トラックT1,T2,T3)の書込
/転送を行なうことである。
な順序性保証モードを指定した時、正センタ1A側にお
いて、ホスト2AからリモートFCU10Aへ送られる
データの順序性、および、リモートFCU10Aから磁
気ディスク装置4Aへ送られるデータの順序性は、制御
上、必ず保証される。しかし、副センタ1B側におい
て、リモートFCU10Bは、正センタ1A側からのト
ラックをその到着順に磁気ディスク装置4Bに書き込ん
でいるため、順序性が損なわれる可能性がある(即ち、
磁気ディスク装置4Bに書き込まれるトラックの順序
が、正センタ1A側のホスト2Aから送出されたデータ
の順序と異なってしまうおそれがある)。
/転送と、保たれていないデータ書込/転送と、順序性
を保証した転送機能の必要性とについて、図19〜図2
5を参照しながら説明する。まず、順序性が保たれてい
るデータ書込/転送について、図19および図20によ
り説明する。ここで、図19は、順序性が保たれている
データ書込/転送を説明するための図、図20は、順序
性が保たれているデータ書込/転送を、時間軸および図
19中の〜に対応させて説明するためのフローチャ
ートである。なお、図19中、既述の符号と同一の符号
は同一もしくはほぼ同一の部分を示しているので、その
説明は省略する。
は、正センタ1A側のリモートFCU10Aと副センタ
1B側のリモートFCU10Bとの間が2本の通信回線
6−1,6−2により接続されている。つまり、リモー
トFCU10Aに2個のRA14(以下それぞれRA0
1,RA02として区別し表記する)が搭載されるとと
もに、リモートFCU10Bにも2個のRA14(以下
それぞれRA03,RA04として区別/表記する)が
搭載され、RA01とRA03との間が通信回線6−1
により接続され、RA02とRA04との間が通信回線
6−2により接続されている。
タ1A側において、ホスト2Aは、リモートFCU10
AのSS16上に確保されたキャッシュメモリ16aに
対して、トラックT1およびT2を、順次、書き込む
(および参照)。この時点で、2本の通信回線6−
1,6−2はいずれも使用されていないものとする。そ
して、リモートFCU10Aは、RA01により、先に
キャッシュメモリ16aに書き込まれたトラックT1を
読み出し、通信回線6−1(RA01/RA03パス)
を使用して副センタ1B側のリモートFCU10Bへ転
送する(参照)。
は、次にキャッシュメモリ16aに書き込まれたトラッ
クT2を転送するが、このとき、通信回線6−1(RA
01/RA03パス)が使用中であることから、RA0
2により、トラックT2を読み出し、通信回線6−2
(RA02/RA04パス)を使用して副センタ1B側
のリモートFCU10Bへ転送する(参照)。
データ転送例では、トラックT1,T2は、ホスト2A
から送り出された順序のまま、リモートFCU10Aか
らリモートFCU10Bへ転送されるので、副センタ1
B側では、その順序性を保持した状態でトラックT1,
T2が磁気ディスク装置4Bに書き込まれることにな
る。
/転送について、図21および図22により説明する。
ここで、図21は、順序性が保たれていないデータ書込
/転送を説明するための図、図22は、順序性が保たれ
ていないデータ書込/転送を、時間軸および図21中の
〜に対応させて説明するためのフローチャートであ
る。なお、図21中、既述の符号と同一の符号は同一も
しくはほぼ同一の部分を示しているので、その説明は省
略する。
タ1A側において、ホスト2Aは、リモートFCU10
AのSS16上に確保されたキャッシュメモリ16aに
対して、トラックT1およびT2を、順次、書き込む
(および参照)。この時点で、2本の通信回線6−
1,6−2はいずれも使用されていないものとする。そ
して、リモートFCU10Aは、RA01により、先に
キャッシュメモリ16aに書き込まれたトラックT1を
読み出し、通信回線6−1(RA01/RA03パス)
を使用して副センタ1B側のリモートFCU10Bへの
トラックT1の転送を開始する(参照)。
は、次にキャッシュメモリ16aに書き込まれたトラッ
クT2を転送するが、このとき、通信回線6−1(RA
01/RA03パス)が使用中であることから、RA0
2により、トラックT2を読み出し、通信回線6−2
(RA02/RA04パス)を使用して副センタ1B側
のリモートFCU10Bへ転送する(参照)。
れも転送を行なっている際に、通信回線6−1上の故障
等によりトラックT1の転送に失敗すると、リモートF
CU10Aは、RA02により、通信回線6−2(RA
02/RA04パス)を使用してトラックT1の転送を
試みようとするが、この時点では、通信回線6−2(R
A02/RA04パス)はトラックT2を転送するため
に使用されているため、その転送()が完了するま
で、トラックT1の転送は待たされることになる。そし
て、RA02によるトラックT2の転送が完了すると、
RA02により、トラックT1を読み出し、通信回線6
−2(RA02/RA04パス)を使用して副センタ1
B側のリモートFCU10Bへ転送する(参照)。
データ転送例では、転送エラーの発生により、副センタ
1B側のリモートFCU10Bのトラック到着順序(つ
まりは磁気ディスク装置4Bへの書込順序)が、正セン
タ1A側でのトラック送出順序と異なってしまい、順序
性が損なわれる。具体的には、トラックT1,T2の順
序で送出されたものが、トラックT2,T1の順序でリ
モートFCU10Bに到着して磁気ディスク装置4Bに
書き込まれることになる。
について、図23〜図25により説明する。ここで、図
23(a)および図23(b)は、それぞれ、順序性を
保証しながら転送されるべき2つのトラックT1,T2
の具体例を示す図、図24は、図23(a)および図2
3(b)にそれぞれ示す2つのトラックT1,T2が順
序性を保証されながら転送された時の副センタ1B側の
リモートFCU10Bの動作を説明するための図、図2
5は、図23(a)および図23(b)にそれぞれ示す
2つのトラックT1,T2の転送順序が逆になった時の
副センタ1B側のリモートFCU10Bの動作を説明す
るための図である。
ば、複数のデータブロックを1回のI/O〔ホスト2A
からの一度のSIO(Start I/O)要求〕で転送処理
するケースである。正センタ1A側から副センタ1B側
のリモートFCU10Bへ多数のデータブロックを1回
のI/Oで転送する際、転送すべきデータブロックを1
つのレコードの容量だけでは転送できないために、複数
のトラックに分割されて転送される場合がある。例え
ば、図23(a)に示すように、後続する各データブロ
ックを管理するインデックスを含むデータブロックDB
1と、更新データを含む多数のデータブロックDB2,
…,DBmとが転送され、図23(b)に示すように、
トラックT2により、更新データを含むデータブロック
DB(m+1),…とが転送される場合がある。
+1)とに1組の更新データが含まれている場合、先のデ
ータブロックDBmにリカバリフラグのオン/オフがセ
ットされる。このリカバリフラグの役割と、2つのトラ
ックT1,T2が順序性を保証されながら転送された時
の副センタ1B側のリモートFCU10Bの動作とにつ
いて、図24を参照しながら説明する。
されながら転送された時、副センタ1B側のリモートF
CU10Bでは、図24に示すように、トラックT1に
より転送されてきたデータブロックDBmからリカバリ
フラグおよび更新データを書き出してから(参照)、
後続のトラックT2により転送されてきたデータブロッ
クDB(m+1)から、データブロックDBmの更新データ
と組になる更新データを書き出す(参照)。この後、
データブロックDB(m+1)を管理するポインタを、デー
タブロックDB1のインデックスに書き出す(参
照)。
フラグをオンにセットしておけば、図24に示す動作
ととの間でシステムダウンが発生した場合でも、デー
タブロックDB(m+1)を書き出した状態に進むことがで
きる。即ち、データブロックDB1からデータブロック
DB(m+1)へのポインタを張ることにより、ディスクの
内容を復元することができる。
つのトラックT1,T2の転送順序が逆になった時、副
センタ1B側のリモートFCU10Bでは、図25に示
すように、まず、トラックT2により先に転送されてき
たデータブロックDB(m+1)から、データブロックDB
mの更新データと組になる更新データを書き出してから
(参照)、次にトラックT1により転送されてきたデ
ータブロックDBmからリカバリフラグおよび更新デー
タを書き出すことになる(参照)。この後、データブ
ロックDB(m+1)を管理するポインタを、データブロッ
クDB1のインデックスに書き出す(参照)。
との間でシステムダウンが発生した場合には、その時点
でトラックT1で転送されるデータブロックmに含まれ
るリカバリフラグは未到着であるため、リカバリフラグ
がオフとして扱われる。つまり、リモートFCU10B
においてリカバリ処理は必要ないものと判断され、デー
タブロックDB(m+1)へのインデックスは何も更新され
ない。従って、データブロックDB(m+1)の領域はデー
タが存在しない領域であると判断され、その後のデータ
処理で、データブロックDB(m+1)の領域は別のデータ
により上書きされてしまい、データ破壊が生じるおそれ
がある。
めに、順序性保証機能が必要となってくる。本発明は、
このような課題に鑑み創案されたもので、順序性保証モ
ードが指定されている際には、転送エラーが発生したと
しても順序性を確実に保証しながらデータ(トラック)
を正センタ側から副センタ側へ転送できるようにした、
磁気ディスク制御装置によるリモート転送方法を提供す
ることを目的とする。
に、本発明の磁気ディスク制御装置によるリモート転送
方法(請求項1)は、磁気ディスク装置とこの磁気ディ
スク装置を制御する磁気ディスク制御装置とを有する正
センタおよび副センタをそなえ、正センタ側磁気ディス
ク制御装置と副センタ側磁気ディスク制御装置との間を
複数の通信回線により接続してなるリモートシステムに
おいて、これら複数の通信回線を通じて正センタ側磁気
ディスク制御装置から副センタ側磁気ディスク制御装置
へデータ転送を行なうための方法であって、複数のトラ
ックを、その順序性を保証しながら正センタ側磁気ディ
スク制御装置から副センタ側磁気ディスク制御装置へ連
続的に転送する順序性保証モードが正センタ側ホストに
より指定されている場合、正センタ側磁気ディスク制御
装置は、正センタ側ホストから1つのトラックの転送依
頼を受けると、当該トラックを該副センタ側磁気ディス
ク制御装置に転送し、当該トラックの転送を完了した時
点で正センタ側ホストに転送完了通知を送り返し、正セ
ンタ側ホストは、正センタ側磁気ディスク制御装置から
前記転送完了通知を受領すると、次のトラックの転送依
頼を正センタ側磁気ディスク制御装置に対して発行する
ことを特徴としている。
項1)では、順序性保証モードが正センタ側ホストによ
り指定されている状態では、正センタ側ホストは、1つ
のトラックの転送依頼を正センタ側磁気ディスク制御装
置に対して行なうと、そのトラックについての転送完了
通知を正センタ側磁気ディスク制御装置から受けるま
で、次のトラックの転送依頼を発行しないので、トラッ
クは、正センタ側ホストから、正センタ側磁気ディスク
制御装置を通じて一つずつ副センタ側へ転送されること
になる。つまり、トラックの転送中にエラーが発生した
としても、他の通信回線を使用するなどして、そのトラ
ックの転送を完了するまで次のトラックの転送開始を抑
止することができる。
るリモート転送方法(請求項2)は、前述と同様のリモ
ートシステムにおいて、複数本の通信回線を通じて正セ
ンタ側磁気ディスク制御装置から副センタ側磁気ディス
ク制御装置へデータ転送を行なうための方法であって、
複数のトラックを、その順序性を保証しながら正センタ
側磁気ディスク制御装置から副センタ側磁気ディスク制
御装置へ連続的に転送する順序性保証モードが正センタ
側ホストにより指定されている場合、正センタ側磁気デ
ィスク制御装置は、同一I/O内の複数のトラックには
同一の識別番号と該正センタ側ホストからの送出順に対
応したシリアル番号とを付与し、前記の識別番号および
シリアル番号を付与された当該複数のトラックを複数本
の通信回線により同時に副センタ側磁気ディスク制御装
置に転送し、副センタ側磁気ディスク制御装置は、正セ
ンタ側から転送され副センタ側で書き込まれたトラック
に付与された識別番号とその識別番号を有し且つ最後に
該副センタ側で書き込まれたトラックに付与されたシリ
アル番号LSNとを対応させて保持する順序性管理テー
ブルをそなえ、正センタ側から新たなトラックが転送さ
れてくると、当該トラックに付与されているシリアル番
号SNと、順序性管理テーブルに保持されている、当該
トラックに付与された識別番号に対応する前記シリアル
番号LSNとを比較し、SN≠LSN+1である場合、
他のトラックの書込により順序性管理テーブルの前記シ
リアル番号LSNが更新されてSN=LSN+1となる
まで当該トラックに対して書込許可を与えないで当該ト
ラックを待機させる一方、SN=LSN+1である場
合、当該トラックに対して書込許可を与え、当該トラッ
クの副センタ側磁気ディスク装置への書込を完了した時
点で順序性管理テーブルの前記シリアル番号LSNとし
て当該トラックの前記シリアル番号LSNを登録・更新
することを特徴としている。
タ側磁気ディスク制御装置内の資源を管理/制御するリ
ソースモジュールによって管理してもよいし(請求項
3)、当該トラックを副センタ側磁気ディスク装置へ書
き込む前に一時的に書き込むためのキャッシュメモリ上
にそなえてもよい(請求項4)。また、あるトラックの
転送時に回線障害により転送エラーが発生した場合、正
センタ側磁気ディスク制御装置は、複数の通信回線のう
ち他に未使用の通信回線が存在するか否かを確認し、未
使用の通信回線が存在する場合、その未使用の通信回線
を使用して転送エラーを生じた当該トラックの転送を行
なう一方、未使用の通信回線が存在しない場合、現在転
送中のトラックに付与されているシリアル番号の中に、
転送エラーを生じた当該トラックに付与されているシリ
アル番号よりも大きいシリアル番号が存在するか否かを
判断し、該当するシリアル番号が存在しない場合、使用
中の通信回線が解放されるまで転送エラーを生じた当該
トラックの転送を待機させる一方、該当するシリアル番
号が存在する場合、該当するシリアル番号を有するトラ
ックの転送を中断させ、そのトラックの転送のために使
用中だった通信回線を使用して転送エラーを生じた当該
トラックの転送を行なってもよい(請求項5)。
項2〜4)では、副センタ側磁気ディスク制御装置にお
いて、正センタ側から転送されてきたトラックのシリア
ル番号SNが、順序性管理テーブルに保持されているシ
リアル番号LSN(そのトラックと同一I/Oに属する
トラックのうち最後に書き込まれたもののシリアル番
号)に、1を加算した値に等しいか否かを判断する。例
えばそのトラックのSNがLSN+2である場合(SN
≠LSN+1)、そのトラックは、シリアル番号として
LSN+1を付与されたトラックよりも先に転送されて
来たことになり、所定の順序性を損なう状態になってい
るものと判断することができる。
は、他のトラックの書込により順序性管理テーブルのシ
リアル番号LSNが更新されてSN=LSN+1となる
まで、そのトラックを待機させる。つまり、トラックの
転送中にエラーが発生し、副センタ側へのトラックの転
送順序が逆転して所定の順序性が損なわれたとしても、
副センタ側でトラックの順序調整を行なうことができ
る。
害により転送エラーが発生し、その転送エラーを生じた
トラックを転送するための未使用の通信回線が存在せ
ず、さらに、現在転送中のトラックのシリアル番号の中
に、転送エラーを生じたトラックのシリアル番号よりも
大きいシリアル番号が存在するという3つの条件が万一
重なった場合について考える。この場合、そのトラック
の後に書き込まれるべきトラックが、先に副センタ側へ
転送され、転送エラーを生じたトラックが転送されてく
るのを待機している状態であるが、使用可能な通信回線
が存在しないため、転送エラーを生じたトラックを転送
できない状態でロックする転送デッドロックが生じてし
まう。
合には、正センタ側磁気ディスク制御装置により、転送
デッドロック状態のトラックの転送を中断させ、そのト
ラックの転送のために使用中だった通信回線を使用して
転送エラーを生じたトラックの転送を行ない、転送デッ
ドロックを回避する(請求項5)。
施の形態を説明する。本発明の実施形態(第1〜第4実
施形態)としての磁気ディスク制御装置によるリモート
転送方法が適用されるリモートシステムは、図17に示
したものと同様であり、本発明の実施形態(第1〜第4
実施形態)における磁気ディスク制御装置つまりリモー
トFCU10A,10Bは、図18に示したものと同様
であるので、これらのシステムやリモートFCU10
A,10Bについての詳細な説明は省略する。図中、既
述の符号と同一の符号は同一もしくは同様の部分を示し
ているので、その説明は省略する。
トシステム(図2,図4,図8,図11,図14参照)
でも、正センタ1A側のリモートFCU10Aと副セン
タ1B側のリモートFCU10Bとの間が2本の通信回
線6−1,6−2により接続されている。つまり、リモ
ートFCU10Aに2個のRA14(以下それぞれRA
01,RA02として区別し表記する)が搭載されると
ともに、リモートFCU10Bにも2個のRA14(以
下それぞれRA03,RA04として区別/表記する)
が搭載され、RA01とRA03との間が通信回線6−
1により接続され、RA02とRA04との間が通信回
線6−2により接続されている。
態としてのリモート転送方法について説明する。なお、
図1および図2は、それぞれ、第1実施形態のリモート
転送方法を説明するためのシーケンス図およびブロック
図、図3は、第1実施形態のリモート転送方法を、時間
軸および図1および図2中の〜に対応させて説明す
るためのフローチャートである。また、図2中、既述の
符号と同一の符号は同一もしくは略同一の部分を示して
いるので、その説明は省略する。
送方法を実現すべく、第1実施形態のリモートシステム
において、順序性保証モードの指定時には、正センタ1
0A側のリモートFCU10A(CA11)は、ホスト
2Aから1つのトラックの転送依頼を受けると、その時
点ではトラックを受け取った旨の通知(Channel End)の
みをホスト2Aへ報告して“Device End”を返送せず、
転送依頼を受けたトラックを副センタ1B側のリモート
FCU10Bに転送し、その転送を完了した時点でホス
ト2Aに転送完了通知として“Device End”を送り返す
ように構成されている。
センタ1A側のホスト2Aは、リモートFCU10Aに
対するトラックの転送依頼を1つずつ行ない、リモート
FCU10Aから転送完了通知(Device End)を受領し
てから、次のトラックの転送依頼をリモートFCU10
Aに対して発行するように構成されている。なお、上述
した第1実施形態の特徴的な機能/構成は、いずれも、
従来から用いられているリモート転送を実現するための
ファームウェア(プログラム)に、若干の変更を施すこ
とによって容易に実現される。
第1実施形態によるリモート転送方法の手順について、
図1〜図3を参照しながら説明する。図1〜図3に示す
ように、正センタ1A側において、ホスト2Aにより順
序性保証モードが指定されている場合、ホスト2Aは、
リモートFCU10AのSS16上に確保されたキャッ
シュメモリ16aに対して、トラックT1を1つだけ書
き込む(参照)。この時点で、2本の通信回線6−
1,6−2はいずれも使用されていないものとする。
クT1を受け取ると、ホスト2Aに対して“Channel En
d ”を報告するとともに(参照)、RA01により、
キャッシュメモリ16aに書き込まれたトラックT1を
読み出し、通信回線6−1(RA01/RA03パス)
を使用して副センタ1B側のリモートFCU10Bへ転
送する(参照)。副センタ1BへのトラックT1の転
送を完了すると、リモートFCU10Aは、ホスト2A
に対して転送完了通知(Device End)を報告する(参
照)。
受けたホスト2Aは、トラックT1に続く2つ目のトラ
ックT2を、1つだけ、リモートFCU10Aのキャッ
シュメモリ16aに対して書き込む(参照)。この
後、リモートFCU10Aは、前述と同様、トラックT
2を受け取ると、ホスト2Aに対して“Channel End ”
を報告するとともに(参照)、RA01により、キャ
ッシュメモリ16aに書き込まれたトラックT2を読み
出し、通信回線6−1(RA01/RA03パス)を使
用して副センタ1B側のリモートFCU10Bへ転送す
る(参照)。副センタ1BへのトラックT1の転送を
完了すると、リモートFCU10Aは、ホスト2Aに対
して転送完了通知(Device End)を報告する(参
照)。
Aから1つずつ送出され、トラックT1の転送完了する
までトラックT2の送出が行なわれないので、副センタ
1B側では、その順序性を保持した状態でトラックT
1,T2が磁気ディスク装置4B(キャッシュメモリ1
6a)に書き込まれることになる。一方、トラックT1
の転送中に回線障害等により転送エラーが発生した場合
の、第1実施形態によるリモート転送方法の手順につい
て、図4〜図6を参照しながら説明する。ここで、図4
は、本発明の第1実施形態としてのリモート転送方法
(転送エラー発生時)を説明するためのブロック図、図
5は、本発明の第1実施形態としてのリモート転送方法
(転送エラー発生時)を説明するためのシーケンス図、
図6は、本発明の第1実施形態としてのリモート転送方
法(転送エラー発生時)を、時間軸および図4および図
5中の〜に対応させて説明するためのフローチャー
トである。なお、図4中、既述の符号と同一の符号は同
一もしくはほぼ同一の部分を示しているので、その説明
は省略する。
において、ホスト2Aにより順序性保証モードが指定さ
れている場合、ホスト2Aは、リモートFCU10Aの
SS16上に確保されたキャッシュメモリ16aに対し
て、トラックT1を1つだけ書き込む(参照)。この
時点で、2本の通信回線6−1,6−2はいずれも使用
されていないものとする。
クT1を受け取ると、ホスト2Aに対して“Channel En
d ”を報告するとともに(参照)、RA01により、
キャッシュメモリ16aに書き込まれたトラックT1を
読み出し、通信回線6−1(RA01/RA03パス)
を使用して副センタ1B側のリモートFCU10Bへ転
送するが、その転送が、回線エラー(回線障害)により
失敗した場合、リモートFCU10Aは、代わりのパス
を使用してトラックT1の転送を行なうと判断する(
参照)。
A02/RA04パス)は未使用状態であるので、リモ
ートFCU10Aは、その通信回線6−2を使用してト
ラックT1を副センタ1B側のリモートFCU10Bへ
転送する(参照)。通信回線6−2を通じて副センタ
1BへのトラックT1の転送を完了すると、リモートF
CU10Aは、ホスト2Aに対して転送完了通知(Devi
ce End)を報告する(参照)。
受けたホスト2Aは、トラックT1に続く2つ目のトラ
ックT2を、1つだけ、リモートFCU10Aのキャッ
シュメモリ16aに対して書き込む(参照)。この
後、リモートFCU10Aは、トラックT2を受け取る
と、ホスト2Aに対して“Channel End ”を報告すると
ともに(参照)、RA01により、キャッシュメモリ
16aに書き込まれたトラックT2を読み出し、回線障
害の発生した通信回線6−1を使用せずに通信回線6−
2(RA02/RA04パス)を使用して副センタ1B
側のリモートFCU10Bへ転送する(参照)。副セ
ンタ1BへのトラックT1の転送を完了すると、リモー
トFCU10Aは、ホスト2Aに対して転送完了通知
(Device End)を報告する(参照)。
のリモート転送方法によれば、順序性保証モードがホス
ト2Aにより指定されている状態では、ホスト2Aは、
トラックの転送依頼を1つずつ行ない、1つのトラック
の転送依頼をリモートFCU10Aに対して行なうと、
そのトラックについての転送完了通知をリモートFCU
10Aから受けるまで、次のトラックの転送依頼を発行
しないので、トラックは、ホスト2Aから、リモートF
CU10Aを通じて一つずつ副センタ1B側へ転送され
ることになる。
トラックの転送中にエラーが発生したとしても、通信障
害の発生した通信回線6−1以外の通信回線6−2を使
用するして、そのトラックの転送を完了するまで次のト
ラックの転送開始を抑止することができるので、トラッ
クの順序性を確実に保証することができる。 〔B〕第2実施形態の説明 次に、図7〜図10を参照しながら、本発明の第2実施
形態としてのリモート転送方法について説明する。な
お、図7は第2実施形態のリモート転送方法で用いられ
る順序性管理テーブルの例を示す図、図8は第2実施形
態のリモート転送方法を説明するためのブロック図、図
9は、第2実施形態のリモート転送方法を、時間軸およ
び図8中の (1)〜(10)に対応させて説明するためのフロ
ーチャート、図10(a)〜図10(d)は、それぞ
れ、第2実施形態のリモート転送方法を実行した際の順
序性管理テーブルの登録状態を示す図である。また、図
8中、既述の符号と同一の符号は同一もしくは略同一の
部分を示しているので、その説明は省略する。
送方法を実現すべく、第2実施形態のリモートシステム
におけるホスト1A,リモートFCU10Aおよび10
Bは以下のような機能を有している。第2実施形態で
は、正センタ1A側において、ホスト2Aは、第1実施
形態の場合と異なり、従来と同様、複数のトラックを所
定の順序でリモートFCU10Aに対して順次送出し、
リモートFCU10Aは、複数本(本実施形態では2本
のみ図示)の通信回線6−1,6−2を同時に使用して
副センタ1B側へ転送するようになっている。
ードの指定時において、リモートFCU10Aは、通信
回線6−1もしくは6−2を通じて転送するトラック
に、以下の情報(a1),(a2)を付与する。 (a1)トラック番号(シリアル番号SN):ホスト2
Aからの同一I/Oに属するトラックについて、そのI
/Oに関し何番目のトラックであるか示す情報。このト
ラック番号は、ホスト2AからリモートFCU10Aへ
のトラックの送出順序と一致する。
からの同一I/Oに属するトラックには、同一のID値
が付与され、ID値により、そのトラックの属するI/
Oを識別することができるようになっている。このID
値は、リモートFCU10Aにより、ホスト2Aから新
たなI/O(Start I/O)を受ける度にインクリメントさ
れる。
側のリモートFCU10Bにおいては、RM12(TS
13)内に、前述したID値とトラック番号(SN)と
を保持する順序性管理テーブル(Table)20がそなえら
れている。この順序性管理テーブル20は、正センタ1
A側から転送され副センタ1B側で書き込まれたトラッ
クに付与されたID値と、そのID値を有し且つ最後に
副センタ1B側で書き込まれたトラックに付与されたト
ラック番号(シリアル番号)LSNとを対応させて保持
するものである。つまり、順序性管理テーブル20にお
けるトラック番号としては、そのID値に関し、リモー
トFCU10BのSS16上に確保されたキャッシュメ
モリ16aに、最後に書き込んだトラックのトラック番
号がLSNとして書き込まれる。
具体例を図7に示す。この図7に示す具体例では、ID
値“0001”を有するトラックについてはトラック番
号“0001”つまり1番目のトラックの書込だけを完
了しており、ID値“0002”を有するトラックにつ
いてはトラック番号“0005”つまり5番目のトラッ
クの書込まで完了しており、ID値“0003”を有す
るトラックについてはトラック番号“0007”つまり
7番目のトラックの書込まで完了していることになる。
おけるRA14は、正センタ1A側のRA14からトラ
ックを受信すると、そのトラックのID値とトラック番
号SNとをRM12に通知し、キャッシュメモリ16a
への書込要求を行なう機能を有している。副センタ1B
側のリモートFCU10BにおけるRM12は、RA1
4からの要求に応じ、2つの条件(b1),(b2)に
よって以下のような動作を行なうようになっている。
ラック番号が“1”であれば、順序性管理テーブル20
内で未使用領域もしくは一番古い領域にID値およびト
ラック番号を書き込む。ただし、ID値としてはRA1
4から通知されたID値をそのまま書き込むが、トラッ
ク番号としてはまず“0”を書き込む。その後、RM1
2は、RA14に対して、そのトラックのキャッシュメ
モリ16aへの書込許可を通知する。順序性管理テーブ
ル20のトラック番号“0”は、そのトラックのキャッ
シュメモリ16aへの書込が完了した時点で“1”に書
き換えられる。
ラック番号が“1”以外であれば、順序性管理テーブル
20内に、そのトラックのID値と同じものが保持され
ているかを検索する。同じID値が既に保持されている
場合には、RA14から通知されたトラック番号SNと
順序性管理テーブル20に既に保持されているトラック
番号LSNとを比較し、SN=LSN+1であるか否か
を判断する。RM12は、SN=LSN+1であれば、
RA14に対して、そのトラックのキャッシュメモリ1
6aへの書込許可を通知する一方、SN≠LSN+1で
あれば、RA14に対して、そのトラックのキャッシュ
メモリ16aへの書込許可を与えない。なお、トラック
のID値と同じものが順序性管理テーブル20内に保持
されていない場合にも、RM12は、RA14に対し
て、そのトラックのキャッシュメモリ16aへの書込許
可を与えない。
として書込許可通知を受けた場合、そのトラックを、S
S16上に確保されたキャッシュメモリ16aに書き込
む一方で、不許可通知を受けた場合、そのトラックの書
込をしばらく待機させてから、再度、RM12に対して
問い合わせを行なうように動作する。また、RA14
は、キャッシュメモリ16aにトラックを書き込んだ
後、RM12に対し、再度、そのトラックのID値およ
びトラック番号SNを通知し、順序性管理テーブル20
に登録するように要求し、この要求を受けたRM12
は、順序性管理テーブル20から同じID値を検索し、
そのID値とリンクするトラック番号領域に、RA14
から通知されたトラック番号SNをLSNとして書き込
むように動作する。
能/構成は、いずれも、従来から用いられているリモー
ト転送を実現するためのファームウェア(プログラム)
に、若干の変更を施すことによって容易に実現される。
次に、第2実施形態によるリモート転送方法の手順につ
いて、図8〜図10を参照しながら説明する。
A側において、ホスト2Aにより順序性保証モードが指
定されている場合、ホスト2Aは、まず、リモートFC
U10AのSS16上に確保されたキャッシュメモリ1
6aに対して、同一I/Oに属するトラックT1および
T2を、順次、書き込む〔(1) および(6) 参照〕。この
時点で、2本の通信回線6−1,6−2はいずれも使用
されていないものとする。
1により、先にキャッシュメモリ16aに書き込まれた
トラックT1を読み出し、通信回線6−1(RA01/
RA03パス)を使用して副センタ1B側のリモートF
CU10Bへ転送する。このとき、トラックT1には、
ID値=0001およびトラック番号=0001が付加
される〔(2) 参照〕。
は、次にキャッシュメモリ16aに書き込まれたトラッ
クT2を転送するが、通信回線6−1(RA01/RA
03パス)が使用中であることから、RA02により、
トラックT2を読み出し、通信回線6−2(RA02/
RA04パス)を使用して副センタ1B側のリモートF
CU10Bへ転送する。このとき、トラックT2には、
ID値=0001およびトラック番号=0002が付加
される〔(7) 参照〕。
おいて、まず、正センタ1A側から転送されてきたトラ
ックT1をRA03が受信し、このRA03は、トラッ
クT1のID値=0001およびトラック番号=000
1も同時にRM12に通知し、RM12に対しトラック
T1を書き込んでよいか否か問い合わせる。このとき、
RM12は、前述した条件(b1)に従って動作し、ト
ラックT1の書込許可をRA03に通知する〔(3) 参
照〕。このRM12の動作により、順序性管理テーブル
20は、図10(a)に示す状態から図10(b)に示
す状態となる。
03は、SS16上に確保されたキャッシュメモリ16
aにトラックT1を書き込んだ後〔(4) 参照〕、RM1
2に対し、再度、ID値=0001およびトラック番号
=0001を通知して順序性管理テーブル20への登録
を要求し、この要求に応じてRM12は、順序性管理テ
ーブル20にトラック番号を登録する〔(5) 参照〕。こ
れにより、順序性管理テーブル20は、図10(b)に
示す状態から図10(c)に示す状態となる。
0Bにおいては、トラックT1の書込処理中〔(3) およ
び(4) 参照〕に、正センタ1A側からのトラックT2を
RA04が受信すると、このRA04は、トラックT2
のID値=0001およびトラック番号=0002も同
時にRM12に通知し、RM12に対しトラックT2を
書き込んでよいか否か問い合わせる。このとき、順序性
管理テーブル20は図10(b)に示す状態であり、R
M12は、前述した条件(b2)に従って動作する。即
ち、SN≠LSN+1(ここで、SN=2,LSN=0
で、2≠0+1)であって、トラックT1がキャッシュ
メモリ16a上に書き込まれていないことから、RM1
2は、RA04に対し、トラックT2の書込不許可を通
知する〔図8の(8) ,図9の(8)-1参照〕。
A04は、RM12からトラックT2の書込許可を貰え
るまで、RM12に対し繰り返し問い合わせる〔図8の
(8),図9の(8)-2参照〕。その間に、RA03により
トラックT1の書込を完了し〔(4) 参照〕、順序性管理
テーブル20への登録を完了すると〔(5) 参照〕、順序
性管理テーブル20が図10(c)に示すごとく更新さ
れ、SN=LSN+1(ここで、SN=2,LSN=1
で、2=1+1)となるので、RM12は、トラックT
2の書込許可をRA04に通知する〔図8の(8) ,図9
の(8)-3参照〕。
04は、SS16上に確保されたキャッシュメモリ16
aにトラックT2を書き込んだ後〔(9) 参照〕、RM1
2に対し、再度、ID値=0001およびトラック番号
=0002を通知して順序性管理テーブル20への登録
を要求し、この要求に応じてRM12は、順序性管理テ
ーブル20にトラック番号を登録する〔(10)参照〕。こ
れにより、順序性管理テーブル20は、図10(c)に
示す状態から図10(d)に示す状態となる。
のリモート転送方法によれば、順序性保証モードがホス
ト2Aにより指定されている状態では、副センタ1B側
のリモートFCU10Bにおいて、正センタ1A側から
転送されてきたトラックのトラック番号(シリアル番
号)SNが、順序性管理テーブル20に保持されている
シリアル番号LSN(そのトラックと同一I/Oに属す
るトラックのうち最後に書き込まれたもののトラック番
号)に、1を加算した値に等しいか否かを判断する。例
えば、そのトラックのトラック番号SNがLSN+2で
ある場合(SN≠LSN+1)、そのトラックは、トラ
ック番号としてLSN+1を付与されたトラックよりも
先に転送されて来たことになり、所定の順序性を損なう
状態になっているものと判断することができる。
は、他のトラックの書込により順序性管理テーブル20
のシリアル番号LSNが更新されてSN=LSN+1と
なるまで、そのトラックを待機させる。つまり、万一、
トラックの転送中にエラーが発生し、副センタ1B側へ
のトラックの転送順序が逆転して所定の順序性が損なわ
れたとしても、副センタ1B側でトラックの順序調整を
行なうことができるので、トラックの順序性を確実に保
証することができる。
1,6−2のみ図示しているが、3本以上の通信回線を
そなえておけば、トラックT1の転送中に通信回線6−
1における通信障害により転送エラーが生じた場合、図
示しない3本目の通信回線によりトラックT1が副セン
タ1B側へ転送される。このとき、トラックT1はトラ
ックT2よりも後に副センタ1Bに到着することになる
が、リモートFCU10Bでは、前述のごとく、トラッ
クT1が書き込まれるまでトラックT2の書込を待機さ
せているので、トラックT1がトラックT2よりも後に
到着しても、トラックT1,T2の順で書込が行なわ
れ、その順序性が損なわれることがない。
ート転送方法では、順序性保証モードの指定時に、第1
実施形態と異なって2本以上の通信回線6−1,6−2
を同時に使用できるので、トラックの転送効率を、第1
実施形態よりも大幅に向上させることができる。 〔C〕第3実施形態の説明 次に、図11および図12を参照しながら、本発明の第
3実施形態としてのリモート転送方法について説明す
る。なお、図11は本発明の第3実施形態としてのリモ
ート転送方法を説明するためのブロック図、図12は本
発明の第3実施形態としてのリモート転送方法を、時間
軸および図11中の (1)〜(10)に対応させて説明するた
めのフローチャートである。また、図11中、既述の符
号と同一の符号は同一もしくは略同一の部分を示してい
るので、その説明は省略する。
送方法を実現すべく、第3実施形態のリモートシステム
におけるホスト1A,リモートFCU10Aおよび10
Bも、第2実施形態と同様、以下のような機能を有して
いる。つまり、第3実施形態でも、正センタ1A側にお
いて、ホスト2Aは、第2実施形態と同様、複数のトラ
ックを所定の順序でリモートFCU10Aに対して順次
送出し、リモートFCU10Aは、複数本(本実施形態
では2本のみ図示)の通信回線6−1,6−2を同時に
使用して副センタ1B側へ転送するようになっている。
ドの指定時において、リモートFCU10Aは、通信回
線6−1もしくは6−2を通じて転送するトラックに、
前述と同様のトラック番号(a1)およびID値(a
2)を付与する。ただし、第3実施形態における副セン
タ1B側のリモートFCU10Bにおいては、SS16
上に確保されたキャッシュメモリ16a上に、前述した
ID値とトラック番号(SN)とを保持する順序性管理
テーブル20がそなえられている。第2実施形態と第3
実施形態とで構成上大きく異なる点は、この順序性管理
テーブル20がRM12ではなくキャッシュメモリ16
aにそなえられている点である。順序性管理テーブル2
0については、第2実施形態において前述した通りであ
るので、その説明は省略する。
可能である否かの判断をRM12がRA14からの要求
に応じて行なっていたのに対し、第3実施形態では、順
序性管理テーブル20がキャッシュメモリ16a上にそ
なえられているので、上記判断は、RA14がキャッシ
ュメモリ16a上の順序性管理テーブル20を読み出し
て行なっている。
0BにおけるRA14は、正センタ1A側のRA14か
らトラックを受信すると、キャッシュメモリ16aから
順序性管理テーブル20を読み込み、その順序性管理テ
ーブル20内の情報と受信したトラックのID値とトラ
ック番号SNとを比較し、2つの条件(c1),(c
2)によって以下のような動作を行なうようになってい
る。
から通知されたトラック番号が“1”であれば、順序性
管理テーブル20内で未使用領域もしくは一番古い領域
にID値およびトラック番号を書き込む。ただし、ID
値としてはRA14から通知されたID値をそのまま書
き込むが、トラック番号としてはまず“0”を書き込
む。その後、RA14は、そのトラックをキャッシュメ
モリ16aへ書き込む。順序性管理テーブル20のトラ
ック番号“0”は、そのトラックのキャッシュメモリ1
6aへの書込が完了した時点で“1”に書き換えられ
る。
から通知されたトラック番号が“1”以外であれば、順
序性管理テーブル20内に、そのトラックのID値と同
じものが保持されているかを検索する。同じID値が既
に保持されている場合には、トラック番号SNと順序性
管理テーブル20に既に保持されているトラック番号L
SNとを比較し、SN=LSN+1であるか否かを判断
する。RA14は、SN=LSN+1であれば、そのト
ラックをキャッシュメモリ16aへ書き込む一方、SN
≠LSN+1であれば、そのトラックのキャッシュメモ
リ16aへの書込を行なわず、そのトラックの書込をし
ばらく待機させてから、再度、キャッシュメモリ16a
から順序性管理テーブル20の読み込みを行なうように
動作する。なお、トラックのID値と同じものが順序性
管理テーブル20内に保持されていない場合にも、RA
14は、そのトラックのキャッシュメモリ16aへの書
込を行なわず、そのトラックの書込をしばらく待機させ
てから、再度、キャッシュメモリ16aから順序性管理
テーブル20の読み込みを行なうように動作する。
のようにしてトラックの書込が可能であると判断する
と、キャッシュメモリ16aにトラックを書き込み、書
込完了後、順序性管理テーブル20からトラックのID
値と同じID値を検索し、そのID値とリンクするトラ
ック番号領域に、そのトラックのトラック番号SNをL
SNとして書き込むように動作する。
能/構成は、いずれも、従来から用いられているリモー
ト転送を実現するためのファームウェア(プログラム)
に、若干の変更を施すことによって容易に実現される。
次に、第3実施形態によるリモート転送方法の手順につ
いて、図11および図12を参照しながら説明する。な
お、その際、第2実施形態の説明に用いた図10(a)
〜図10(d)も参照する。
タ1A側において、ホスト2Aにより順序性保証モード
が指定されている場合、ホスト2Aは、まず、リモート
FCU10AのSS16上に確保されたキャッシュメモ
リ16aに対して、同一I/Oに属するトラックT1お
よびT2を、順次、書き込む〔(1) および(6) 参照〕。
この時点で、2本の通信回線6−1,6−2はいずれも
使用されていないものとする。
1により、先にキャッシュメモリ16aに書き込まれた
トラックT1を読み出し、通信回線6−1(RA01/
RA03パス)を使用して副センタ1B側のリモートF
CU10Bへ転送する。このとき、トラックT1には、
ID値=0001およびトラック番号=0001が付加
される〔(2) 参照〕。
は、次にキャッシュメモリ16aに書き込まれたトラッ
クT2を転送するが、通信回線6−1(RA01/RA
03パス)が使用中であることから、RA02により、
トラックT2を読み出し、通信回線6−2(RA02/
RA04パス)を使用して副センタ1B側のリモートF
CU10Bへ転送する。このとき、トラックT2には、
ID値=0001およびトラック番号=0002が付加
される〔(7) 参照〕。
おいて、まず、正センタ1A側から転送されてきたトラ
ックT1をRA03が受信すると、このRA03は、キ
ャッシュメモリ16aから順序性管理テーブル20を読
み込み、トラックT1の書込の是非を判断する。このと
き、RA14は、前述した条件(c1)に従って動作
し、トラックT1の書込が可能であると判断する〔(3)
参照〕。このRA14の動作により、順序性管理テーブ
ル20は、図10(a)に示す状態から図10(b)に
示す状態となる。
れたキャッシュメモリ16aにトラックT1を書き込ん
だ後〔(4) 参照〕、キャッシュメモリ16a上の順序性
管理テーブル20のトラックT1に対応するトラック番
号領域を更新しトラックT1のトラック番号SNをLS
Nとして反映させる〔(5) 参照〕。これにより、順序性
管理テーブル20は、図10(b)に示す状態から図1
0(c)に示す状態となる。
0Bにおいては、トラックT1の書込処理中〔(3) およ
び(4) 参照〕に、正センタ1A側からのトラックT2を
RA04が受信し、このRA04は、キャッシュメモリ
16aから順序性管理テーブル20を読み込み、トラッ
クT2の書込の是非を判断する。このとき、順序性管理
テーブル20は図10(b)に示す状態であり、RA0
4は、前述した条件(c2)に従って動作する。即ち、
SN≠LSN+1(ここで、SN=2,LSN=0で、
2≠0+1)であって、トラックT1がキャッシュメモ
リ16a上に書き込まれていないことから、RA04
は、トラックT2の書込を不可と判断する〔図11の
(8) ,図12の(8)-1参照〕。
たRA04は、順序性管理テーブル20のトラック番号
が“0001”となるまで、キャッシュメモリ16aか
ら繰り返し順序性管理テーブル20を読み込む〔図11
の(8) ,図12の(8)-2参照〕。その間に、RA03に
よりトラックT1の書込を完了し〔(4) 参照〕、順序性
管理テーブル20への登録を完了すると〔(5) 参照〕、
順序性管理テーブル20が図10(c)に示すごとく更
新され、SN=LSN+1(ここで、SN=2,LSN
=1で、2=1+1)となるので、RA04は、トラッ
クT2の書込が可能であると判断する〔図11の(8) ,
図12の(8)-3参照〕。
たRA04は、SS16上に確保されたキャッシュメモ
リ16aにトラックT2を書き込んだ後〔(9) 参照〕、
キャッシュメモリ16a上の順序性管理テーブル20の
トラックT2に対応するトラック番号領域を更新しトラ
ックT2のトラック番号SNをLSNとして反映させる
〔(10)参照〕。これにより、順序性管理テーブル20
は、図10(c)に示す状態から図10(d)に示す状
態となる。
のリモート転送方法によっても、前述した第2実施形態
と同様の作用効果を得ることができる。 〔D〕第4実施形態の説明 ところで、上述した第2および第3実施形態によってリ
モート転送を行なう場合、図8や図11に図示すように
2回線構成で1回線に障害が発生したり、3本以上の通
信回線を有していても回線障害が発生した時点で未使用
の通信回線が存在しなかったりすると、下記のような転
送デッドロックが生じることがある。
送エラーが発生し、その転送エラーを生じたトラックを
転送するための未使用の通信回線が存在せず、さらに、
現在転送中のトラックのトラック番号の中に、転送エラ
ーを生じたトラックのトラック番号よりも大きいものが
存在するという3つの条件が万一重なった状態が生じた
ものとする。
るべきトラックが、先に副センタ1B側へ転送され、転
送エラーを生じたトラックが転送されてくるのを待機し
ている状態であるが、使用可能な通信回線が存在しない
ため、転送エラーを生じたトラックを転送できない状態
でロックする転送デッドロックが生じてしまう。そこ
で、本発明の第4実施形態としてのリモート転送方法で
は、上述した3つの条件が重なった場合には、正センタ
1A側のリモートFCU10Aにより、転送デッドロッ
ク状態のトラックの転送を中断させ、そのトラックの転
送のために使用中だった通信回線を使用して転送エラー
を生じたトラックの転送を行ない、転送デッドロックを
回避するようにしている。
転送方法について、図13〜図15を参照しながら説明
する。ここで、図13は本発明の第4実施形態としての
リモート転送方法を説明するためのフローチャート、図
14は本発明の第4実施形態としてのリモート転送方法
(回線障害による転送エラー発生時)を説明するための
ブロック図、図15は、本発明の第4実施形態としての
リモート転送方法(回線障害による転送エラー発生時)
を、時間軸および図14中の〜に対応させて説明す
るためのフローチャートである。
第2実施形態および第3実施形態によるリモート転送方
法のいずれにも適用することができるが、第4実施形態
では、第3実施形態によるリモート転送方法に適用した
場合について説明する。第4実施形態における正センタ
1A側のリモートFCU10Aは、第3実施形態のリモ
ートFCU10Aに、図13にフローチャート(ステッ
プS1〜S5)で示す機能を追加したものである。
クの転送時に回線障害により転送エラーが発生した場
合、リモートFCU10Aは、複数の通信回線のうち他
に未使用の転送パス(通信回線)が存在するか否かを確
認し(ステップS1)、未使用の転送パスが存在する場
合(ステップS1からYESルート)、その未使用の転
送パスを使用して転送エラーを生じたトラックの転送を
行なう(ステップS2)。
(ステップS1からNOルート)、リモートFCU10
Aは、現在転送中のトラックに付与されているトラック
番号と、転送エラーを生じたトラックに付与されている
トラック番号とを比較し、転送中のトラック番号の中
に、転送エラーを生じたトラックのトラック番号よりも
大きい番号が存在するか否かを判断する(ステップS
3)。
(ステップS3からNOルート)、リモートFCU10
Aは、使用中のいずれかの転送パスが解放されるまで転
送エラーを生じたトラックの転送を待機させる一方(ス
テップS4)、該当するシリアル番号が存在する場合
(ステップS3からYESルート)、該当するシリアル
番号を有するトラックの転送を中断させ、そのトラック
の転送のために使用中だった転送パスを使用して、転送
エラーを生じたトラックの転送を行なう(ステップS
5)。
ながら、図13にて上述した機能を追加された、第4実
施形態によるリモート転送方法(回線障害による転送エ
ラー発生時)について説明する。図14および図15に
示すように、正センタ1A側において、ホスト2Aによ
り順序性保証モードが指定されている場合、ホスト2A
は、まず、リモートFCU10AのSS16上に確保さ
れたキャッシュメモリ16aに対して、同一I/Oに属
するトラックT1およびT2を、順次、書き込む(お
よび参照)。この時点で、2本の通信回線6−1,6
−2はいずれも使用されていないものとする。
1により、先にキャッシュメモリ16aに書き込まれた
トラックT1を読み出し、通信回線6−1(RA01/
RA03パス)を使用して副センタ1B側のリモートF
CU10Bへ転送する。このとき、トラックT1には、
ID値=0001およびトラック番号=0001が付加
される(図14の,図15の−1参照)。
は、次にキャッシュメモリ16aに書き込まれたトラッ
クT2を転送するが、通信回線6−1(RA01/RA
03パス)が使用中であることから、RA02により、
トラックT2を読み出し、通信回線6−2(RA02/
RA04パス)を使用して副センタ1B側のリモートF
CU10Bへ転送する。このとき、トラックT2には、
ID値=0001およびトラック番号=0002が付加
される(図14の,図15の−1参照)。
信回線6−1上における回線障害による転送エラーが発
生し、トラックT1の転送に失敗すると、リモートFC
U10Aは、代わりの転送パスとして未使用パスを探す
が、他の通信回線6−2(RA02/RA04パス)も
使用中であるため、未使用パスが無いと判断する(図1
4の,図15の−2参照)。
U10Bにおいては、正センタ1A側からのトラックT
2をRA04が受信し、このRA04は、キャッシュメ
モリ16aから順序性管理テーブル20を読み込み、ト
ラックT2の書込の是非を判断し、トラックT1がキャ
ッシュメモリ16a上に書き込まれていないことから、
RA04は、トラックT2の書込を不可と判断する(図
14の,図15の−2参照〕。トラックT2の書込
が不可であると判断したRA04は、順序性管理テーブ
ル20のトラック番号が“0001”となるまで、キャ
ッシュメモリ16aから繰り返し順序性管理テーブル2
0を読み込む(図14の,図15の−3参照)。
トFCU10Aは、転送に失敗したパスのトラック番号
が“1”であり且つ転送中のパス(通信回線6−2;R
A02/RA04パス)のトラック番号“2”であるこ
とから、RA02/RA04パスによる転送を中断すべ
く中断指示を出力する(図14の,図15の−3参
照)。
断の指示が行なわれ(参照)、副センタ1B側におい
て、RA04は、RA02からの中断指示によりトラッ
クT2に対する処理を中断する(′参照)。この後、
リモートFCU10Aは、副センタ10B側のリモート
FCU10Bに対し、通信回線6−2(RA02/RA
04パス)を使用して、転送に失敗したトラックT1を
転送する(参照)。このときのリモートFCU10B
での動作説明については、第3実施形態と同様であるの
で省略する。
タ10B側のリモートFCU10Bに対し、通信回線6
−2(RA02/RA04パス)を使用して、転送に失
敗したトラックT1を転送する(参照)。このときの
リモートFCU10Bでの動作説明についても、第3実
施形態と同様であるので省略する。このように、本発明
の第4実施形態としてのリモート転送方法によれば、所
定の条件が重なって転送デッドロックが生じた場合で
も、正センタ1A側のリモートFCU10Aによって、
転送デッドロック状態のトラックの転送を中断させ、そ
のトラックの転送のために使用中だった通信回線を使用
して転送エラーを生じたトラックの転送を行なうことに
より、転送デッドロックが確実に回避され、トラックを
確実に転送することができる。
なく、本発明の趣旨を逸脱しない範囲で種々変形して実
施することができる。例えば、10Aと10Bとの間が
2本の通信回線6により接続されている場合について説
明しているが、本発明はこれに限定されるものではな
く、3本以上の通信回線6により接続してもよい。
スク制御装置によるリモート転送方法(請求項1)によ
れば、トラックの転送中にエラーが発生したとしても、
他の通信回線を使用するなどして、そのトラックの転送
を完了するまで次のトラックの転送開始を抑止できるの
で、トラックの順序性を確実に保証することができる。
るリモート転送方法(請求項2〜4)によれば、トラッ
クの転送中にエラーが発生し、副センタ側へのトラック
の転送順序が逆転して所定の順序性が損なわれたとして
も、副センタ側でトラックの順序調整を行なうことがで
きるので、トラックの順序性を確実に保証することがで
きる。
ドロックが生じた場合、正センタ側磁気ディスク制御装
置によって、転送デッドロック状態のトラックの転送を
中断させ、そのトラックの転送のために使用中だった通
信回線を使用して転送エラーを生じたトラックの転送を
行なうことにより、転送デッドロックが確実に回避さ
れ、トラックを確実に転送することができる(請求項
5)。
法を説明するためのシーケンス図である。
法を説明するためのブロック図である。
法を、時間軸および図1および図2中の〜に対応さ
せて説明するためのフローチャートである。
法(転送エラー発生時)を説明するためのブロック図で
ある。
法(転送エラー発生時)を説明するためのシーケンス図
である。
法(転送エラー発生時)を、時間軸および図4および図
5中の〜に対応させて説明するためのフローチャー
トである。
法で用いられる順序性管理テーブルの例を示す図であ
る。
法を説明するためのブロック図である。
法を、時間軸および図8中の (1)〜(10)に対応させて説
明するためのフローチャートである。
実施形態としてのリモート転送方法を実行した際の順序
性管理テーブルの登録状態を示す図である。
方法を説明するためのブロック図である。
方法を、時間軸および図11中の(1)〜(10)に対応させ
て説明するためのフローチャートである。
方法を説明するためのフローチャートである。
方法(回線障害による転送エラー発生時)を説明するた
めのブロック図である。
方法(回線障害による転送エラー発生時)を、時間軸お
よび図14中の〜に対応させて説明するためのフロ
ーチャートである。
用の副センタとをそなえたシステムの従来構成を示すブ
ロック図である。
CU間を通信回線により接続したリモートシステムの一
般的構成の一例を示すブロック図である。
ク図である。
明するためのブロック図である。
時間軸および図19中の〜に対応させて説明するた
めのフローチャートである。
説明するためのブロック図である。
を、時間軸および図21中の〜に対応させて説明す
るためのフローチャートである。
保証しながら転送されるべき2つのトラックの具体例を
示す図である。
示す2つのトラックが順序性を保証されながら転送され
た時の副センタ側リモートFCUの動作を説明するため
の図である。
示す2つのトラックの転送順序が逆になった時の副セン
タ側リモートFCUの動作を説明するための図である。
ィスク制御装置) 10B 副センタ側リモートFCU(副センタ側磁気デ
ィスク制御装置) 11 CA(Channel Adapter) 12 RM(Resource Manager) 13 TS(Table Storage) 14 RA(Remote Adapter) 15 CFE(Cache Function Engine) 16 SS(Shared Storage) 16a キャッシュメモリ 17 DA(Device Adapter) 18 C−BUS(Control-BUS) 20 順序性管理テーブル(Table)
Claims (5)
- 【請求項1】 磁気ディスク装置と該磁気ディスク装置
を制御する磁気ディスク制御装置とを有する正センタお
よび副センタをそなえ、該正センタ側磁気ディスク制御
装置と該副センタ側磁気ディスク制御装置との間を複数
本の通信回線により接続してなるリモートシステムにお
いて、該複数本の通信回線を通じて該正センタ側磁気デ
ィスク制御装置から該副センタ側磁気ディスク制御装置
へデータ転送を行なうためのリモート転送方法であっ
て、 複数のトラックを、その順序性を保証しながら、該正セ
ンタ側磁気ディスク制御装置から該副センタ側磁気ディ
スク制御装置へ連続的に転送する順序性保証モードが正
センタ側ホストにより指定されている場合、 該正センタ側磁気ディスク制御装置は、該正センタ側ホ
ストから1つのトラックの転送依頼を受けると、当該ト
ラックを該副センタ側磁気ディスク制御装置に転送し、
当該トラックの転送を完了した時点で該正センタ側ホス
トに転送完了通知を送り返し、 該正センタ側ホストは、該正センタ側磁気ディスク制御
装置から前記転送完了通知を受領すると、次のトラック
の転送依頼を該正センタ側磁気ディスク制御装置に対し
て発行することを特徴とする、磁気ディスク制御装置に
よるリモート転送方法。 - 【請求項2】 磁気ディスク装置と該磁気ディスク装置
を制御する磁気ディスク制御装置とを有する正センタお
よび副センタをそなえ、該正センタ側磁気ディスク制御
装置と該副センタ側磁気ディスク制御装置との間を複数
本の通信回線により接続してなるリモートシステムにお
いて、該複数本の通信回線を通じて該正センタ側磁気デ
ィスク制御装置から該副センタ側磁気ディスク制御装置
へデータ転送を行なうためのリモート転送方法であっ
て、 複数のトラックを、その順序性を保証しながら、該正セ
ンタ側磁気ディスク制御装置から該副センタ側磁気ディ
スク制御装置へ連続的に転送する順序性保証モードが正
センタ側ホストにより指定されている場合、 該正センタ側磁気ディスク制御装置は、同一I/O内の
複数のトラックには同一の識別番号と該正センタ側ホス
トからの送出順に対応したシリアル番号とを付与し、前
記の識別番号およびシリアル番号を付与された当該複数
のトラックを該複数本の通信回線により同時に該副セン
タ側磁気ディスク制御装置に転送し、 該副センタ側磁気ディスク制御装置は、 該正センタ側から転送され該副センタ側で書き込まれた
トラックに付与された識別番号と、その識別番号を有し
且つ最後に該副センタ側で書き込まれたトラックに付与
されたシリアル番号LSNとを対応させて保持する順序
性管理テーブルをそなえ、 該正センタ側から新たなトラックが転送されてくると、
当該トラックに付与されているシリアル番号SNと、該
順序性管理テーブルに保持されている、当該トラックに
付与された識別番号に対応する前記シリアル番号LSN
とを比較し、 SN≠LSN+1である場合、他のトラックの書込によ
って該順序性管理テーブルの前記シリアル番号LSNが
更新されてSN=LSN+1となるまで、当該トラック
に対して書込許可を与えないで当該トラックを待機させ
る一方、 SN=LSN+1である場合、当該トラックに対して書
込許可を与え、当該トラックの該副センタ側磁気ディス
ク装置への書込を完了した時点で該順序性管理テーブル
の前記シリアル番号LSNとして当該トラックの前記シ
リアル番号LSNを登録・更新することを特徴とする、
磁気ディスク制御装置によるリモート転送方法。 - 【請求項3】 該順序性管理テーブルが、該副センタ側
磁気ディスク制御装置内の資源を管理/制御するリソー
スモジュールによって管理されていることを特徴とす
る、請求項2記載の磁気ディスク制御装置によるリモー
ト転送方法。 - 【請求項4】 該順序性管理テーブルが、当該トラック
を該副センタ側磁気ディスク装置へ書き込む前に一時的
に書き込むためのキャッシュメモリ上にそなえられてい
ることを特徴とする、請求項2記載の磁気ディスク制御
装置によるリモート転送方法。 - 【請求項5】 あるトラックの転送時に回線障害により
転送エラーが発生した場合、 該正センタ側磁気ディスク制御装置は、 該複数の通信回線のうち他に未使用の通信回線が存在す
るか否かを確認し、 未使用の通信回線が存在する場合、その未使用の通信回
線を使用して、転送エラーを生じた当該トラックの転送
を行なう一方、 未使用の通信回線が存在しない場合、現在転送中のトラ
ックに付与されているシリアル番号の中に、転送エラー
を生じた当該トラックに付与されているシリアル番号よ
りも大きいシリアル番号が存在するか否かを判断し、 該当するシリアル番号が存在しない場合、使用中の通信
回線が解放されるまで転送エラーを生じた当該トラック
の転送を待機させる一方、 該当するシリアル番号が存在する場合、該当するシリア
ル番号を有するトラックの転送を中断させ、そのトラッ
クの転送のために使用中だった通信回線を使用して、転
送エラーを生じた当該トラックの転送を行なうことを特
徴とする、請求項2〜請求項4のいずれかに記載の磁気
ディスク制御装置によるリモート転送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10796198A JP3612209B2 (ja) | 1998-04-17 | 1998-04-17 | 磁気ディスク制御装置によるリモート転送方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10796198A JP3612209B2 (ja) | 1998-04-17 | 1998-04-17 | 磁気ディスク制御装置によるリモート転送方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11305950A true JPH11305950A (ja) | 1999-11-05 |
JP3612209B2 JP3612209B2 (ja) | 2005-01-19 |
Family
ID=14472463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10796198A Expired - Fee Related JP3612209B2 (ja) | 1998-04-17 | 1998-04-17 | 磁気ディスク制御装置によるリモート転送方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3612209B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03108930A (ja) * | 1989-09-22 | 1991-05-09 | Ricoh Co Ltd | 非同期通信方式 |
JPH05100795A (ja) * | 1991-10-04 | 1993-04-23 | Nec Corp | 直編成フアイルのデータバツクアツプ方式 |
JPH07244597A (ja) * | 1994-02-22 | 1995-09-19 | Internatl Business Mach Corp <Ibm> | 災害復旧機能を提供するために整合性グループを形成する方法および関連するシステム |
JPH09261269A (ja) * | 1996-03-26 | 1997-10-03 | Toshiba Corp | データ配送方法 |
-
1998
- 1998-04-17 JP JP10796198A patent/JP3612209B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03108930A (ja) * | 1989-09-22 | 1991-05-09 | Ricoh Co Ltd | 非同期通信方式 |
JPH05100795A (ja) * | 1991-10-04 | 1993-04-23 | Nec Corp | 直編成フアイルのデータバツクアツプ方式 |
JPH07244597A (ja) * | 1994-02-22 | 1995-09-19 | Internatl Business Mach Corp <Ibm> | 災害復旧機能を提供するために整合性グループを形成する方法および関連するシステム |
JPH09261269A (ja) * | 1996-03-26 | 1997-10-03 | Toshiba Corp | データ配送方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3612209B2 (ja) | 2005-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8589642B2 (en) | Computer system duplicating writes by synchronous remote copy with multiple host computers using heterogeneous operating systems | |
US7225307B2 (en) | Apparatus, system, and method for synchronizing an asynchronous mirror volume using a synchronous mirror volume | |
US5742792A (en) | Remote data mirroring | |
US6052797A (en) | Remotely mirrored data storage system with a count indicative of data consistency | |
US5889935A (en) | Disaster control features for remote data mirroring | |
JP3364572B2 (ja) | 多重パスi/o要求機構を有するデータ処理システム及びキュー・ステータス更新方法 | |
US7139932B2 (en) | Data synchronization of multiple remote storage after remote copy suspension | |
JP4382602B2 (ja) | リモートコピーシステム | |
JP2005182222A (ja) | リモートコピーシステム | |
JPH1185408A (ja) | 記憶制御装置 | |
US5247618A (en) | Transferring data in a digital data processing system | |
JP2002149499A (ja) | データの完全性を備えるリモートコピーシステム | |
JP2004348174A (ja) | 記憶装置システム | |
US6728818B2 (en) | Dual storage adapters utilizing clustered adapters supporting fast write caches | |
JPH11305950A (ja) | 磁気ディスク制御装置によるリモート転送方法 | |
US7913028B2 (en) | Data processing system having multiplexed data relaying devices, data processing aparatus having multiplexed data relaying devices, and a method of incorporating data relaying devices in data processing system having multiplexed data relaying devices | |
EP0405861B1 (en) | Transferring data in a digital data processing system | |
JP4806037B2 (ja) | データ記憶システム及び非同期レプリケーション方法 | |
JPH08166909A (ja) | 記憶制御装置 | |
JPH09190371A (ja) | 計算機システムの記憶等値化装置 | |
JP2000231518A (ja) | リモートファイル制御装置 | |
JP2001043149A (ja) | リモートfcuの制御方法及びリモートfcu | |
JPH11305948A (ja) | 磁気ディスク制御装置によるリモート転送方法 | |
JP2000047953A (ja) | リモートファイル制御装置 | |
JPS63209245A (ja) | デ−タ処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041022 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071029 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081029 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081029 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101029 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101029 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111029 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111029 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121029 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121029 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |