JP2780372B2 - デイスク制御装置のキヤツシユ組込制御方法 - Google Patents

デイスク制御装置のキヤツシユ組込制御方法

Info

Publication number
JP2780372B2
JP2780372B2 JP1222615A JP22261589A JP2780372B2 JP 2780372 B2 JP2780372 B2 JP 2780372B2 JP 1222615 A JP1222615 A JP 1222615A JP 22261589 A JP22261589 A JP 22261589A JP 2780372 B2 JP2780372 B2 JP 2780372B2
Authority
JP
Japan
Prior art keywords
cache
disk
initialization
request
failure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP1222615A
Other languages
English (en)
Other versions
JPH0384643A (ja
Inventor
雅晴 赤津
智洋 村田
謙三 栗原
守彦 四谷
匡二 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP1222615A priority Critical patent/JP2780372B2/ja
Priority to US07/573,784 priority patent/US5375227A/en
Publication of JPH0384643A publication Critical patent/JPH0384643A/ja
Application granted granted Critical
Publication of JP2780372B2 publication Critical patent/JP2780372B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C29/00Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/70Masking faults in memories by using spares or by reconfiguring
    • G11C29/88Masking faults in memories by using spares or by reconfiguring with partially good memories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/31Providing disk cache in a specific location of a storage system
    • G06F2212/312In storage controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、キャッシュを内蔵するディスク制御装置に
おいて、オンライン中にキャッシュを組み込むための制
御方法に関し、さらに、それを用いてオンライン中にキ
ャッシュの保守やキャッシュの自動閉鎖および復旧を行
うための制御方法に関するものである。
〔従来の技術〕
従来、計算機システムにおいて、処理装置からの記憶
装置への参照の状況には、 (イ)同一の情報を複数回参照する。
(ロ)ある情報を参照すると、その近傍の情報も合わせ
て参照する。
等の性質があり、この性質を利用して、高速・小容量の
記憶装置と低速・大容量の記憶装置を2階層に組み合わ
せることにより、見掛け上、高速・大容量の記憶装置を
実現することができる。
補助記憶で最も多く利用されているのは、磁気ディス
ク装置であり、そのアクセス時間は主記憶装置と比較し
て105倍も遅く、このアクセス時間のギャップを埋める
ために、磁気ディスク用のバッファ記憶装置(ディスク
キャッシュと呼ばれ、以下キャッシュと記載)を設け、
上記の見掛け上の高速・大容量の記憶装置を実現してい
る。
これら、従来のキャッシュ付きディスク制御装置にお
いて、オンライン中に可能なキャッシュに関する制御に
関しては、以下に記載するものがある。
(a)キャッシュが正常な状態のときに、キャッシュを
使用するかしないかを切り換える。
(b)キャッシュ周りに障害が発生したときに、キャッ
シュを使用禁止にする。
これらの詳しい内容は、特開昭60−79447号公報に記
載されている。
〔発明が解決しようとする課題〕
従来のキャッシュ付きディスク制御装置において、オ
ンライン中に可能なキャッシュに関する制御方法では、
なんらかの障害によって、キャッシュを使用禁止にした
後、再び使用可能にするという制御をオンライン中で行
うことはできなかった。すなわち、新しいキャッシュと
取替えたり、イニシャライズを行うためには、ディスク
制御装置をオフライン状態にして、ディスク入出力処理
を中断する必要があった。
そのため、キャッシュの保守作業の間は、ディスク自
体の入出力処理がストップしてしまうという問題があっ
た。
さらに、従来技術において、オンライン中に保守作業
を行うには、以下のような問題点がある。
取替えたキャッシュのイニシャライズにかかる時間
が、上位ホストコンピュータからのディスク入出力処理
要求が発行されてからディスク制御装置が要求受諾の応
答を返すまでの許容時間と比べてはるかに長いため、デ
ィスク制御装置内のあるプロセッサが専属でイニシャラ
イズを始めてしまうと、このプロセッサで制御していた
ストレージパスは、ディスク入出力処理要求を受け付け
ることができない。従って、オンライン処理に大きな影
響を与えないで保守を行うことは事実上不可能であっ
た。
また、キャッシュ障害が発生すると、キャッシュの使
用を禁止する制御を行っていた。これは、キャッシュ本
体のハード障害発生時に限らず、キャッシュ本体のハー
ドウェアには障害がなくても、キャッシュへの一連の書
き込みシーケンスの途中で、プロセッサがダウンした
り、電源が一時的に落ちたりして、キャッシュに書き込
まれた内容が保証できなくなれば、同様にキャッシュを
使用禁止としていた。このような場合、キャッシュ本体
のハードには異常が無いのであるから、イニシャライズ
を行えば、また使用できるのであるが、そのためには、
やはり、オフライン状態にして保守員が介入する必要が
あった。
本発明の目的は、これら従来技術の課題を解決し、デ
ィスク入出力処理を妨げずに、キャッシュのイニシャラ
イズ処理ができ、オンライン中のキャッシュの保守作業
を可能とし、かつ、キャッシュの内容が保証できないよ
うな障害が発生しても、キャッシュ本体のハードが正常
である場合には、オンライン中に、自動的にキャッシュ
を使用可能に復旧し、キャッシュ付ディスク制御装置の
稼働率を向上させるディスク制御装置のキャッシュ組込
制御方法を提供することである。
〔課題を解決するための手段〕
上記目的を達成するため、本発明のディスク制御装置
のキャッシュ組込制御方法は、(1)ホストコンピュー
タとディスク装置のあいだのデータ転送を制御する複数
のストレージパスと、このストレージパスから読み出し
・書き込み可能なキャッシュを有するディスク制御装置
において、キャッシュを複数の部分に分割して管理する
キャッシュ制御部を用い、キャッシュの不使用の状態で
稼働している際のホストコンピュータからのキャッシュ
組込要求に対して、キャッシュのイニシャライズを複数
の部分に分割して行い、かつ、ディスクに対する入出力
処理の空き時間に繰返し行うことにより、キャッシュの
全面イニシャライズをオンライン中に行い、この全面イ
ニシャライズの完了した段階で、キャッシュ使用を開始
することを特徴とする。また、(2)上記(1)に記載
のキャッシュの分割単位は、ディスク制御装置がホスト
コンピュータからの入出力処理要求を待たせておける時
間より短い時間でイニシャライズを終了する分割単位で
あることを特徴とする。また、(3)上記(1)に記載
のキャッシュの分割イニシャライズは、イニシャライズ
されていない部分を1つ取り出して、このイニシャライ
ズされていない部分のイニシャライズを行い、このイニ
シャライズの完了時点で、イニシャライズ処理を一時中
断し、ディスクに対する入出力処理の有無を確認し、こ
のディスクに対する入出力処理の無い場合には、次のイ
ニシャライズされていない部分を1つ取り出して、この
イニシャライズされていない部分のイニシャライズを行
うことを特徴とする。また、(4)上記(1)に記載の
ディスク制御装置にタイマを施し、このタイマによりカ
ウントされた一定時間経過ごとに、ホストコンピュータ
からのディスクに対する入出力処理要求の有無を調べ、
この入出力要求がないことを確認の上、キャッシュの分
割イニシャライズ処理を行うことを特徴とする。また、
(5)上記(1)に記載のディスク制御装置は、複数の
ストレージパスと、このストレージパスの制御を行う一
台以上のプロセッサを有し、キャッシュ不使用の状態で
稼働している際のキャッシュ組込要求に対して、ディス
クの入出力処理を行っていないプロセッサの任意の1つ
が、キャッシュの分割イニシャライズを行うことを特徴
とする。さらに、(6)上記(1)〜(5)に記載のい
ずれか1つのキャッシュの分割イニシャライズを行うデ
ィスク制御装置は、サービスプロセッサに接続され、か
つ、このサービスプロセッサを介しての、保守員による
キャッシュメモリの障害修復後のキャッシュ組込要求に
対して、このキャッシュ組込要求を記憶し、さらに、サ
ービスプロセッサにこのキャッシュ組込要求の受諾を返
し、そして、オンライン中にキャッシュの分割イニシャ
ライズを行い、分割イニシャライズおよびキャッシュ組
込の完了、あるいは、障害発生によるキャッシュ組込の
失敗を、サービスプロセッサへ通知し、キャッシュの保
守制御を行うことを特徴とする。そして、(7)上記
(1)〜(5)に記載のいずれか1つのキャッシュの分
割イニシャライズを行うディスク制御装置は、キャッシ
ュへのアクセス中に障害が発生したときに、キャッシュ
本体のハード障害か否かを判別する障害内容判別部と、
キャッシュ上データの管理情報を更新中であったか否か
を判別するキャッシュデータ管理更新判別部を有し、キ
ャッシュ本体のハードウェアは正常であり、かつ、キャ
ッシュ上データの管理情報を更新中であった障害に対し
ては、ディスク制御装置側で一時的にキャッシュの使用
を禁止し、ディスク制御装置内の全プロセッサがキャッ
シュの使用を中止したことを確認した後、キャッシュを
分割してイニシャライズし、再び、キャッシュを使用可
能にし、キャッシュの自動閉鎖・復旧制御を行うことを
特徴とする。
〔作用〕
本発明におけるディスク制御部では、ホストコンピュ
ータがオンライン処理中にディスク入出力処理を中断し
ても、タイムアウトエラーを発生させない程度の時間内
で、ディスク制御装置内のプロセッサがイニシャライズ
できる部分に、キャッシュを分けて管理する。
そして、ディスク制御部は、ホストコンピュータから
のキャッシュ組込要求に応答して、キャッシュのイニシ
ャライズ処理を、部分的に行い、これを繰り返して、そ
の合間に、ディスク入出力処理要求を処理する。このよ
うにして、オンライン処理と並行して大容量キャッシュ
の全面イニシャライズを行う。
同様に、保守員からのキャッシュの組込要求がある時
にも、ディスクからの入出力処理の空き時間にその部分
だけイニシャライズを行い、これを繰り返すことによ
り、オンライン処理と並行して大容量キャッシュの全面
イニシャライズを行う。
さらに、キャッシュの論理障害とメモリのハード障害
を切り分け、論理障害が発生したときには、一時的にキ
ャッシュの使用を禁止すると共に、保守員の介入なしに
ディスク制御装置側で自動的にキャッシュの全面イニシ
ャライズを行ったあと、再びキャッシュを使用可能とす
る。
このようにすることにより、イニシャライズ処理によ
る通常オンライン処理への大きな影響を与えること無
く、大容量キャッシュのイニシャライズを完了すること
ができる。
〔実施例〕
以下本発明の実施例を、図面により詳細に説明する。
第1図は本発明を施したキャッシュ付きディスク制御
装置に持つディスクサブシステムを含むシステムの構成
を示すブロック図である。
ディスク制御装置2、ディスク3、および、サービス
プロセッサ4から構成されるディスクサブシステム5を
ホストコンピュータ1に接続することによりシステムが
構成される。さらに、ディスク制御装置2は、チャンネ
ルスイッチ21、プロセッサ22、キャッシュ23、ホストコ
ンピュータ1からのディスク入出力処理要求(以下、単
に処理要求と記載)に対する答を制御するレジスタ24、
および、キャッシュ23を制御するためのテーブル25を有
する。
キャッシュ23は、揮発性メモリであり、ディスク3内
の格納データの一部のコピーを必要に応じて格納してお
く。そして、キャッシュ23にあらかじめ格納しておいた
データに対するアクセス要求(このようなアクセス要求
をキャッシュ23にヒットしたアクセス要求という)に対
しては、キャッシュ23へのアクセスを行い、ディスク3
とのデータのやり取りを行なわない。これにより、デー
タに対するアクセス応答性の向上を図る。尚、更新デー
タは、ホストコンピュータとの接続を断ったあと、ディ
スク制御装置2の空き時間にキャッシュ23からディスク
3に反映される。
レジスタ24は、Runレジスタ41、Waitレジスタ242、Bu
syレジスタ243から構成され、いずれのレジスタも、チ
ャネルスイッチ21当たり1Bitを有する。
Runレジスタ241は、各チャネルスイッチ21がホストコ
ンピュータ1からの処理要求を検知しているか否かを表
す。検知しているときに‘1'が立つ。
Waitレジスタ242は、ホストコンピュータ1からの処
理要求があったときに、プロセッサ22が他の処理をして
いたためにその要求を受け付けられなかった場合に、こ
のチャネルスイッチ21に対応するBitに‘1'が立つ。
Busyレジスタ243は、プロセッサ22が各チャネルスイ
ッチ21の各チャネル(A、B、C、D)からの処理要求
を受け付けられるか否かを表し、‘1'が立っているチャ
ネルスイッチ21のチャネル(A、B、C、D)に対して
は、受け付けられない。
チャネルスイッチ21は、ホストコンピュータ1からの
処理要求を検知したときに、Busyレジスタ243、およ
び、Runレジスタ241の対応Bitが‘0'の場合に限り、Run
レジスタ241の対応Bitに‘1'を立てる。そうでない場合
には、ホストコンピュータ1に対して、「現在、ディス
ク制御装置2内のプロセッサ22が、他の処理をしている
ために、処理要求を受け付けられない」という旨を通知
すると共に、Waitレジスタ242の対応Bitに‘1'を立て
る。この場合、ホストコンピュータ1側では、ディスク
制御装置2から要求受付が可能になったという通知が来
るのを一定時間待つ。一定時間待っても通知が来ないと
きには、障害が発生したとみなして、障害用の処理が行
われる。
キャッシュ制御用テーブル25は、キャッシュ・ステー
タス251、キャッシュ組込要求フラグ252、および、キャ
ッシュ・イニシャライズ管理テーブル253から構成され
る。
キャッシュ・ステータス251は、キャッシュ23が使用
可能か否かを表し、‘1'で使用可、‘0'で使用不可を示
す。
キャッシュ組込要求フラグ252は、キャッシュ23の組
込要求の有無を表し、‘1'で要求あり、‘0'で要求なし
を示す。
キャッシュ・イニシャライズ管理テーブル253は、キ
ャッシュ組込要求フラグ252がセットされているときに
有効なテーブルであり、一回のキャッシュ・イニシャラ
イズの単位(n分割したエリア)ごとに、イニシャライ
ズ済みか否かを表す。‘1'でイニシャライズ済み、‘0'
でイニシャライズ未済を示す。尚、キャッシュの容量を
M ward(キャッシュの読み書き最小単位をwordと呼ぶ
こととする)、キャッシュを1wordイニシャライズする
のにかかる時間をsとすると、一回のイニシャライズ時
間t1は、 t1=M÷n×s である。
従って、ホストコンピュータ1が、処理要求を受け付
けられないという通知を受けてから、受付可能という通
知が来るのを待っている許容時間をt2とすると、 t1<t2 が成立するように、nの値を設定する。
次に、本発明におけるキャッシュ組込制御方法を含む
第1図におけるプロセッサ22の処理動作を説明する。
第2図は、第1図におけるプロセッサ22の処理動作を
示すフローチャートである。
まず、全体の流れに関して説明する。
一点鎖線で囲われた部分がステップ500で開始される
ホストコンピュータ1に対する処理で、ステップ501か
らステップ505を行う。点線で囲われた部分がステップ5
20で開始されるキャッシュ組込処理で、ステップ521か
らステップ529の処理を行う。
まず、ステップ500に始まる対ホストコンピュータ1
用の処理(ステップ500〜ステップ505)において、ホス
トコンピュータ1からの処理要求をチェックする。ホス
トコンピュータ1からの処理要求が無かった場合には、
次に、キャッシュ組込要求フラグをチェックして、キャ
ッシュ組込要求があるかどうかを調べる(ステップ51
0)。キャッシュ組込要求が無い場合には、再び、ステ
ップ500から始まるホストコンピュータ1に対する処理
に戻り、キャッシュ組込処理要求があるまでこのスキャ
ンを繰り返す。
ステップ510においてキャッシュ組込要求がある場合
には、キャッシュ組込処理(ステップ520以降)を開始
する。以上が全体の処理の流れである。
次に、対ホストコンピュータ1用の処理(ステップ50
0〜ステップ505)の処理内容を説明する。
まず、Busyレジスタ243を0クリアして、チャネルス
イッチ21のどのチャンネル(A、B、C、D)からの処
理要求も受付可能な状態にする(ステップ501)。
次に、Waitレジスタ242をチェックして、受け付けら
れるのを待っている処理要求があるかどうかを調べる
(ステップ502)。処理要求がある場合には、チャネル
スイッチ21の対応チャネル(A、B、C、D)を通じ
て、処理要求を受け付け可能になった旨を通知する(ス
テップ503)。ホストコンピュータ1では、この通知を
受け取ると、改めて処理要求を発行する。
Waitレジスタ242が全て‘0'の場合には、次に、Runレ
ジスタ241をチェックして、現在、処理要求があるかど
うかを調べる(ステップ504)。処理要求がある場合に
は、以下、通常のオンライン処理を行う(ステップ50
5)。この処理に際しては、キャッシュテーブル25内の
キャッシュ・ステータス251をチェックして、‘1'がセ
ットされていれば、キャッシュ23を使用し、‘0'なら
ば、キャッシュ23を使用しないで、アクセス処理を行
う。
次に、キャッシュ組込処理(ステップ520〜529)の処
理内容を説明する。
まず、Busyレジスタ243をチャネルスイッチ21の全チ
ャネルに対して‘1'にセットする(ステップ521)。次
に、キャッシュ・ステータス251をチェックして、キャ
ッシュが使用可能かどうかを調べる(ステップ522)。
キャッシュが既に使用可能状態である場合は、キャッシ
ュ組込要求は不当であるので、キャッシュ組込要求フラ
グ252をリセットして、キャッシュ組込処理を終了する
(ステップ529)。そして、再び、ステップ500からの対
ホストコンピュータ用の処理に戻る。
キャッシュ23が使用可能状態である場合には、次に、
イニシャライズする部分の選択処理を行う(ステップ52
3)。具体的には、キャッシュ・イニシャライズ管理テ
ーブル253をサーチして、値が‘0'の部分を1つ取り出
す。そして、今選んだ部分のメモリイニシャライズを行
う(ステップ254)。第k番目を選択した場合には、イ
ニシャライズする領域は、M÷n×(k−1)を先頭ア
ドレスとするM÷n wordである。
この部分イニシャライズの処理中に、キャッシュメモ
リ23自体に恒久的な障害が発生した場合には、キャッシ
ュ組込処理を続行することは不可能なので、キャッシュ
組込要求フラグ252をリセットして、キャッシュ組込処
理を終了する(ステップ529)。そして、再び、ステッ
プ500の処理に戻る。
部分イニシャライズが正常に終了した場合には、キャ
ッシュ・イニシャライズ管理テーブル253の該当部を
‘1'にセットし(ステップ526)、キャッシュ全面のイ
ニシャライズがすんだかどうかを調べる(ステップ52
7)。キャッシュ・イニシャライズ管理テーブル253が全
て‘1'ならば、イニシャライズ完了である。
イニシャライズ未完了の場合には、キャッシュ組込処
理(ステップ520〜529)を抜けて、ステップ500から始
まる対ホストコンピュータ1用の処理に戻る。
イニシャライズ中に発生したホストコンピュータ1か
らの処理要求は、ホストコンピュータがタイムアウトに
してしまう前にステップ502で見つけられる。
キャッシュ組込要求フラグ252に‘1'がセットされて
いる間は、以上の処理が繰り返され、キャッシュ全面の
イニシャライズが完了する。
キャッシュ全面のイニシャライズが完了すると、キャ
ッシュ・ステータス251を‘1'にセットし(ステップ52
8)、キャッシュ組込要求フラグ252をリセットして(ス
テップ529)、キャッシュ組込処理を終了する、これ以
降は、キャッシュ・ステータス251が‘1'にセットされ
ているので、キャッシュを使用したアクセス処理が行わ
れる。
以上述べた第1の実施例によれば、キャッシュ23が使
用不可能な状態で、ホストコンピュータ1からのキャッ
シュ組込要求があれば、オンライン中にキャッシュ23の
イニシャライズ処理を行って、キャッシュ使用可能状態
にすることができる。しかも、イニシャライズ処理は、
ディスク入出力処理要求が無いときに限り開始され、そ
の1回の処理時間は、ホストコンピュータ1が処理要求
を受け付けられないという通知を受けてから、受け付け
可能という通知が来るのを待っている許容時間(タイム
アウト監視時間)より短いため、ホストコンピュータ1
からのディスク入出力処理要求を見逃すことはなく、キ
ャッシュ・イニシャライズ処理のためのホストコンピュ
ータI/Oのタイムアウトを引き起こす危険性はない。
さて、第1の実施例では、ディスク入出力処理要求が
無い時には、プロセッサ22がキャッシュ組込要求を行う
かどうかを毎回調べていたが、プロセッサ22のオーバヘ
ッド削減の観点から、タイマを用いてキャッシュ組込処
理の起動を制御する方法も考えられる。以下、これを説
明する。
第3図は、本発明を施した第2の実施例の構成を示す
ブロック図である。
上記第1の実施例における計算機システムにタイマ33
3(ソフトタイマ)を付加した構成となっている。
上記に述べたように、このタイマ333は、キャッシュ
組込処理の起動を制御するためのものである。
第4図は、第3図の第2の実施例におけるプロセッサ
22の処理動作を示すフローチャートである。
まず、第2図における対ホストコンピュータ1用の処
理(ステップ500〜505)を行う(ステップ530)。ホス
トコンピュータ1からの処理要求が無い場合には、第3
図のタイマ333をカウントアップする(ステップ531)。
そして、タイマ333があらかじめ設定した閾値を越えた
かどうかを調べる(ステップ532)。
閾値を越えていない場合には、キャッシュ組込処理は
行わず、ステップ530の処理に戻る。
閾値を越えた場合には、キャッシュ組込要求があるか
否かを調べ(ステップ533)、要求がある場合には、第
2図のステップ520〜529で述べたキャッシュ組込処理を
行う(ステップ534)。
そして、キャッシュ組込処理(ステップ534)を抜け
たあとで、タイマ333をリセットし(ステップ535)、ス
テップ530の処理に戻る。
本実施例によれば、タイムアップの閾値を比較的大き
くしておくと、キャッシュ組込処理の起動間隔が長くな
るため、ホストコンピュータ1からの処理要求を待たせ
る可能性を小さくすることができる。また閾値を小さく
すれば、ホストコンピュータからの処理要求を待たせる
確立は高くなるものの、キャッシュ組込処理の開始から
完了までの時間を短くすることができる。このように、
タイムアップの閾値を変えることで、キャッシュ組込処
理を柔軟に制御できる。
尚、第2の実施例では、ソフトタイマを用いる方法に
ついて述べたが、ハードタイマを使用する方法も考えら
れる。その場合には、ステップ531、553の処理は不要
で、その代りに、タイマ値が閾値が越えたときに、割込
みが発生するようにする。その割込みを検知したとき
に、ステップ533以下の処理に入るようにすれば良い。
勿論、通常のオンライン処理を行っている最中は、割込
みマスクをかける必要がある。
ところで、以上述べてきた実施例では、ディスク制御
装置2内にプロセッサが1台の場合について説明した
が、複数のプロセッサを有するディスク制御装置でも本
発明を実現できる。以下、このような場合についての説
明を行う。
第5図は、第3の実施例の構成を示すブロック図であ
る。
その構成は、基本的には、第1図の構成と同様であ
る。ディスク制御装置222内には、キャッシュ制御テー
ブル245を共通メモリ内に配し、また、プロセッサ22,24
2間の排他をするためのロック254を用意する。このロッ
ク254は、キャッシュ・イニシャライズ単位ごとに用意
されており、対応する部分のイニシャライズを開始する
時にロックを取得し、終了したときに開放する。これに
より、複数のプロセッサ22,242が、同一部分のイニシャ
ライズを行うことを避ける。各プロセッサ22,242は、ロ
ックの取得・開放を行いながら、前記第1の実施例で説
明した処理を並行して行う。
これにより、ホストコンピュータ1からの処理要求が
比較的少ない暇なプロセッサ(22または242)がキャッ
シュ組込処理を多く行えるようになるので、プロセッサ
間の負荷を分散できる。
次に、上記第3の実施例を利用した計算機システムの
オンライン中のキャッシュ保守方法について説明する。
第6図は、第5図の計算機システムにおけるキャッシ
ュ保守の処理動作を示すフローチャートである。
保守員は、サービスプロセッサ4を介してディスク制
御装置222へ要求を出す。
まず、キャッシュ23の使用禁止要求を出す(ステップ
600)。
ディスク制御装置222では、これを受諾するとキャッ
シュステータス251を‘0'に落し(ステップ610)、キャ
ッシュ23の使用禁止を設定する。この処理により、これ
以降、ディスク制御装置222では、キャッシュ23を使用
しないで、アクセス処理を行う。
ここで、第5図において、ディスク制御装置222は、
プロセッサを複数有するので(22,242)、キャッシュ・
ステータス251を‘0'に落す前にキャッシュアクセスを
開始していた他のプロセッサの処理終了まで待ち、キャ
ッシュ23を使用中のプロセッサが無いことを確認する
(ステップ620)。これは、キャッシュ使用フラグ255を
用いて調べる。キャッシュ使用中フラグ255は、プロセ
ッサ当たり1bitのフラグで、各プロセッサが、キャッシ
ュ使用開始前に‘1'を立て、キャッシュ使用終了後に
‘0'に落す。このフラグが全プロセッサに対して‘0'で
あることを確認した時点で、サービスプロセッサ4に対
してキャッシュ閉鎖完了の報告を行う。
保守員は、その完了報告を受け取ると、キャッシュ23
の電源を落して、キャッシュ23を交換することができる
(ステップ630)。そして、交換が済んだ段階で、保守
員は、キャッシュ23の電源を入れ、サービスプロセッサ
4を介して、ディスク制御装置222にキャッシュ組込要
求を出す(ステップ640)。
ディスク制御装置222では、これを受諾すると、キャ
ッシュ組込要求252を‘1'にセットし(ステップ650)、
サービスプロセッサ4に対して、要求受諾を報告する。
この処理終了後、ディスク制御装置222とサービスプロ
セッサ4との接続を断つ。
この後、ディスク制御装置222内部で、先に述べたキ
ャッシュ組込処理が行われる。そして、ディスク制御装
置222は、キャッシュ23の全面イニシャライズが終了し
た時には、サービスプロセッサ4に組込処理完了報告を
行う。また、障害が発生して、イニシャライズが失敗に
終わった時には、組込処理失敗報告を行う。
従って、保守員は、キャッシュ組込み要求受諾の報告
を受けた後は、組込完了報告、または、組込処理失敗報
告が来るのを待てば良い。勿論、組込が完了した場合に
は、先の実施例で述べたように、自動的に、キャッシュ
23が使用されるようになる。
上記説明においては、複数のプロセッサを使用したデ
ィスク制御装置222に関して行ったが、第1および第2
の実施例等の単数のプロセッサによる制御を行う計算機
システムにおいても同様のオンライン中のキャッシュ保
守方法が実現できる。その場合には、上記ステップ610
と620を必要とせず、ステップ600のキャッシュの使用禁
止要求後すぐにキャッシュの交換(ステップ630)に移
る。
このように、これら第1〜第3の実施例によれば、オ
ンライン中に保守員が介入して、キャッシュ23の保守作
業を行うことができる。
尚、サービスプロセッサ4を使用せずに、ホストコン
ピュータ1からのキャッシュ組込処理要求を利用して、
第6図で説明した手順で、オンライン中の保守作業を実
現することも可能である。
次に、キャッシュ障害の場合におけるキャッシュの自
動閉鎖/復旧制御方法について説明する。
第7図は、第5図におけるプロセッサを、さらに、4
台(I、II、III、IV)にした場合の計算機システムの
キャッシュ制御テーブル325の内部構成を示すブロック
図である。
第5図において説明したキャッシュ・ステータス25
1、キャッシュ組込要求フラグ252、キャッシュ・イニシ
ャライズ管理テーブル253、ロック254、キャッシュ使用
中フラグ255の他に、キャッシュアクセス可否フラグ25
6、キャッシュデータ管理部更新中フラグ257から構成さ
れる。
キャッシュアクセス可否フラグ256は、プロセッサ当
たり1bitのフラグで、各プロセッサがキャッシュをアク
セスできるか否かを表す。‘1'でアクセス可、‘0'でア
クセス不可を示す。
キャッシュデータ管理部更新中フラグ257は、図示さ
れていないキャッシュ内データ管理部が更新されている
最中か否かを表すフラグで、プロセッサ(I、II、II
I、IV)がキャッシュ内データ管理部を更新する直前に
‘1'を立て、更新終了後‘0'に落す。
第8図は、第7図のキャッシュテーブルを持つ計算機
システムにおいて、キャッシュアクセス最中に障害が発
生したときの処理手順を示すフローチャートである。
まず、障害要因が、恒久的なハード障害かどうかを調
べる(ステップ700)。恒久的なハード障害である場合
には、次に、それがキャッシュ本体の障害かどうかを調
べる(ステップ710)。
キャッシュ本体のハード障害である場合には、キャッ
シュ使用を継続することは不可能なので、キャッシュ・
ステータス251を‘0'にリセットし(ステップ780)、エ
ラー報告を行い(ステップ790)、障害処理を終了す
る。
ステップ710において、キャッシュ本体以外のハード
障害である場合には、すなわち、プロセッサ(I〜IV)
とキャッシュ間のアクセスパス障害であるので、まず、
キャッシュアクセス可否フラグ256の対応bitを‘0'にリ
セットして、このプロセッサのキャッシュ使用を禁止す
る(ステップ720)。そして、キャッシュ使用禁止とな
ったプロセッサ数、すなわち、キャッシュアクセス可否
フラグ256の‘0'の数が閾値を越えたか否かを調べる
(ステップ730)。閾値を越えていれば、キャッシュ・
ステータス251を‘0'にリセットし(ステップ780)、エ
ラー報告を行い(ステップ790)、障害処理を終了す
る。
閾値を越えていない場合、あるいは、ステップ700に
おいて恒久的なハード障害でない場合、例えば、電源が
一時的にオフになったり、プロセッサ障害が発生した等
の障害の場合には、キャッシュデータ管理部更新中フラ
グ257をチェックして、障害が発生した時にキャッシュ
内データの管理情報を更新中であったかどうかを調べる
(ステップ740)。
キャッシュデータ管理部更新中フラグ257が‘0'であ
る場合には、すなわち、キャッシュ内データの管理情報
を読み込み中であったか、あるいは、キャッシュ内デー
タの読み書き中であり、キャッシュの内容は破壊されて
いないので、同一パス、あるいは、別プロセッサのパス
を用いて、再度トライ可能である。そのため、エラー報
告を行い(ステップ790)、障害処理を終了する。
キャッシュデータ管理部更新中フラグ257が‘1'であ
る場合には、すなわち、キャッシュ内データの管理情報
を更新中の場合には、キャッシュの内容が破壊されてい
る可能性があるため、引き続きキャッシュを使用するこ
とは不可能であるが、キャッシュ本体のハードウェアに
は障害がないので、キャッシュをイニシャライズすれ
ば、再び使用可能となる。
そこで、まず、キャッシュ・ステータス251を‘0'に
リセットし(ステップ750)、キャッシュの使用を禁止
する。次に、キャッシュ・ステータスを‘0'に落す前
に、キャッシュアクセスを開始していたプロセッサが処
理を終えるまで待ち、キャッシュ使用中フラグ255をチ
ェックし、キャッシュを使用中のプロセッサがないこと
を確認する(ステップ760)。そして、確認を終えた時
点で、次に、キャッシュ組込要求フラグ252を‘1'にセ
ットする(ステップ770)。そして、エラー報告を行い
(ステップ790)、障害処理は終了する。
以下、第2図で説明したキャッシュ組込制御が行わ
れ、キャッシュの全面イニシャライズが終了すると、キ
ャッシュ・ステータスが‘1'にセットされて、キャッシ
ュの使用が再開される。
このように、本実施例によれば、障害発生の結果、キ
ャッシュ内データの内容が破壊されてキャッシュ使用継
続が不可能になった場合でも、ハード的に障害がなけれ
ば、一時的にキャッシュの使用を禁止して、その間にイ
ニシャライズを行って、再び、キャッシュ使用可能にで
きるので、キャッシュの速やかな復帰が可能となる。
〔発明の効果〕
本発明によれば、ディスク入出力処理を妨げずに、キ
ャッシュのイニシャライズ処理ができ、オンライン中の
キャッシュの保守作業を可能とし、かつ、キャッシュの
内容が保証できないような障害が発生しても、キャッシ
ュ本体のハードが正常である場合には、オンライン中
に、自動的にキャッシュを使用可能に復旧し、キャッシ
ュ付ディスク制御装置の稼働率を高め、計算機システム
の処理効率を向上することができる。
【図面の簡単な説明】 第1図は本発明を施した第1の実施例の計算機システム
の構成を示すブロック図、第2図は第1図におけるプロ
セッサの処理動作を示すフローチャート、第3図は本発
明を施した第2の実施例の計算機システムの構成を示す
ブロック図、第4図は第3図におけるプロセッサの処理
動作を示すフローチャート、第5図は本発明を施した第
3の実施例の計算機システムの構成を示すブロック図、
第6図は第4図の計算機システムにおけるキャッシュ保
守の処理動作を示すフローチャート、第7図は本発明を
施した第4の実施例の計算機システムのキャッシュ制御
テーブルの内部構成を示すブロック図、第8図は第7図
の計算機システムにおけるキャッシュアクセス最中に障
害が発生したときの処理手順を示すフローチャートであ
る。 1:ホストコンピュータ,2:ディスク制御装置,3:ディス
ク,4:サービスプロセッサ,5:ディスクサブシステム,21:
チャンネルスイッチ,22:プロセッサ,23:キャッシュ,24:
レジスタ,25:キャッシュ制御テーブル,222:ディスク制
御装置,241:Runレジスタ,242:Waitレジスタ,243:Busyレ
ジスタ,251:キャッシュ・ステータス,252:キャッシュ組
込要求フラグ,253:キャッシュ・イニシャライズ管理テ
ーブル,254:ロック,255:キャッシュ使用中フラグ,256:
キャッシュアクセス可否フラグ,257:キャッシュデータ
管理部更新中フラグ,325:キャッシュ制御テーブル,333:
タイマ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 栗原 謙三 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所システム開発研究所 内 (72)発明者 四谷 守彦 神奈川県小田原市国府津2880番地 株式 会社日立製作所小田原工場内 (72)発明者 小澤 匡二 神奈川県小田原市国府津2880番地 株式 会社日立製作所小田原工場内 (58)調査した分野(Int.Cl.6,DB名) G06F 12/08 320

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項1】ホストコンピュータとディスク装置のあい
    だのデータ転送を制御する複数のストレージパスと、該
    ストレージパスから読み出し・書き込み可能なキャッシ
    ュを有するディスク制御装置において、上記キャッシュ
    を複数の部分に分割して管理するキャッシュ制御手段を
    用い、上記キャッシュの不使用の状態で稼働している際
    の上記ホストコンピュータからのキャッシュ組込要求に
    対して、上記キャッシュのイニシャライズを複数の部分
    に分割して行い、かつ、上記ディスクに対する入出力処
    理の空き時間に繰返し行うことにより、キャッシュの全
    面イニシャライズをオンライン中に行い、該全面イニシ
    ャライズの完了した段階で、キャッシュ使用を開始する
    ことを特徴とするディスク制御装置のキャッシュ組込制
    御方法。
  2. 【請求項2】上記キャッシュの分割単位は、上記ディス
    ク制御装置が上記ホストコンピュータからの入出力処理
    要求を待たせておける時間より短い時間でイニシャライ
    ズを終了する分割単位であることを特徴とする請求項1
    に記載のディスク制御装置のキャッシュ組込制御方法。
  3. 【請求項3】上記キャッシュの分割イニシャライズは、
    イニシャライズされていない部分を1つ取り出して、該
    イニシャライズされていない部分のイニシャライズを行
    い、該イニシャライズの完了時点で、イニシャライズ処
    理を一時中断し、上記ディスクに対する入出力処理の有
    無を確認し、該ディスクに対する入出力処理の無い場合
    には、次のイニシャライズされていない部分を1つ取り
    出して、該イニシャライズされていない部分のイニシャ
    ライズを行うことを特徴とする請求項1に記載のディス
    ク制御装置のキャッシュ組込制御方法。
  4. 【請求項4】上記ディスク制御装置にタイマを施し、該
    タイマによりカウントされた一定時間経過ごとに、上記
    ホストコンピュータからの上記ディスクに対する入出力
    処理要求の有無を調べ、該入出力要求がないことを確認
    の上、上記キャッシュの分割イニシャライズ処理を行う
    ことを特徴とする請求項1に記載のディスク制御装置の
    キャッシュ組込制御方法。
  5. 【請求項5】上記ディスク制御装置は、複数のストレー
    ジパスと、該ストレージパスの制御を行う一台以上のプ
    ロセッサを有し、上記キャッシュ不使用の状態で稼働し
    ている際のキャッシュ組込要求に対して、上記ディスク
    の入出力処理を行っていない上記プロセッサの任意の1
    つが、上記キャッシュの分割イニシャライズを行うこと
    を特徴とする請求項1に記載のディスク制御装置のキャ
    ッシュ組込制御方法。
  6. 【請求項6】請求項1〜5に記載のいずれか1つのキャ
    ッシュ組込制御方法において、上記キャッシュの分割イ
    ニシャライズを行うディスク制御装置は、サービスプロ
    セッサに接続され、かつ、該サービスプロセッサを介し
    ての、保守員による上記キャッシュメモリの障害修復後
    の上記キャッシュ組込要求に対して、該キャッシュ組込
    要求を記憶し、さらに、上記サービスプロセッサに該キ
    ャッシュ組込要求の受諾を返し、そして、オンライン中
    に上記キャッシュの分割イニシャライズを行い、該分割
    イニシャライズおよび上記キャッシュ組込の完了、ある
    いは、障害発生による上記キャッシュ組込の失敗を、上
    記サービスプロセッサへ通知し、上記キャッシュの保守
    制御を行うことを特徴とするディスク制御装置のキャッ
    シュ組込制御方法。
  7. 【請求項7】請求項1〜5に記載のいずれか1つのキャ
    ッシュ組込制御方法において、上記キャッシュの分割イ
    ニシャライズを行うディスク制御装置は、上記キャッシ
    ュへのアクセス中に障害が発生したときに、上記キャッ
    シュ本体のハード障害か否かを判別する障害内容判別手
    段と、上記キャッシュ上データの管理情報を更新中であ
    ったか否かを判別するキャッシュデータ管理更新判別手
    段を有し、上記キャッシュ本体のハードウェアは正常で
    あり、かつ、上記キャッシュ上データの管理情報を更新
    中であった障害に対しては、上記ディスク制御装置側で
    一時的に上記キャッシュの使用を禁止し、上記ディスク
    制御装置内の上記全プロセッサが上記キャッシュの使用
    を中止したことを確認した後、上記キャッシュを分割し
    てイニシャライズし、再び、上記キャッシュを使用可能
    にし、上記キャッシュの自動閉鎖・復旧制御を行うこと
    を特徴とするディスク制御装置のキャッシュ組込制御方
    法。
JP1222615A 1989-08-29 1989-08-29 デイスク制御装置のキヤツシユ組込制御方法 Expired - Lifetime JP2780372B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP1222615A JP2780372B2 (ja) 1989-08-29 1989-08-29 デイスク制御装置のキヤツシユ組込制御方法
US07/573,784 US5375227A (en) 1989-08-29 1990-08-28 Method of and apparatus for automatic recovery of a cache in a storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1222615A JP2780372B2 (ja) 1989-08-29 1989-08-29 デイスク制御装置のキヤツシユ組込制御方法

Publications (2)

Publication Number Publication Date
JPH0384643A JPH0384643A (ja) 1991-04-10
JP2780372B2 true JP2780372B2 (ja) 1998-07-30

Family

ID=16785234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1222615A Expired - Lifetime JP2780372B2 (ja) 1989-08-29 1989-08-29 デイスク制御装置のキヤツシユ組込制御方法

Country Status (2)

Country Link
US (1) US5375227A (ja)
JP (1) JP2780372B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2725954B2 (ja) * 1992-07-21 1998-03-11 三菱電機株式会社 半導体装置およびその製造方法
US5548788A (en) * 1994-10-27 1996-08-20 Emc Corporation Disk controller having host processor controls the time for transferring data to disk drive by modifying contents of the memory to indicate data is stored in the memory
US5878428A (en) * 1995-11-20 1999-03-02 International Business Machines Corporation System, method, and article of manufacture for adding transactional recovery to a binary class in an object oriented system
US5774682A (en) * 1995-12-11 1998-06-30 International Business Machines Corporation System for concurrent cache data access by maintaining and selectively merging multiple ranked part copies
US6035347A (en) * 1997-12-19 2000-03-07 International Business Machines Corporation Secure store implementation on common platform storage subsystem (CPSS) by storing write data in non-volatile buffer
US7325052B1 (en) 1998-10-06 2008-01-29 Ricoh Company, Ltd. Method and system to erase data after expiration or other condition
US6301670B1 (en) * 1998-10-06 2001-10-09 Ricoh Corporation Method and apparatus for erasing data when a problem is identified
US6487464B1 (en) * 2000-02-25 2002-11-26 Intel Corporation Power-on software for robust boot
JP4429703B2 (ja) * 2003-11-28 2010-03-10 株式会社日立製作所 ディスクアレイ装置及びディスクアレイ装置の制御方法
US20060156381A1 (en) * 2005-01-12 2006-07-13 Tetsuro Motoyama Approach for deleting electronic documents on network devices using document retention policies
US20090282194A1 (en) * 2008-05-07 2009-11-12 Masashi Nagashima Removable storage accelerator device
US7975169B2 (en) * 2008-06-03 2011-07-05 International Business Machines Corporation Memory preserved cache to prevent data loss
JP2010044635A (ja) * 2008-08-14 2010-02-25 Hitachi Ltd ファイルサーバシステム及びファイルサーバシステム起動方法
US8272028B2 (en) 2008-10-15 2012-09-18 Ricoh Company, Ltd. Approach for managing access to electronic documents on network devices using document retention policies and document security policies
TWI468375B (zh) 2008-10-27 2015-01-11 Janssen Pharmaceutica Nv 製備經保護之l-丙胺酸衍生物之方法
GB2491156B (en) * 2011-05-25 2019-08-07 Advanced Risc Mach Ltd Processing pipeline control
US20140136793A1 (en) * 2012-11-13 2014-05-15 Nvidia Corporation System and method for reduced cache mode
US9213648B1 (en) * 2013-12-31 2015-12-15 Emc Corporation System, apparatus, and method of securely erasing cache
US9934083B2 (en) 2015-10-14 2018-04-03 International Business Machines Corporation Requesting manual intervention on failure of initial microcode load attempts during recovery of modified customer data

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4357656A (en) * 1977-12-09 1982-11-02 Digital Equipment Corporation Method and apparatus for disabling and diagnosing cache memory storage locations
JPS59153251A (ja) * 1983-02-18 1984-09-01 Toshiba Corp デイスクキヤツシユシステム
US4667288A (en) * 1983-06-30 1987-05-19 Honeywell Information Systems Inc. Enable/disable control checking apparatus
US4686621A (en) * 1983-06-30 1987-08-11 Honeywell Information Systems Inc. Test apparatus for testing a multilevel cache system with graceful degradation capability
JPS62243044A (ja) * 1986-04-16 1987-10-23 Hitachi Ltd デイスクキヤツシユメモリの制御方式
JPH0734185B2 (ja) * 1987-02-16 1995-04-12 日本電気株式会社 情報処理装置
US5019971A (en) * 1987-04-13 1991-05-28 Prime Computer, Inc. High availability cache organization
US4996641A (en) * 1988-04-15 1991-02-26 Motorola, Inc. Diagnostic mode for a cache
US5142627A (en) * 1988-11-17 1992-08-25 Unisys Corporation FIP-compliant block multiplexor channel interface operational method for cache/disk subsystem
US5070502A (en) * 1989-06-23 1991-12-03 Digital Equipment Corporation Defect tolerant set associative cache
US5155844A (en) * 1990-02-14 1992-10-13 International Business Machines Corporation Background memory test during system start up

Also Published As

Publication number Publication date
US5375227A (en) 1994-12-20
JPH0384643A (ja) 1991-04-10

Similar Documents

Publication Publication Date Title
JP2780372B2 (ja) デイスク制御装置のキヤツシユ組込制御方法
JP3078972B2 (ja) ディスクアレイ装置
US4608688A (en) Processing system tolerant of loss of access to secondary storage
US7962783B2 (en) Preventing write corruption in a raid array
US5640530A (en) Use of configuration registers to control access to multiple caches and nonvolatile stores
JP2994070B2 (ja) データ処理システムにおけるミラー化された一対のデータ記憶ユニットの状態を決定する方法及び装置
US8166241B2 (en) Method of improving efficiency of capacity of volume used for copy function and apparatus thereof
US5568609A (en) Data processing system with path disconnection and memory access failure recognition
KR100288020B1 (ko) 멀티플 서브시스템에서 핫 스페어 드라이브를 공유하기 위한 장치 및 방법
US20050132249A1 (en) Apparatus method and system for fault tolerant virtual memory management
US20040073829A1 (en) Fail-over of multiple memory blocks in multiple memory modules in computer system
US8412892B2 (en) Storage system and ownership control method for storage system
JPH08335144A (ja) 外部記憶装置
JPH07200191A (ja) ディスクアレイ装置
JP2002366398A (ja) クラスタ構成記憶システム
JPH06214782A (ja) プロセッサ制御コード導入システムおよび方法
CN111240903A (zh) 数据恢复方法及相关设备
JP2021009461A (ja) ストレージ制御装置及びストレージ制御プログラム
US20060075186A1 (en) Storage apparatus
US7039757B2 (en) Cluster disk array system and a method for operating the cluster disk array system
JP2008192020A (ja) Raid制御装置及びその制御方法
US7472221B1 (en) Mirrored memory
US20060090032A1 (en) Method and computer program product of obtaining temporary conventional memory usage in BIOS
JP2021033782A (ja) リモートコピーシステム
JP2000347812A (ja) 情報処理装置およびディスクアレイ装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080515

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090515

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100515

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100515

Year of fee payment: 12