JP2994070B2 - データ処理システムにおけるミラー化された一対のデータ記憶ユニットの状態を決定する方法及び装置 - Google Patents

データ処理システムにおけるミラー化された一対のデータ記憶ユニットの状態を決定する方法及び装置

Info

Publication number
JP2994070B2
JP2994070B2 JP3086357A JP8635791A JP2994070B2 JP 2994070 B2 JP2994070 B2 JP 2994070B2 JP 3086357 A JP3086357 A JP 3086357A JP 8635791 A JP8635791 A JP 8635791A JP 2994070 B2 JP2994070 B2 JP 2994070B2
Authority
JP
Japan
Prior art keywords
status
pair
state
storage device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3086357A
Other languages
English (en)
Other versions
JPH05307445A (ja
Inventor
ケニス、ジェームズ、ローレンス
マイケル、ジェームズ、マクダーモット
Original Assignee
インターナショナル・ビジネス・マシーンズ・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターナショナル・ビジネス・マシーンズ・コーポレイション filed Critical インターナショナル・ビジネス・マシーンズ・コーポレイション
Publication of JPH05307445A publication Critical patent/JPH05307445A/ja
Application granted granted Critical
Publication of JP2994070B2 publication Critical patent/JP2994070B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1666—Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1417—Boot up procedures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/70—Masking faults in memories by using spares or by reconfiguring
    • G11C29/74—Masking faults in memories by using spares or by reconfiguring using duplex memories, i.e. using dual copies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は冗長データ記憶ユニット
内にコンピュータデータのミラーコピーを維持すること
に関し、より詳細には、システムの再初期化時にどのユ
ニットに現在のデータが含まれているかを決定すること
に関する。
【０００２】
【従来の技術及び課題】現代のコンピュータシステムの
データ記憶量の増大要求には大容量のデータ記憶装置が
必要である。そのような装置は通常、磁気ディスクドラ
イブであるが、それは故障し易い多くの部品を含む機械
的な複雑なものである。一般のコンピュータシステムは
そのようなユニットを数個含んでいる。ユーザのデータ
記憶容量要求の増大に伴い、システムの含むそのような
記憶ユニットの数が増大する。１個の記憶ユニットの故
障でもシステムにとっては非常に致命的なことになりう
る。多くのシステムはその故障したユニットが修理また
は交換され、失われたデータが回復されるまで動作する
ことが出来ない。記憶ユニットの数の増加は１個のユニ
ットの故障する確率を増大させ、システム故障を生じさ
せる。これと同時にコンピュータのユーザはそれらのシ
ステムの一貫した使用可能性により大きく依存すること
になる。それ故、１つの記憶ユニットの故障があっても
システム動作を維持し、その故障条件が修正されたとき
正常の動作モードにシステムをもどすための改善された
方法が重要となる。
【０００３】この問題を解決するための方法の一つが
「ミラー」法である。この方法はオリジナルと同一のデ
ータを含む、記憶装置の重複セットを維持するものであ
る。この重複セットは、オリジナルセット内の１つのユ
ニットが故障したとき、システムにデータを与えるタス
クを行うために使用可能なものである。一つのシステム
はすべての記憶されたデータの重複セット（完全ミラー
化）またはそのデータのいくつかのサブセットの重複セ
ット（部分ミラー化）を有することが出来る。コンピュ
ータユーザが改善されたシステムの信頼性および使用可
能性を必要とするとき、このミラーが重要になってきて
いる。
【０００４】ミラー記憶手段を含むシステムのユーザは
その記憶手段から信頼性について最高のものを期待す
る。ミラーの本質は、１個の記憶ユニットが故障したと
き他のユニットがその代りに使用しうるという事である
から、システムは必然的に一対のミラーユニットの一方
のみが機能するように動作しうるものでなくてはならな
い。ミラー対となった両ユニットが機能しており、現在
のデータを含んでいるときは、これらユニットは同期し
ていると云われる。ミラー対となった記憶ユニットの一
方が故障し、他方が動作を続行するとすれば、故障した
ユニットのデータは直ちに古くなってしまう。ユニット
の「故障」とはデータがそのユニットから読取られ、あ
るいはそこに書込むことが出来なくなることを意味す
る。これは、記憶ユニット自体が動作しないこと、ある
いはＩ／Ｏプロセッサのようなそのシステムの他の要素
が機能しなくなることを意味すると解釈してもよい。故
障した記憶ユニットの動作を回復すると、例えば制御論
理を含む回路カードが交換されるときのように記憶媒体
のデータをそのまま残すことになる。
【０００５】ミラー対となったディスクユニットが同期
しなくなったときであってもシステムは動作しうるか
ら、ミラー対の状態、すなわちその内のどれが現在デー
タを含んでいるかを知る必要がある。システムが何らか
の理由で電源異常となったとき、電源が回復しシステム
自体が再初期化するときにその記憶ユニットの状態を再
構成することが出来なくてはならない。システムを停止
して故障した記憶ユニットを修理し、または交換すると
すれば、再初期化によりそのオペレーティングシステム
は修理または交換されたユニットに含まれるデータは信
頼しえないことを確認し、それらユニットを再同期化さ
せるプロセスを開始し、それにより修理または交換され
たユニットを故障しなかったユニットのそれと一致させ
ることが出来なくてはならない。
【０００６】ミラー対となった記憶ユニットの状態を知
る一つの方法は両ユニットに状態情報を記憶させること
である。再初期化によりシステムがこの状態情報を読み
とる。両ユニットが機能しており、また両ユニットの記
憶した状態情報が互いに同期している場合には、このシ
ステムはその状態を決定する。オペレーティングシステ
ムの他の装置がすべて適正に動作してシステム自体が完
全に動作している間に一方の記憶ユニットが故障した場
合、このオペレーティングシステムは故障していないユ
ニットのみが現在のデータを有することを確認し、その
新しい状態情報を無故障のユニットに記録する。修理後
に再初期化されるとき、無故障のユニットの状態情報
は、それのみが現在のデータを有し、そのとき故障した
ユニットの状態レコードは両ユニットが同期したことを
示すか何らかの未知の状態を示す。オペレーティングシ
ステムはこの場合、無故障のユニットのみが現在データ
を含むことを決定しうる。
【０００７】しかしながら、システムの再初期化中にミ
ラー対となったユニットの一方について、他方が応答し
ない内に両ユニットが同期されていることをリポートす
ることは一般にない。この場合、システムはミラー対の
状態を確実に決定することが出来ない。両ユニットがシ
ステム電源低下時に対応するユニットにより同期化され
たと認識されることがありうる。この状態は、例えばＡ
ユニットが故障し、その古くなったデータを失うことな
く修理され、システムが再初期化され、そしてＢユニッ
トが応答しないような場合に生じうる。再初期化中に応
答しないことは必ずしも記憶ユニットが破壊されたこと
を意味しない。電源スイッチがオフとなるか、あるいは
任意の数の他の状況がそのユニットの応答を妨害するこ
とがありうるのであり、特に修理がシステム電源低下中
に行われる場合がそれに当る。
【０００８】上記の状況ではオペレーティングシステム
は状態決定を行うことが出来ないか、あるいは多分正し
くない状態決定を行うものと考えられる。オペレーティ
ングシステムが状態決定を行うことが出来ない場合には
一般にユーザに正しい状態を質問することになる。多数
の記憶ユニットがあるために、そして物理的ロケーショ
ンに対する論理アドレスの関連づけは必ずしも明らかで
ある必要はないから、ユーザへの質問は状態決定のため
には非常に信頼性の低い方法である。ユーザは期待する
ような信頼性と使用可能性をもたないから、状態を予想
すること、または状態を知らないことは、ミラー型また
は障害許容コンピュータシステムについては明らかに望
ましくない。
【０００９】それ故本発明の目的はミラー対となったデ
ータ記憶ユニットの状態を決定するための拡張された方
法および装置を提供することである。
【００１０】本発明の他の目的は複数の装置に故障が生
じたときミラー対となったデータ記憶ユニットの状態を
決定するための拡張された方法および装置を提供するこ
とである。
【００１１】本発明の他の目的はデータ処理システムの
ミラー型記憶ユニットの状態を追跡する情報に、より大
きい冗長度と信頼性を与えることである。
【００１２】本発明の他の目的は人為的エラーの少い、
ミラー対型データ記憶ユニットの状態を決定するための
方法および装置を提供することである。
【００１３】
【課題を解決するための手段及び作用】一対のミラー型
記憶ユニットを有するデータ処理システムはシステムメ
モリにこのユニット対の状態のレコード（「状態レコー
ド」）を維持する。システムが再初期化されるときの状
態を決定することが出来るように、この状態情報は夫々
のユニットに１個ずつの別の状態レコードにも記憶され
る。ミラー対の状態は別のロケーション内の別の状態レ
コードにも記憶される。好適な実施例では、この別の状
態レコードは不揮発性ＲＡＭに記憶される。状態が変化
するとき、オペレーティングシステムが新しい状態を、
まだ機能している記憶ユニットおよび上記別の状態レコ
ードに書込む。不明瞭な状況を防止するために、限定さ
れた状態変化のみを可能にする。
【００１４】システムが再初期化されるとき、システム
が記憶ユニットに記憶された状態情報を読みとる。いず
れのユニットも読取れない場合にはシステムは別のレコ
ードから状態を取り出し、それを応答しないユニットか
ら読取られたものとして置き換える。２つのユニットか
ら読取られた（または別の状態レコードから置換えられ
た）一対の状態は状態とり出しテーブルに固有の入力を
インデクスする。これら２つのとり出された状態でイン
デクスされるロケーションに含まれる入力がこれらミラ
ー対となった記憶ユニットの正しい現在状態であり、こ
れはシステム動作用にメモリにロードされる。
【００１５】好適な実施例ではシステムは多数のミラー
対となった記憶ユニットを含む。その一対は「ロードソ
ース」でありシステムの再初期化に必要なデータを含
む。ロードソース対の夫々のユニットは「入出力装置構
成テーブル」と呼ばれる状態レコードを含む。ロードソ
ースユニットの入出力装置構成テーブルはそのシステム
のすべての記憶ユニットの状態を含む。上記別の状態レ
コードはロードソース対の状態を含むが、他の記憶ユニ
ットの状態は含まない。システムが再初期化されると
き、システムは前述のようにロードソース対の状態を決
定する。ロードソース対の状態が既知となると、残りの
装置の状態を任意の現在ロードソースユニットの入出力
装置構成テーブルから直接に得ることが出来る。
【００１６】
【実施例】本発明の好適な実施例のコンピュータシステ
ム１００の主たる要素のブロック図を図１に示す。図４
〜１０に示すように適当にプログラムされたシステムプ
ロセッサ１０１はシステムバス１０２を介して１個以上
のＩ／Ｏプロセッサ１２０，１３０と通信を行う。メイ
ンメモリ１０３はシステムバス１０２に接続されると共
にシステムプロセッサ１０１に直接に接続される。通常
の動作において入出力装置構成テーブル１０６及び状態
導出テーブル１１６を含むオペレーティングシステム１
０５はメインメモリ１０３にある。システムクリティカ
ルデータを含む不揮発性ＲＡＭ１０４がシステムプロセ
ッサ１０１に接続されている。不揮発性ＲＡＭ１０４は
ロードソースユニットのミラー対ユニット状態の別の状
態レコード１１５を含む。別の状態レコード１１５はシ
ステムシリアル番号１０７、ロードソースユニット１０
９のミラーユニット状態、ロードソースユニットＡ１１
０のＩ／Ｏアドレス、およびロードソースユニットＢ１
１１のＩ／Ｏアドレスを含む。不揮発性ＲＡＭ１０４は
不揮発性ＲＡＭ回路カード自体のシリアル番号１０８を
更に含んでもよい。Ｉ／Ｏプロセッサ１２０，１３０は
１個以上の記憶ユニット１２１，１２２，１３１，１３
２に与えられる。この実施例では記憶ユニット１２１，
１２２，１３１，１３２は磁気ディスクドライブユニッ
トであるが、光ディスク、テープ等の他の記憶ユニット
でもよい。記憶ユニットＡ１２１とＢ１３１は１つのミ
ラー対を構成し、同一のデータを記憶している。この実
施例ではユニットＡ１２１とＢ１３１はＩ／Ｏプロセッ
サ１２０と１３０に夫々与えられてシステムの冗長度を
大きくしている。しかしながら、これらユニットは同一
のプロセッサに与えることも出来る。２個のＩ／Ｏプロ
セッサ１２０，１３０を示しているがこのシステムは３
個以上のＩ／Ｏシステムを含むことも、また１個のＩ／
Ｏプロセッサを含むことも出来る。また、一つのＩ／Ｏ
プロセッサに与えられる記憶ユニットの数は可変であ
る。この実施例ではコンピュータシステム１００はＩＢ
Ｍ ＡＳ／４００コンピュータシステムであるが、他の
システムを用いてもよい。
【００１７】夫々の記憶ユニット１２１，１２２，１３
１，１３２は論理識別子１４０、システムシリアル番号
１４１および入出力装置構成テーブルである状態レコー
ド１４３を含む。識別子１４０はシステムに対しディス
クユニットを識別する。システムシリアル番号１４１は
そのユニットが与えられるシステムのシリアル番号であ
る。他の実施例ではこれらディスクユニットは不揮発性
ＲＡＭ回路カード１０４のシリアル番号１４２を更に含
む。
【００１８】入出力装置構成テーブルの詳細を図２に示
す。これは記憶ユニットの構成と状態を識別する情報を
含む。各記憶ユニットはシステムに与えられるすべての
記憶ユニットについての入力を有する、完全な入出力装
置構成テーブルを含む。このテーブルの各レコード２０
１，２０２は一対のミラー化されたディスクユニットま
たは１個のミラー化されないユニットに対応する。この
テーブルはそれらの対またはミラー化されないユニット
の論理ユニット番号２１０でインデクスされる。この実
施例では論理ユニット番号１はロードソース対またはユ
ニットについて保存される。他の論理ユニット番号は任
意である。この論理ユニット番号は宛先ＡまたはＢと連
結されるとき一つのディスクユニットの論理識別子１４
０を構成する。論理ユニット番号２１０に加えて、各レ
コードは図２に示すように、共通データサブレコード２
１１、この対のユニットＡに固有のデータについてのサ
ブレコード２１２およびユニットＢに固有のデータのサ
ブレコード２１３の３つのサブレコードに分割される。
共通データサブレコード２１１はミラー化フラグ２１５
とミラー化ユニット状態２１４を含む。ミラー化フラグ
２１５は１ビットフィールドであり、そのレコードが一
対のミラー化されたディスクユニット用であるか１個の
ミラー化されないユニット用であるかを示すために用い
られる。「１」はそのレコードが一対のミラー化ユニッ
トであることを示す。ミラー化ユニット状態２１４は１
バイトフィールドでありミラー対の現在の状態を示す。
ミラー化フラグが「０」（ミラー化されない）にセット
されると、ミラーユニット状態は無視される。図２の例
では論理ユニット番号１用のレコード２０１がミラー対
となったディスクユニットであることであり、その現在
の状態は両ユニットが正常に動作していることを示して
おり、論理ユニット番号３のレコード２０２は１個のミ
ラー化されないユニットについてのものである。各ユニ
ット番号はそれ自体の入力を入出力装置構成テーブルに
ミラー対の一方であるかどうかを示すために有している
から、特定のシステムにおけるディスクユニットのすべ
て、あるいはいくつかをミラー化することが出来、ある
いは全くミラー化しないことも出来る。ユニットＡとＢ
の夫々についてのサブレコード２１２，２１３はＩ／Ｏ
アドレスフィールド２１６，２１８および夫々のディス
クユニットのユニットシリアル番号２１７，２１９を含
む。レコードがレコード２０２について示すように１個
のミラー化されないディスクユニットについてのもので
ある場合には、そのユニットについての情報はユニット
Ａ′のサブレコード２１２に記憶され、ユニットＢのサ
ブレコード２１３は用いられない。サブレコード２１
１，２１２，２１３は他の目的に使用される他のフィー
ルドを含むことが出来る。
【００１９】入出力装置構成テーブルのミラー化された
ユニットの状態フィールド２１４内には５個の状態が記
憶出来る。これら状態およびそれらに関連する意味は次
の通りである。 ＡＢＯＫ ミラー対となったＡとＢユニットが現在デー
タと同期する。 ＡＯＫ Ａユニットのみが現在データを含み、Ｂユニ
ットは信頼性がない。 ＢＯＫ Ｂユニットのみが現在データを含み、Ａユニ
ットは信頼性がない。 ＡＯＫＲＢ Ａユニットが現在データを含み、Ｂユニッ
トはＡユニットとの再同期化処理中である。 ＢＯＫＲＡ Ｂユニットが現在データを含み、Ａユニッ
トがＢユニットとの再同期化処理中である。 このシステムはミラーユニット状態フィールドにおける
「未知」状態を記憶しない。
【００２０】通常のシステム動作中、オペレーティング
システムはメインメモリ１０３（図１）内に入出力装置
構成テーブルのコピーを維持し、それに対し、記憶ユニ
ットに関する状態情報が必要なときにシステムが照合を
行う。記憶ユニットの状態に変化があるときには、その
新しい状態がメモリ内の入出力装置構成テーブルおよび
夫々の動作記憶ユニットの入出力装置構成テーブルに書
込まれる。この状態変化にロードソースディスクユニッ
トが含まれる場合には、その新しい状態は不揮発性ＲＡ
Ｍ１０４にも書込まれる。システムが不確定な状態にな
らないようにするため次のルールを状態変化のときに参
照しなければならない。 １． システムは一対のミラー化ユニットの両方をバッ
クレベルさせてはならない。両ユニットが故障した場合
にはシステム自体を停止させる。この場合、最後に故障
したユニットが現在データを含む。 ２． システムは故障したディスクユニットに新しいミ
ラー状態を書込まない。 ３． 次の状態変化のみを許す： ＡＢＯＫからＡＯＫに （Ｂユニット故障） ＡＢＯＫからＢＯＫに （Ａユニット故障） ＡＯＫＲＢからＡＯＫに （Ｂユニットの再同期化が
不能） ＢＯＫＲＡからＢＯＫに （Ａユニットの再同期化が
不能） ＡＯＫからＡＯＫＲＢに （Ｂユニットの再同期化ス
タート） ＢＯＫからＢＯＫＲＡに （Ａユニットの再同期化ス
タート） ＡＯＫＲＢからＡＢＯＫに （Ｂユニットの再同期化成
功） ＢＯＫＲＡからＡＢＯＫに （Ａユニットの再同期化成
功） コンピュータシステム１００が再初期化されるとき、シ
ステムはまず２個のロードソースユニットおよび不揮発
性ＲＡＭのミラー化状態データからロードソース対のミ
ラー化ユニット状態をとり出す。一つの状態をこれらロ
ードソースユニットの夫々と関連づける。一つのロード
ソースと「関連」づけられた状態は読取り可能であれば
そのユニットに記憶された状態であり、記憶ユニットに
記憶された状態が読取り出来ないときは不揮発性ＲＡＭ
１０４内の別の状態レコード１１５に記憶される状態で
ある。Ａユニットに関連した状態とＢユニットに関連し
た状態の対に対応してミラー化ロードソース対の固有の
結果的状態がある。この結果状態はロードソース対の真
の状態であり、図３の入出力装置構成テーブル３０１に
より限定される。メインメモリ１０３内のオペレーティ
ングシステム１０５の１１６に記憶される入出力装置構
成テーブル３０１はロードソースユニットＡに関連する
入力３０２とロードソースユニットＢに関連する入力３
０３を必要とする。システムはこのテーブルのユニット
Ａに関連する状態に対応する列とユニットＢに関連する
状態に対応する行の入力をアクセスすることによりミラ
ーロードソース対の状態をとり出す。「未知」入力状態
３０４，３０５はディスクユニットまたは不揮発性ＲＡ
Ｍから読取られず、ディスクユニットまたは不揮発性Ｒ
ＡＭのいずれも読取出来ないときにのみ用いられる。
「＊」印を付したこのテーブルの入力は可能ではない。
「 *ＡＯＫ」および「 *ＢＯＫ」の入力はディスクユニ
ットから読取られる状態を用いるときには可能でない
が、応答しないディスクユニットについて不揮発性ＲＡ
Ｍから読出される状態を用いるときは可能である。「**
ＡＯＫ」と「**ＢＯＫ」の入力はＢが故障のときＢＯＫ
ＲＡからＡＢＯＫへの状態変化について、またはＡが故
障のときＡＯＫＲＢからＡＢＯＫへの状態変化について
のみ生じる。コンピュータシステム１００はこの２段階
変化を認識し処理する。
【００２１】ユニットＡが状態ＡＢＯＫを含み、ユニッ
トＢが応答せず、そして不揮発性ＲＡＭが状態ＢＯＫを
含む場合の入出力装置構成テーブル３０１の使用の一例
として、システムは不揮発性ＲＡＭから読取られた状態
ＢＯＫをＢユニットから読取られている状態と置き換え
る。これら値をこのテーブルに入れると、その結果の状
態は列ＡＢＯＫと行ＢＯＫに含まれる。この結果状態は
ＢＯＫである。これはＡユニットが故障し、そしてその
データが古くなり、システム電源が低下し、Ａユニット
が動作を再開し、Ｂユニットがシステム再初期化時に応
答しないときに生じる状態である。
【００２２】図４〜１０は本発明による再初期化手順
（ＩＰＬ）の段階の詳細を示すものである。図４は入出
力装置構成タスクを示す。このプロセスはロードソース
ユニットの内の一方４０２から記憶ユニットの論理識別
子を読取ることによりはじまる。この初期段階でアクセ
スされるこのロードソースユニットをここでは１次ロー
ドソースユニットと呼ぶ。この実施例ではこの１次ロー
ドソースユニットははじめにポールに応答するユニット
であり、論理ＡまたはＢユニットである。このプロセス
は次に１次ロードソースユニットから４０３においてメ
インメモリに入出力装置構成テーブル（ＤＣＴ）をロー
ドする。次に４０４ですべてのユニットの状態を決定す
るためにループに入る。記憶ユニットはラインに入ると
きランダムパターンでリポートする。このプロセスは各
ユニットが４０８でリポートするのを待ち、４０９でこ
のリポートを行うユニットの論理識別子を得、そしてこ
のユニットがミラー対の一方４０５であるとき４１０で
検索ミラー化ユニット状態ルーチンを呼び出す。
【００２３】この検索ミラー化ユニット状態ルーチン４
１０はそのときシステムについて使用可能な情報にもと
づき、リポートをするユニットの状態をもどす。ルーチ
ン４１０からの復帰において、両ロードソースユニット
が４１１においてリポートしていれば、また呼出された
サブルーチンがロードソース対についての状態をもどし
て４１１で１次ロードソースが現在のデータを含まない
ときには、システムは４１３において、別のロードソー
スユニットを用いてその再初期化手順を再びスタートす
る。そうでない場合にはループ４０４にもどる。
【００２４】ルーチン４１０の詳細を図５に示す。この
ルーチンは４２１でこのユニットがロードソースユニッ
トであればロードソース状態獲得（Get Load Source St
ate)ルーチン４２２に分岐する。そうでなければ入出力
装置構成検査テーブルルーチン４２３を呼び出す。この
ルーチン４２３が４２４においてＤＣＴ有効であればル
ーチン４１０が４２５においＤＣＴに記憶されたミラー
化対の状態値をもどし、そうでなければ４２６で未知の
状態にもどす。
【００２５】４２２で呼び出されるロードソース状態獲
得ルーチンを図６に示す。これは次に４３１でＮＶＲＡ
Ｍ検査ルーチンを、４３２でディスクユニットＡについ
て記憶状態獲得ルーチンを、４３３でディスクＢの記憶
状態獲得ルーチンを呼び出し、記憶状態獲得ルーチンに
対する２回の呼び出しからもどされる状態からロードソ
ース状態をとり出すために状態導出テーブル３０１にア
クセスする。これらもどされた状態値はロードソースユ
ニットＡとＢに関連する状態である。
【００２６】ＮＶＲＡＭ検査ルーチンを図７に示す。こ
のルーチンは単純な有効性チェックを行いＮＶＲＡＭが
使用可能であるかどうかを示すフラグをセットする。こ
の検査を行う一つの理由は不揮発性ＲＡＭユニット（こ
の場合、回路カード）が交換されており、そのためロー
ドソースユニットの状態を決定するためにＮＶＲＡＭに
ついて応答するのに不充分であることがあるからであ
る。このルーチンは４４１でＮＶＲＡＭ内のデータと１
次ロードソースディスクユニットから読取られるデータ
と比較する。４４２においてＮＶＲＡＭと１次ロードソ
ースユニットが同一のシステムシリアル番号を含まない
とされ、あるいは４４３で１次ロードソースユニットと
同一のＩ／Ｏアドレスを含まないとされるとき、このＮ
ＶＲＡＭは使用可能とはされない。更にＮＶＲＡＭが４
４４でロードソースユニットの状態について無効値を含
むならば、それは使用し得ない。
【００２７】４３２と４３３の記憶状態獲得ルーチンを
図８に示す。特定のディスクユニットがリポートを行っ
た場合、このルーチンは４５１で、４５２でリポートし
ていればそのディスクユニットから読取られた状態をも
どすように分岐する。このユニットがリポートしなかっ
たならば、ＮＶＲＡＭが使用可能であるかどうかを４５
３でチェックする。ＮＶＲＡＭが使用可能であれば４５
５でＮＶＲＡＭに記憶された状態をもどし、そうでなけ
れば４５４で「未知状態」をもどす。
【００２８】４２３で呼び出されるＤＣＴ検査ルーチン
を図９に示す。このルーチンはＤＣＴが使用可能かどう
かを示すフラグをセットする。ロードソースがミラー対
でない場合、このルーチンは４６１で直ちにＤＣＴ使用
可能にセットするため分岐する。そうでなければ４６２
でロードソース状態獲得ルーチンを呼び出して１次ロー
ドソース装置の状態を得る。これは、メモリにＤＣＴテ
ーブルをはじめにロードした装置である。このロードソ
ース状態獲得ルーチンが、１次ロードソース装置が現在
データを有することを示す状態にもどると、このプロセ
スは４６３においてＤＣＴ使用可能をセットするために
分岐する。そうでなければＤＣＴを使用不能にセットす
る。次にその呼び出しルーチンにもどる。
【００２９】図４に示す入出力装置構成タスクは不定に
続く。それと同時に、図１０に示すメインＩＰＬタスク
がスタートする。４７１でこのＩＰＬタスクの第１部分
が完了した後にこのタスクは、すべての要求された記憶
ユニットすなわちこのシステムの記憶されたデータのす
べてについての現在データを含む少くとも１個の記憶ユ
ニットがリポートを行ったかどうかを４７２でチェック
する。もしそうであれば、ＩＰＬは４７３で続行可能と
され、そうでなければエラー処理ルーチンが呼び出され
る。
【００３０】例えば、システムがすべての点で機能して
おり、そして両ロードソースユニットが現在データを含
むがＢユニットの電源が切られたとすると、このシステ
ムは次の処理を行う。すなわち、入出力装置構成タスク
に入り、ユニットＡから識別子、システムシリアル番号
およびＤＣＴを４０２と４０３で読取る。４０５でユニ
ットＡはミラーであるから、４１０で検索ミラー化ユニ
ット状態ルーチンを呼び出す。これは４２１でロードソ
ース状態獲得ルーチン４２２を呼び出す。ロードソース
状態獲得ルーチンは４３１でＮＶＲＡＭ検査ルーチンを
呼び出し、これがＮＶＲＡＭを有効にセットしてもど
る。次に４３２でユニットＡについての記憶状態獲得ル
ーチンを呼び出して、これがＡＢＯＫ状態にもどる。次
にユニットＢの記憶状態獲得ルーチンを４３３で呼び出
す。ユニットＢは４５１でリポートしていないから、そ
してＮＶＲＡＭは４５３で使用可能とされるから、ＡＢ
ＯＫであるＮＶＲＡＭに状態をもどす。ロードソース状
態獲得ルーチンがＡＢＯＫである状態取出しテーブルの
結果状態を４３４で調べる。次にミラー化ユニット状態
検索ルーチン（図５）にもどり、そしてこれが入出力装
置構成タスク（図４）にもどる。両ロードソースユニッ
トは４１１においてリポートしていないから、このタス
クは４０４でループにもどり、４０８で次のユニットの
リポートを待つ。充分な時間の経過後に、４７１で他の
ワークを行っていたメインＩＰＬタスクは４７２でシス
テムのすべてのデータについて少くとも１つの現在ユニ
ットがあるかどうかを検査する。Ａユニットは現在とし
て決定されたから４７３でＩＰＬの続行を可能にする。
【００３１】この実施例では、任意の数の記憶ユニット
をミラー化しうるようにシステム設計がなされる。例え
ばこれらユニットのいくつかをミラー化しロードソース
ユニットをミラー化しないことも可能である。しかしな
がら、これは、再初期化時にミラー化状態情報の唯一の
ソースが１個のロードソースユニットとなり、ミラー化
記憶手段により与えられる冗長度の多くを失うことを意
味する。
【００３２】すべてのディスクユニットに一つの入出力
装置構成テーブルが記憶される。ロードソースユニット
以外のユニットにおけるこのテーブルのコピーは上記の
再初期化手順では用いられず、保存目的にのみ存在す
る。他の実施例では不揮発性ＲＡＭに記憶されるロード
ソース状態の代りにＤＣＴのこれらコピーを用いること
が出来る。更に他の実施例ではすべての他のユニットの
状態情報についてＤＣＴを用いるのではなく、ロードソ
ースユニットの状態を決定するために用いられると同じ
手順を用いて夫々のミラー化ディスクユニット対の状態
を個々に決定することが出来る。これらユニットはオン
ラインとされてランダムにリポートを行うから、更に他
の実施例ではまずミラー化対がリポートを行うものに状
態決定手順を適用し、次に、残りのミラー対の状態を決
定するために第１のリポートを行うミラー対の現在のユ
ニットの内の一方の入出力装置構成テーブルからの状態
情報を用いる。
【００３３】本発明の好適な実施例においては不揮発性
ＲＡＭに別の状態レコードを記憶する。このレコード
は、システムの電源低下のときデータが持続されれば、
２つのロードソースユニット以外の任意のロケーション
に記憶しうる。例えばそれはロードソースユニットと同
一形式の第３のディスク記憶ユニット、テープ、あるい
はコンピュータシステム１００とは遠く離れた、あるい
は直接に接続される他のコンピュータシステムにも記憶
しうる。
【００３４】更に他の実施例では不揮発性ＲＡＭのシリ
アル番号はそのＲＡＭ自体に、そしてディスクユニット
に記憶しうる。これらシリアル番号は不揮発性ＲＡＭの
検査において他の冗長度レベルについてＮＶＲＡＭ検査
ルーチンにおいて比較される。
【図面の簡単な説明】
【図１】本発明のミラー化記憶要素を使用するシステム
のブロック図。
【図２】記憶ユニットの内の１つまたはメインメモリに
含まれる入出力装置構成テーブルを示す図。
【図３】本発明により一対のミラー化記憶ユニットの状
態を決定するために用いられる状態取出しテーブルを示
す図。
【図４】入出力装置構成タスクのルーチンを示すフロー
チャート。
【図５】図４におけるミラー化ユニット状態検索ルーチ
ンを示すフローチャート。
【図６】図５におけるロードソース状態を呼出すルーチ
ンを示すフローチャート。
【図７】図６におけるＮＶＲＡＭ検査ルーチンを示すフ
ローチャート。
【図８】図６におけるユニットＡ，Ｂの記憶状態を獲得
するルーチンを示すフローチャート。
【図９】図５におけるＤＣＴ検査ルーチンを示すフロー
チャート。
【図１０】主ＩＰＬタスクのルーチンを示すフローチャ
ート。
【符号の説明】
１００ コンピュータシステム １０１ システムプロセッサ １０２ システムバス １０３ メインメモリ １０４ 不揮発性ＲＡＭ １０６ 入出力装置構成テーブル １０７ システムシリアル番号 １０８ 不揮発性ＲＡＭ回路カード １０９，１１０，１１１ ロードソースユニット １１６ 状態取出しテーブル １２０，１３０ Ｉ／Ｏプロセッサ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 マイケル、ジェームズ、マクダーモット アメリカ合衆国ミネソタ州、オロノコ、 ワンハンドレッド、アンド、フィフティ ーンス、ストリート、エヌ、ダブリュ、 2950 (56)参考文献 特開 昭59−218565（ＪＰ，Ａ) 特開 昭62−139172（ＪＰ，Ａ)

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項１】データ処理システムにおいて、ミラー化さ
    れた一対のデータ記憶装置の状態を決定する方法であっ
    て、 前記ミラー化された一対のデータ記憶装置の内の第１記
    憶装置からそれに関連する状態を示す第１状態レコード
    を取り出すステップと、 前記ミラー化された一対のデータ記憶装置の内の第２記
    憶装置からそれに関連する状態を示す第２状態レコード
    を取り出すステップと、 前記一対のデータ記憶装置とは別の装置から別の状態レ
    コードを取り出すステップと、 前記データ記憶装置から状態レコードを取り出すことが
    できないとき、それらデータ記憶装置の一方に関連する
    状態を前記別の状態レコードに含まれる状態情報で置き
    換えるステップと、 前記第１および第２データ記憶装置に関連する前記ミラ
    ー化された一対のデータ記憶装置の状態を決定するステ
    ップと、 を含む前記方法。
  2. 【請求項２】前記ミラー化された一対のデータ記憶装置
    の状態を決定するステップは、前記第１および第２記憶
    装置に関連する状態に対応する状態取出しテーブル内の
    エントリから前記ミラー化されたデータ記憶装置の状態
    を取り出すステップを含んでいる請求項１の方法。
  3. 【請求項３】前記別の装置は不揮発性ランダム・アクセ
    ス・メモリである請求項１又は請求項２記載の方法。
  4. 【請求項４】少くとも２対のミラー化されたデータ記憶
    装置を有するデータ処理システムにおけるこれら記憶装
    置対の状態を決定する方法であって、 ミラー化された第１記憶装置対の第１の記憶装置から、
    それに関連する状態を得るために第１状態レコードを取
    り出すステップと、 前記第１記憶装置対の第２記憶装置から、それに関連す
    る状態を得るために第２状態レコードを取り出すステッ
    プと、 前記第１記憶装置対とは別の装置から別の状態レコード
    を取り出すステップと、 前記記憶装置から状態レコードを取り出すことができな
    いとき前記第１記憶装置対の記憶装置の一方に関連する
    状態を前記別の状態レコードに含まれる状態情報で置き
    換えるステップと、 前記第１記憶装置対の第１および第２記憶装置に関連す
    る状態対に対応する状態を決定することにより前記第１
    記憶装置対の状態を決定する決定ステップと、 前記決定ステップにより現在データを得るべく決定され
    る第１記憶装置対からの第１記憶装置対以外の夫々のミ
    ラー化状態装置の状態を取り出すステップと、 を含む前記方法。
  5. 【請求項５】前記決定ステップは前記第１記憶装置対の
    第１および第２記憶装置に関連する状態に対応する状態
    取り出しテーブルのエントリから前記第１ミラー対の状
    態を取り出すステップを含んでいる請求項４の方法。
  6. 【請求項６】前記別の装置は不揮発性ランダム・アクセ
    ス・メモリである請求項４又は請求項５記載の方法。
  7. 【請求項７】ミラー化された一対のデータ記憶装置を有
    するデータ処理システムであって、 前記一対のデータ記憶装置の状態を記憶するための状態
    レコードを有する、この一対のデータ記憶装置の第１記
    憶装置と、 前記一対のデータ記憶装置の状態を記憶するための状態
    レコードを有する、この一対のデータ記憶装置の第２記
    憶装置と、 前記第１および第２記憶装置に接続され、それらの記憶
    する状態レコードを取り出す状態取り出し手段と、 前記一対のデータ記憶装置とは別の装置から別の状態レ
    コードを取り出す手段と、 前記データ記憶装置から状態レコードを取り出すことが
    できないとき、それらデータ記憶装置の一方に関連する
    状態を前記別の状態レコードに含まれる状態情報で置き
    換える手段と、 前記第１および第２データ記憶装置に関連する前記ミラ
    ー化された一対のデータ記憶装置の状態を決定する手段
    と、 を有する前記データ処理システム。
  8. 【請求項８】前記状態決定手段は前記第１記憶装置に関
    連する状態と前記第２記憶装置に関連する状態の対の夫
    々に対応する固有の状態エントリを有する状態取出しテ
    ーブルを更に含み、前記データ記憶装置の状態がこのテ
    ーブルから前記両状態に対応するエントリを取り出すこ
    とにより決定される請求項７のデータ処理システム。
  9. 【請求項９】データを記憶する第３記憶装置と、 前記第３記憶装置に記憶されるデータのコピーを記憶す
    る第４記憶装置と、を更に備え、 前記状態決定手段は、前記第１および第２記憶装置に記
    憶された状態レコードに含まれる情報を用いて前記第３
    および第４記憶装置の状態を自動的に決定する、請求項
    ７又は請求項８記載のデータ処理システム。
  10. 【請求項１０】前記別の装置は不揮発性ランダム・アク
    セス・メモリである請求項７乃至請求項９のいずれかに
    記載のデータ処理システム。
JP3086357A 1990-05-11 1991-03-26 データ処理システムにおけるミラー化された一対のデータ記憶ユニットの状態を決定する方法及び装置 Expired - Fee Related JP2994070B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US52234590A 1990-05-11 1990-05-11
US522345 1990-05-11

Publications (2)

Publication Number Publication Date
JPH05307445A JPH05307445A (ja) 1993-11-19
JP2994070B2 true JP2994070B2 (ja) 1999-12-27

Family

ID=24080496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3086357A Expired - Fee Related JP2994070B2 (ja) 1990-05-11 1991-03-26 データ処理システムにおけるミラー化された一対のデータ記憶ユニットの状態を決定する方法及び装置

Country Status (4)

Country Link
US (1) US5430866A (ja)
EP (1) EP0455922B1 (ja)
JP (1) JP2994070B2 (ja)
DE (1) DE69028517D1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0476962B1 (en) * 1990-09-18 1998-08-12 Fujitsu Limited System for configuring a shared storage
US5644767A (en) * 1993-06-01 1997-07-01 At&T Global Information Solutions Company Method and apparatus for determining and maintaining drive status from codes written to disk drives of an arrayed storage subsystem
JP3243919B2 (ja) * 1994-02-23 2002-01-07 三菱電機株式会社 ディスク装置、および、このディスク装置を使用したｆａコントローラ
JP2894676B2 (ja) * 1994-03-21 1999-05-24 インターナショナル・ビジネス・マシーンズ・コーポレイション 非同期式遠隔コピー・システム及び非同期式遠隔コピー方法
JP3140906B2 (ja) * 1994-04-12 2001-03-05 株式会社エヌ・ティ・ティ・データ システムファイルの更新及び復元方法
US5640584A (en) * 1994-12-12 1997-06-17 Ncr Corporation Virtual processor method and apparatus for enhancing parallelism and availability in computer systems
JP3283724B2 (ja) * 1995-05-10 2002-05-20 三菱電機株式会社 ミラーディスク制御方法およびミラーディスク装置
JP3132744B2 (ja) * 1995-05-24 2001-02-05 株式会社日立製作所 二重化ｃｐｕ保守交換時の動作一致検証方式
US5802265A (en) * 1995-12-01 1998-09-01 Stratus Computer, Inc. Transparent fault tolerant computer system
JP3287203B2 (ja) * 1996-01-10 2002-06-04 株式会社日立製作所 外部記憶制御装置及び外部記憶制御装置間データ転送方法
US6101600A (en) * 1996-03-01 2000-08-08 Compaq Computer Corporation Resetting a CPU
US5857208A (en) * 1996-05-31 1999-01-05 Emc Corporation Method and apparatus for performing point in time backup operation in a computer system
US5917998A (en) * 1996-07-26 1999-06-29 International Business Machines Corporation Method and apparatus for establishing and maintaining the status of membership sets used in mirrored read and write input/output without logging
KR100191269B1 (ko) 1996-08-23 1999-06-15 윤종용 하드 디스크를 이용한 컴퓨터 시스템의 검사 방법
JPH10105345A (ja) * 1996-09-27 1998-04-24 Fujitsu Ltd アレイディスク装置
US6134616A (en) * 1996-10-28 2000-10-17 International Business Machines Corporation Method and apparatus for dynamic re-enumeration and reconfiguration of computer devices after system hibernation
US6266736B1 (en) * 1997-01-31 2001-07-24 Sony Corporation Method and apparatus for efficient software updating
US5905855A (en) * 1997-02-28 1999-05-18 Transmeta Corporation Method and apparatus for correcting errors in computer systems
FR2764094A1 (fr) * 1997-06-02 1998-12-04 Trt Lucent Technologies Dispositif de sauvegarde de la configuration d'un systeme redondant
JP3614328B2 (ja) * 1999-09-28 2005-01-26 三菱電機株式会社 ミラーディスク制御装置
US6732299B1 (en) * 2000-03-08 2004-05-04 Lucent Technologies Inc. Warm start software recovery
US6820213B1 (en) 2000-04-13 2004-11-16 Stratus Technologies Bermuda, Ltd. Fault-tolerant computer system with voter delay buffer
US6687851B1 (en) 2000-04-13 2004-02-03 Stratus Technologies Bermuda Ltd. Method and system for upgrading fault-tolerant systems
US6691225B1 (en) 2000-04-14 2004-02-10 Stratus Technologies Bermuda Ltd. Method and apparatus for deterministically booting a computer system having redundant components
US6701449B1 (en) 2000-04-20 2004-03-02 Ciprico, Inc. Method and apparatus for monitoring and analyzing network appliance status information
WO2001082078A2 (en) * 2000-04-20 2001-11-01 Ciprico, Inc. Method and apparatus for maintaining the integrity of configuration data in redundant, fault tolerant network appliances
US6977927B1 (en) 2000-09-18 2005-12-20 Hewlett-Packard Development Company, L.P. Method and system of allocating storage resources in a storage area network
US6804819B1 (en) 2000-09-18 2004-10-12 Hewlett-Packard Development Company, L.P. Method, system, and computer program product for a data propagation platform and applications of same
US7386610B1 (en) 2000-09-18 2008-06-10 Hewlett-Packard Development Company, L.P. Internet protocol data mirroring
US6606690B2 (en) 2001-02-20 2003-08-12 Hewlett-Packard Development Company, L.P. System and method for accessing a storage area network as network attached storage
US6928583B2 (en) * 2001-04-11 2005-08-09 Stratus Technologies Bermuda Ltd. Apparatus and method for two computing elements in a fault-tolerant server to execute instructions in lockstep
US6772317B2 (en) * 2001-05-17 2004-08-03 Intel Corporation Method and apparatus for optimizing load memory accesses
US6963942B2 (en) * 2001-12-04 2005-11-08 Motorola, Inc. High availability system and method for improved intialization
US6948089B2 (en) * 2002-01-10 2005-09-20 Hitachi, Ltd. Apparatus and method for multiple generation remote backup and fast restore
US7502459B1 (en) * 2002-02-28 2009-03-10 Adaptec, Inc. Unified services entitlement architecture
US20120011339A1 (en) * 2010-04-05 2012-01-12 Hitachi, Ltd. Storage control apparatus and control method for virtual logical volume
TWI430098B (zh) * 2010-05-26 2014-03-11 Hard disk acceleration access device and access method thereof
US9474916B2 (en) 2013-08-08 2016-10-25 Evonik Degussa Gmbh Carbamates from glycerine carbonate for pearlization

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1102007A (en) * 1979-05-15 1981-05-26 Prem L. Sood Duplicated memory system having status indication
US4521847A (en) * 1982-09-21 1985-06-04 Xerox Corporation Control system job recovery after a malfunction
JPS59218565A (ja) * 1983-05-25 1984-12-08 Fujitsu Ltd 運転フアイル複写方式
JPS62139172A (ja) * 1985-12-13 1987-06-22 Nec Corp 磁気デイスク制御装置
JPS6458013A (en) * 1987-08-20 1989-03-06 Ibm Method and data processing system for guaranteeing large area identification and management of data memory
US5239637A (en) * 1989-06-30 1993-08-24 Digital Equipment Corporation Digital data management system for maintaining consistency of data in a shadow set

Also Published As

Publication number Publication date
EP0455922B1 (en) 1996-09-11
JPH05307445A (ja) 1993-11-19
US5430866A (en) 1995-07-04
EP0455922A3 (en) 1992-12-30
EP0455922A2 (en) 1991-11-13
DE69028517D1 (de) 1996-10-17

Similar Documents

Publication Publication Date Title
JP2994070B2 (ja) データ処理システムにおけるミラー化された一対のデータ記憶ユニットの状態を決定する方法及び装置
US5437022A (en) Storage controller having additional cache memory and a means for recovering from failure and reconfiguring a control unit thereof in response thereto
US6266785B1 (en) File system filter driver apparatus and method
US7069465B2 (en) Method and apparatus for reliable failover involving incomplete raid disk writes in a clustering system
EP0608344B1 (en) System for backing-up data for rollback
US5553230A (en) Identifying controller pairs in a dual controller disk array
US5313628A (en) Component replacement control for fault-tolerant data processing system
EP0889409B1 (en) Mirrored write-back cache module warmswap
US7185222B2 (en) Apparatus, system, and method for maintaining data in a storage array
US6591335B1 (en) Fault tolerant dual cache system
US6604171B1 (en) Managing a cache memory
JPH0731582B2 (ja) パリティ保護データを回復するための方法および装置
US20050246576A1 (en) Redundant system utilizing remote disk mirroring technique, and initialization method for remote disk mirroring for in the system
JP2780372B2 (ja) デイスク制御装置のキヤツシユ組込制御方法
US6363457B1 (en) Method and system for non-disruptive addition and deletion of logical devices
EP0709782B1 (en) Error detection system and method for mirrored memory between dual disk storage controllers
JPH08320835A (ja) 外部バスの障害検出方法
JP3399398B2 (ja) フォールトトレラントシステムにおけるミラーディスク復旧方式
US6754770B2 (en) Coherence preservation method of duplicated data in RAID subsystem
US6678107B1 (en) System and method for reading and writing N-way mirrored storage devices
WO2010011217A1 (en) Data storage method, apparatus and system for interrupted write recovery
JPH1185412A (ja) ディスクアレイ装置制御方法およびディスクアレイ装置
JPH09305327A (ja) ディスク装置
JP3239935B2 (ja) 密結合マルチプロセッサシステムの制御方法、密結合マルチプロセッサシステム及びその記録媒体
JPH04111032A (ja) 多重化記憶装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees