JPH09212380A - 高信頼性計算機システム - Google Patents

Abstract

(57)【要約】 【課題】本発明は、従来から持つページ管理機構の一部
を変更することにより、新たなハードウェアやアプリケ
ーションプログラムの変更を必要とせずに電源が落ちた
場合にも対応できる計算機システムを構築することを特
徴とする。 【解決手段】チェックポイント処理時に主記憶１１の内
容をページングデバイス１２に保存しておき、通常のペ
ージアウトが行われる度に、チェックポイント時のペー
ジングデバイスの内容を保存したまま、新しくページン
グデバイス上のページを確保して、そこにページアウト
するもので、常にチェックポイント時の主記憶の内容が
ページングデバイス上に保存されるようになる。障害が
発生した場合は、チェックポイント時の主記憶の内容を
保存しているページングデバイスまたはチェックポイン
ト保存用のメモリから主記憶の内容を回復し、チェック
ポイント以降にページアウトされたページは破棄され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、耐信頼性
を要求される、複数のＣＰＵを有してなるマルチプロセ
ッサシステムなどに適用して好適な高信頼性計算機シス
テムに関する。

【０００２】

【従来の技術】耐障害性を確保する計算機システムの構
成法のひとつに、主記憶の更新履歴をログメモリ等に採
取し、レジスタ類およびキャッシュメモリの内容等を定
期的に主記憶に退避することにより、主記憶の内容を最
新のものにした後にログメモリに保持したそれ以前の更
新履歴を破棄する方式がある。即ち、定期的にＣＰＵの
内部状態を復元し、主記憶の更新履歴をチェックするも
ので、これをチェックポイント方式と呼び、更に、主記
憶にＣＰＵの内部状態を保持することをチェックポイン
トを取るという。

【０００３】この種、計算機システムでは、一層高速
性，信頼性の向上をはかるために、キャッシュメモリ付
きの複数のＣＰＵから成るマルチプロセッサシステムで
構成される。更に、チェックポイント採取時の主記憶の
内容そのものをチェックポイントイメージとし、チェッ
クポイント採取後、キャッシュから主記憶にライトバッ
クする時に、ライトバックされる前の主記憶の内容を保
存する手段が用意される。このことで、システムが異常
を示したときにメモリをチェックポイント時の内容に回
復させるものである。従ってこのための新たなハードウ
ェアを組み込む必要があり、一方、メモリ自身の故障や
電源が落ちたような場合には対応できない。

【０００４】一方、冬眠機能を持つ計算機システムが存
在し、これはシステムの実行を中断させて、その時の物
理メモリの内容をディスク等の不揮発性記憶装置に保存
してシステムの電源をＯＦＦし、それ以後、任意の時刻
に電源をＯＮしたときに、以前中断した状態からシステ
ムの実行を再開できるようにしているものである。この
方式は、ディスクにメモリ全体の内容を書き込まなけれ
ばならないため、一度の処理に時間がかかるという欠点
をもつ。

【０００５】更にまた、ＣＡＭＥＬＯＴシステムにリカ
ラブルセグメントと呼ばれるものがあり、トランザクシ
ョンが途中で異常終了した時に、それまでのデータの変
更を元に戻せるように、ページアウト時にはログを採取
しながらバッキングストアを変更している。このシステ
ムはより確実な動作を保証することができるが、アプリ
ケーションプログラムをトランザクションを用いるよう
に変更しなければならない。

【０００６】

【発明が解決しようとする課題】上述した従来システム
において、メモリの高信頼性を得るためには、そのため
の新たなハードウェアを用意するか、あるいは、複雑な
ソフトウェアによる時間のかかる処理を行うか、アプリ
ケーションプログラムを変更してトランザクションを用
いるものに変更する等の手間が必要であった。

【０００７】本発明は上記実情に鑑みてなされたもので
あり、従来から持つページ管理機構の一部を変更するこ
とにより、新たなハードウェアやアプリケーションプロ
グラムの変更を必要とせずに電源が落ちた場合にも対応
できる高信頼性計算機システムを提供することを目的と
する。

【０００８】

【課題を解決するための手段】本発明の高信頼性計算機
システムは、定期的にチェックポイントを採取し、障害
が発生した場合にシステムを直前のチェックポイントの
状態に復元し、その状態からデータ処理を再開するもの
であって、主記憶とページングデバイスとの間でページ
ングされた全ての主記憶メモリページに対してページン
グデバイスを確保する手段と、システムの状態を保存
し、故障発生後に上記保存した状態に戻すためのチェッ
クポイントを採取する際、全ての変更されたページを上
記ページングデバイス上に書き出す手段と、変更された
ページを上記ページングデバイス上に書き出す際、ペー
ジテーブル中のページが変更されていることを示す標識
を消去する手段と、通常のデータ処理中にページアウト
が発生した場合は直前のチェックポイント時のページン
グデバイス上の当該ページの内容を保存しておく手段
と、故障が発生した後に直前のチェックポイント時のメ
モリの状態に戻す際、ページングデバイスに保存された
チェックポイントをメモリにコピーする手段とを具備す
ることを特徴とする。

【０００９】また、チェックポイント採取時に変更され
たページをページングデバイス上に書き出す際、先のチ
ェックポイント採取時の内容を保存したままページング
デバイス上の別の領域に全ての変更ページを書き出した
後、先のチェックポイント採取時の内容を廃棄する手段
を更に具備することも特徴とする。

【００１０】

【作用】上述した構成において、チェックポイント処理
時に主記憶の内容をページングデバイスまたはメモリ上
のあらかじめ確保された領域に保存しておき、通常のペ
ージアウトが行われる度に、チェックポイント時のペー
ジングデバイスの内容を保存したまま、新しくページン
グデバイス上のページを確保して、そこにページアウト
するもので、常にチェックポイント時の主記憶の内容が
ページングデバイス上またはメモリ上に保存されるよう
になる。

【００１１】障害が発生した場合は、チェックポイント
時の主記憶の内容を保存しているページングデバイスま
たはチェックポイント保存用のメモリから主記憶の内容
を回復し、チェックポイント以降にページアウトされた
ページは破棄される。このことにより、障害が発生する
以前に採取したチェックポイント時点の状態に復帰する
ことができ、そこから再実行することにより一過性の故
障を克服することが可能となり、新たなハードウェアや
アプリケーションプログラムの変更を必要とせずに電源
が落ちた場合にも対応できる高信頼性計算機システムを
構築できる。

【００１２】

【発明の実施の形態】以下図面を参照して本発明の一実
施形態を説明する。図１は、本発明の一実施形態を示す
ブロック図である。図において、符号１０はＣＰＵを含
むメモリ管理ユニット（ＭＭＵ）であり、仮想アドレス
から物理アドレスへのアドレス変換の他、後述する諸々
のコントロールを行う。

【００１３】符号１１は主記憶等の物理メモリであり、
プログラム乃至データが格納される他、アドレス変換表
であるページテーブルも割当てられ格納される。符号１
２はディスク等ページングデバイスである。

【００１４】符号１３は不揮発性メモリであり、チェッ
クポイント時のハードウェア状態が保存される領域１４
と、チェックポイント時の物理ページを保存したページ
ングデバイス１２中のページ位置が示されるテーブル１
５が割付けられ構成される。

【００１５】上述した構成に於いて、メモリ管理ユニッ
ト１０を用いてアドレス変更を行ない、ページングデバ
イス１２と物理メモリ１１の間でページングが行なわれ
る。ページングデバイス１２上に物理メモリ１１のチェ
ックポイントイメージが保存され、不揮発性記憶装置１
３上に、チェックポイント時の物理ページに対応するペ
ージングデバイス１２上のページの位置を示す配列１５
とチェックポイント時のハードウェアの状態１４が保存
される。

【００１６】図２は、本発明による実施形態の動作概念
を示す図である。チェックポイント採取時（ａ）、通常
のページアウト時（ｂ）、ロールバック時（ｃ）のそれ
ぞれが示されている。図中、図１に示す符号と同一符号
の付されたブロックは図１のそれと同じとする。

【００１７】ここでは、全ての物理ページに対するペー
ジングデバイス１２上のページを確保し、チェックポイ
ントを採取する時に、全ての物理ページの内容がページ
ングデバイス１２上に載るように、前回採取したチェッ
クポイント以降、変更されてその内容がディスクに反映
されていないページはページアウトする。

【００１８】通常、データは処理中にページアウトをす
る必要が生じたときには、直前のチェックポイント時の
ページングデバイス１２の内容を保存したまま、新たに
ページングデバイス１２上のページを確保して、そこに
ページアウトする。

【００１９】このことにより、一過性のエラーが起こっ
て直前のチェックポイントから処理を再開する場合に
は、保存しておいたチェックポイント時のページングデ
バイス１２の内容からメモリをチェックポイント当時の
状態に復元することができる。

【００２０】図３は、上記実施形態を実現する際に使用
するデータの構造である。アドレス空間のバッキングス
トアは、プロセスの仮想アドレス空間の領域毎に、ペー
ジングデバイス１２上のファイルとして用意する。バッ
キングストアの情報は、プロセス構造体３０１からポイ
ンタによって指定されるアドレス空間構造体３０２につ
なげられるアドレス領域構造体３０３の中に存在してい
る。

【００２１】全てのメモリページに対して、各々一つず
つページ構造体３０４が存在し、ここにはそのページが
ストアされるべきページングデバイス１２上の位置を記
憶する。

【００２２】尚、３０５は、ページをマッピングするた
めに使われているページテーブル内の位置を示す構造
体、３０６は、ページテーブルエントリ、３０７、３０
８は複数段構成のページテーブル、３０９は物理ページ
である。

【００２３】ページングデバイス１２はファイルの形で
用意され、ページングデバイス１２を指定するために
は、ノード、ファイル内でのオフセットを用いる。ペー
ジ構造体には、そのページをマッピンクするために使わ
れているページテーブル内の位置を示す構造体のリスト
３０５をつなげる。

【００２４】メモリページがページングデバイス１２と
異なっているか否かは、このリスト３０５を辿ってペー
ジテーブル３０８を走査し、内蔵する変更ビットがＯＮ
しているか否かで調べることができる。

【００２５】図４は通常のページアウト処理を示した図
である。ノード４０５にはページンクデバイス４０３上
にオリジナルなものがあり、それをメモリ４０１上にコ
ピーして、メモリ上ｉノード４０２として操作を行って
いる。

【００２６】ページアウトする際には、ページングデバ
イス１２上に新たなページ４０７を確保してそこにメモ
リ４０９の内容を書き出し、メモリ１１上のｉノード４
０２のみを変更し、ページテーブルエントリ３０６を無
効にしてからメモリページ４０９を解放する。

【００２７】また、チェックポイント時のページングデ
バイス１２上のページ４０６は解放せず、そのページの
位置をメモリ１１上の配列４０４に記録しておく。図５
はチェックポイント処理を示す動作概念図である。

【００２８】ここに示す例では、図３に示すページ構造
体３０４を調べて、メモリページ５０３がページングデ
バイス１２上の内容から変更があるか否かを調べ、変更
がある場合は通常のページアウトと同様に、ページング
デバイス１２に書き込み、メモリ１１上のｉノード５０
１のみを更新する。

【００２９】また、図３で示すページ構造体３０４か
ら、ページテーブルエントリの位置３０６を知り、ペー
ジングデバイス１２に書いたページ５０３に対応する変
更ビットを消去する。

【００３０】全てのメモリページがページングデバイス
１２に反映された後、メモリ１１上のｉノード５０１と
同じになるようにページングデバイス１２上のｉノード
５０６を更新し、システムの現在状態を示す情報がペー
ジングデバイス１２に記録する。

【００３１】その一例として、現在メモリ１１に載って
いるページが、ページングデバイス１２上のどこにある
かを示す配列５０８がある。そして、通常のページアウ
ト時に保存しておいた、前回のチェックポイント時のペ
ージングデバイス１２上のページ５０９を解放する。

【００３２】図６はリカバリ処理を示す動作概念図であ
る。一過性の故障が発生して、直前のチェックポイント
時のメモリに復帰して再実行する際には、ページングデ
バイス１２上に置かれている、チェックポイント時の物
理ページを指す配列６０６の要素が指すページをメモリ
ページ６０７にコピーする。

【００３３】メモリ１１上のｉノード６０１は、この時
に上書きされ消えるので、メモリ上のｉノードもチェッ
クポイント時の状態に復元される。上述した、（ａ）通
常のページアウト時の処理、（ｂ）チェックポイント時
の処理、（ｃ）リカバリ時の処理をそれぞれまとめると
以下に示す様になる。 （ａ）リカバリ処理 １）ページングデバイスに新たなページを確保してペー
ジを書き出す。

【００３４】２）メモリ上のｉノードのみを変更し、ペ
ージングデバイスには書かない。 ３）今まで使用していたページングデバイスのページは
フリーとせず、メモリ上の配列に記録する。 （ｂ）チェックポイント処理 １）ペンディングとなっている割り込みを全て処理し、
全てのプロセスがスリープ状態またはレディ状態になる
ようにする。

【００３５】２）スタック等の作業領域を保存対象とな
らないメモリに切り替える。 ３）メモリ構造体の配列を走査して、メモリ上で変更さ
れているページをページングデバイスに書き出す。

【００３６】４）ｉノードをディスクに書き込む。 ５）従来のチェックポイント時に保存しておいたページ
を解放する。 ６）不揮発性の記憶媒体に管理用の、メモリに載ってい
たページのページングデバイス上での位置、リカバリ用
のコードの位置、ＣＰＵ、メモリ管理ユニット等の設定
情報を書き込む。 （ｃ）リカバリ処理 １）不揮発性記憶媒体上に、メモリ上にあったページの
配列があるので、それを使ってメモリを復元する。

【００３７】２）不揮発性記憶媒体上に存在する管理用
情報からＣＰＵ、メモリ管理ユニット等の設定を行う。 ３）リカバリ用のコードを実行する。

【００３８】尚、図４以降、符号４０１，５０１，６０
１は物理メモリ上のｉノード、符号４０４，５０５は解
放を延期されているページングデバイス１２上のページ
を示す配列、符号４０５，５０６，６０３はページング
デバイス１２上のｉノード、符号４０６，４０７，５−
９，６０５はページングデバイス１２上のページを示
す。

【００３９】

【発明の効果】以上説明のように本発明によれば、新た
なハードウェアの追加やアプリケーションプログラムの
変更なしに、従来のページ管理機構の一部を変更するだ
けでチェックポイント時のメモリイメージを安いコスト
で保存することができる。また、電源が落ちた場合にも
対応でき、一層信頼性の向上を図った計算機システムが
提供できる。

【図面の簡単な説明】

【図１】本発明の一実施形態を示すブロック図。

【図２】本発明の実施形態に於ける動作概念を示す図。

【図３】本発明の実施形態を実現する際に使用するデー
タの構造を示す図。

【図４】本発明の実施形態に於けるページアウト処理の
動作概念を示す図。

【図５】本発明の実施形態に於けるチェックポイント処
理の動作概念を示す図。

【図６】本発明の実施形態に於けるリカバリ処理の動作
概念を示す図。

【符号の説明】

１０…メモリ管理ユニット、１１，４０１，５０２，６
０２…物理メモリ、１２，４０３，５０７，６０４…ペ
ージングデバイス、１３…不揮発性メモリ、１４…ハー
ドウェア状態保存領域、１５，５０８，６０６…ページ
位置記録配列。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 定期的にチェックポイントを採取し、障
   害が発生した場合にシステムを直前のチェックポイント
   の状態に復元し、その状態からデータ処理を再開する計
   算機システムであって、主記憶とページングデバイスと
   の間でページングされた全ての主記憶メモリページに対
   してページングデバイスを確保する手段と、システムの
   状態を保存し、故障発生後に保存された状態に戻すため
   のチェックポイントを採取する際、全ての変更されたペ
   ージを上記ページングデバイス上に書き出す手段と、変
   更されたページを上記ページングデバイス上に書き出す
   際、ページテーブル中のページが変更されていることを
   示す標識を消去する手段と、通常のデータ処理中にペー
   ジアウトが発生した場合は直前のチェックポイント時の
   ページングデバイス上の当該ページの内容を保存してお
   く手段と、故障が発生した後に直前のチェックポイント
   時のメモリの状態に戻す際、ページングデバイスに保存
   されたチェックポイントをメモリにコピーする手段とを
   具備することを特徴とする高信頼性計算機システム。
2. 【請求項２】 チェックポイント採取時に変更されたペ
   ージをページングデバイス上に書き出す際、先のチェッ
   クポイント採取時の内容を保存したままページングデバ
   イス上の別の領域に全ての変更ページを書き出した後、
   先のチェックポイント採取時の内容を廃棄する手段を具
   備することを特徴とする請求項１記載の高信頼性計算機
   システム。
3. 【請求項３】 定期的にチェックポイントを採取し、障
   害が発生した場合にシステムを直前のチェックポイント
   の状態に復元し、その状態からデータ処理を再開する計
   算機システムにおいて、ページアウトする主記憶ページ
   内容を格納するページングデバイスを、主記憶への常駐
   ページも含め全ての論理ページ分確保するステップと、
   ページテーブル内の標識が更新されている主記憶のペー
   ジをページングデバイスに書き出し、上記ページテーブ
   ル内の当該標識をクリアすることにより、主記憶の状態
   をページングデバイスに保存するチェックポイント採取
   のためのステップと、既にページングデバイス上に保存
   されている当該ページのデータが直前のチェックポイン
   トの状態に対応するものであるとき、そのデータを保存
   する、通常のデータ処理中におけるページアウトのため
   のステップと、チェックポイント時のページテーブルの
   内容をページングデバイスから主記憶にロードし、ペー
   ジテーブルの内容に基づいて、ページングデバイスから
   主記憶に転送する、障害発生による直前のチェックポイ
   ント状態の復元を行うためのステップとを含むことを特
   徴とする高信頼性計算機システム。
4. 【請求項４】 先のチェックポイント時における各ペー
   ジの内容をページングデバイス上に保存したまま、別の
   記憶領域を使用してページテーブル内の更新標識がセッ
   トされている主記憶上のページをページングデバイスに
   書き出し、上記ページテーブル内の当該更新標識をクリ
   アする上記処理の終了後、先のチェックポイント処理時
   における各ページの内容を廃棄するステップを具備する
   ことを特徴とする請求項３記載の高信頼性計算機システ
   ム。