JP2916420B2 - チェックポイント処理加速装置およびデータ処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、たとえばデータ
の一貫性を保証するためにスヌープ機構を有してなるキ
ャッシュメモリを備えた計算機に適用して好適なチェッ
クポイント加速装置およびデータ処理方法に関する。

【０００２】

【従来の技術】計算機システムを高信頼化する方式の一
つとして、通常のデータ処理の途中で定期的にチェック
ポイントをメインメモリ上に作成しておき、計算機に何
らかの障害が発生したときに、直前のチェックポイント
に戻って処理を再開するといったものが存在する。そし
て、このような方式は、チェックポイント／リカバリ方
式と称され、下記の３つの種類に大別される。

【０００３】（１）主にデータベース管理システムなど
で使用され、計算機がダウンしたときに、データ自体の
喪失を防いだり、データ間の論理的な整合性を維持した
り、他の計算機がデータベースを引継いたりするための
もの。

【０００４】（２）ひとつのアプリケーションプログラ
ムをプライマリプロセスとシャドウプロセスとして別の
計算機に配置して実行し、プライマリプロセスを実行中
の計算機がダウンしたときに、シャドウプロセスが整合
性のとれた状態で引継ぐためのもの。ユーザからは、ア
プリケーションプログラムの実行が途中で打ち切られず
に続いているように見える。

【０００５】（３）計算機に何らかの故障が発生したと
きに、その計算機がダウンすることを回避するためのも
の。ユーザおよびアプリケーションプログラムからは、
故障が発生しなかったときと比べてほとんど違いが見え
ない。

【０００６】このうち、（３）のチェックポイント／リ
カバリ方式では、何らかの故障が発生したときに、直前
のチェックポイントから処理が再開されるので、チェッ
クポイント自身は故障発生によっても破壊されない記憶
装置に格納することが必須である。そのような記憶装置
は安定記憶と呼ばれ、たとえば二重化された主記憶装置
などが使用される。

【０００７】このようなチェックポイント／リカバリ方
式の計算機では、図２９に示すように、各プロセッサ
は、定期的に通常のデータ処理を一時中断してチェック
ポイント処理を行ない（１）、それが終了すると再び通
常のデータ処理を中断した時点から再開する（２）。そ
して、何らかの故障が発生すると（３）、プロセッサは
リカバリ処理を行なう。このリカバリ処理では、メイン
メモリを（２）の状態に戻した後に、通常のデータ処理
を再開する（４）。すなわち、（４）において（２）と
同じ状態から再開することにより、障害発生の影響を受
けることなくデータ処理を続行することを目指すもので
ある。

【０００８】次に、このチェックポイント／リカバリ方
式について、キャッシュメモリ、メインメモリおよびチ
ェックポイントの関係を下記に示す。

【０００９】（通常のデータ処理）障害発生時にメイン
メモリをチェックポイント時の状態に戻すため、メイン
メモリが書き換えられる場合、何らかの対策をとる必要
がある。

【００１０】（チェックポイント処理）キャッシュメモ
リに保持されている更新されたデータをすべてメインメ
モリに書き戻す。

【００１１】（障害発生時の復旧処理）少なくとも直前
のチェックポイント処理以後にメインメモリ上で更新の
発生した部分をチェックポイント時点の状態に戻す必要
がある。

【００１２】チェックポイント／リカバリ方式を採用し
たフォールトトレラント計算機は、たとえばＰｈｉｌｉ
ｐ Ａ Ｂｅｒｎｓｔｅｉｎ，“Ｓｅｑｕｏｉａ：Ａ
Ｆａｕｌｔ−Ｔｏｌｅｒａｎｔ Ｔｉｇｈｔｌｙ Ｃｏ
ｕｐｌｅｄ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ ｆｏｒ
Ｔｒａｎｓａｃｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ”，Ｉ
ＥＥＥ Ｃｏｍｐｕｔｅｒ，Ｖｏｌ．２１，Ｎｏ．２，
１９８８などに開示されている。

【００１３】このＳｅｑｕｏｉａ計算機においては、通
常のデータ処理の期間中、プロセッサがデータを更新す
ると、そのデータはキャッシュメモリ上に保持され、決
してメインメモリに書き戻されることはない。そして、
チェックポイント処理を開始すると、キャッシュメモリ
に保持されていた更新されたデータがメインメモリに書
き戻される。そして、計算機に何らかの故障が発生した
場合には、キャッシュメモリを無効化することにより、
直前のチェックポイントの時点のメインメモリの状態か
ら通常のデータ処理を再開することができる。これを前
述したキャッシュメモリ、メインメモリおよびチェック
ポイントの関係に対応させると、下記のように示すこと
ができる。

【００１４】（通常のデータ処理）プロセッサにより更
新されたデータは、チェックポイント処理を始めるまで
はメインメモリに書き戻さない。

【００１５】（チェックポイント処理）キャッシュメモ
リに保持されている更新されたデータは、すべてメイン
メモリに書き戻す。

【００１６】（障害発生時の復旧処理）キャッシュメモ
リを無効化するだけで良い。

【００１７】また、このＳｅｑｕｏｉａ計算機では、チ
ェックポイント／リカバリ方式を実現するために、特別
なキャッシュメモリを備えている。というのは、通常の
ライトスルー型、あるいはコピーバック型のキャッシュ
メモリを使用すると、「通常のデータ処理の期間中にプ
ロセッサにより更新されたデータは、チェックポイント
処理を始めるまではメインメモリに書き戻さない」とい
う制御ができないためである。

【００１８】また、ＵＳＰ ４，７４０，９６９“Ｍｅ
ｔｈｏｄ ＆ Ａｐｐａｒａｔｕｓｆｏｒ Ｒｅｃｏｖ
ｅｒｉｎｇ ｆｒｏｍ Ｈａｒｄｗａｒｅ Ｆａｕｌｔ
ｓ”には、下記の方式が開示されている。

【００１９】（通常のデータ処理）メインメモリからキ
ャッシュメモリにデータをロードする際、そのアドレス
とデータの内容を保持する。

【００２０】（チェックポイント処理）言及されていな
い。

【００２１】（障害発生時の復旧処理）前記アドレスと
データとを用いて、メインメモリをチェックポイント時
点の状態に戻す。

【００２２】

【発明が解決しようとする課題】このように、Ｓｅｑｕ
ｏｉａ計算機の場合には、チェックポイント／リカバリ
のために特別なキャッシュメモリを備える必要があり、
プロセッサの急激な技術改革に追従させることが難しい
という問題がある。

【００２３】また、ＵＳＰ４，７４０，９６９に開示さ
れる方式では、通常のデータ処理において取得するデー
タの量が多くなること、およびチェックポイント処理時
にキャッシュフラッシュを実行する手段を設ける必要が
あるという問題がある。

【００２４】この発明は、このような実情に鑑みてなさ
れたものであり、特別なキャッシュメモリを必要とせず
に、標準的なユニプロセッサあるいはマルチプロセッサ
を搭載する計算機でチェックポイント／リカバリ機能を
容易に実現可能とするチェックポイント処理加速装置お
よびデータ処理方法を提供することを目的とする。これ
により、標準的な計算機における性能向上の恩恵を享受
することができ、また、ＵＳＰ４，７４０，９６９に開
示される方法と比較して、通常のデータ処理において取
得するデータの量がより少なく、チェックポイント処理
時のキャッシュフラッシュ機能も実現するチェックポイ
ント処理加速装置およびデータ処理方法を提供すること
が可能となる。

【００２５】この発明のチェックポイント処理加速装置
は、バススヌープ機構を有するコピーバック型のキャッ
シュメモリを備えた少なくとも一つ以上のプロセッサ
と、メインメモリと、前記プロセッサと前記メインメモ
リとを接続するシステムバスとを具備してなる計算機に
適用されるチェックポイント処理加速装置であって、デ
ータ更新が発生したアドレスおよびその更新前のデータ
を組としたビフォアイメージを複数個記憶するビフォア
イメージ記憶手段と、前記キャッシュメモリ上でデータ
更新が発生したことを示すコマンドおよびそれに対する
応答を前記システムバスの監視によって検知し、前記キ
ャッシュメモリ上でデータ更新が発生したことを示すコ
マンドおよびそれに対する応答が更新アドレスおよび更
新前データを含む場合に、そのアドレスおよび更新前デ
ータを前記ビフォアイメージ記憶手段に格納し、前記キ
ャッシュメモリ上でデータ更新が発生したことを示すコ
マンドおよびそれに対する応答が更新の発生したアドレ
スを含むが更新前のデータを含まない場合に、その更新
前のデータを読み出すためのコマンドを前記キャッシュ
メモリ上でデータ更新が発生したことを示すコマンドお
よびそれに対する応答に含まれるアドレスを用いて前記
システムバスに発行し、前記アドレスおよび読み出され
た更新前のデータを前記ビフォアイメージ記憶手段に格
納するビフォアイメージ取得手段と、前記プロセッサか
ら指示されたときに、前記ビフォアイメージ記憶手段に
格納されたすべてのアドレスについて、そのアドレスで
示される更新状態のデータをメインメモリに書き戻すこ
とを要求するコマンドを前記システムバスに発行するキ
ャッシュフラッシュ実行手段と、前記プロセッサから指
示されたときに、前記ビフォアイメージ記憶手段に格納
されたすべての更新前データについて、新しく格納した
ものから順にメインメモリへの更新書き込みを要求する
コマンドを前記システムバスに発行するメインメモリ状
態復元手段とを具備してなることを特徴とする。

【００２６】この発明のチェックポイント処理加速装置
においては、プロセッサがキャッシュメモリ上でデータ
更新を行なうと、ビフォアイメージ取得手段が、その更
新アドレスと更新前データとを取得してビフォアイメー
ジ記憶手段に格納する。キャッシュフラッシュ実行手段
は、プロセッサからの指示に基づき、ビフォアイメージ
記憶手段に格納されているすべてのアドレスを使用し
て、そのアドレスを有する更新状態のキャッシュブロッ
クの内容をメインメモリに書き戻すこと要求するコマン
ドをシステムバスに発行することにより、キャッシュフ
ラッシュを実行する。一方、メインメモリ状態復元手段
は、プロセッサからの指示に基づき、ビフォアイメージ
記憶手段に格納されているすべての更新前データを新し
く格納したものから順にメインメモリの更新書き込みを
要求するコマンドをシステムバスに発行することによ
り、メインメモリをビフォアイメージ記憶手段には何も
記憶されていなかったときの状態にする。

【００２７】すなわち、この発明のチェックポイント処
理加速装置を適用すれば、特別なキャッシュメモリを不
要とし、かつ、従来のように、プロセッサがキャッシュ
フラッシュ用のソフトウェアを実行することによってキ
ャッシュフラッシュを実施することと比較して、大幅な
高速化が期待される。したがって、チェックポイント処
理に費やされる作業のほとんどがキャッシュフラッシュ
であることを考慮すれば、チェックポイント／リカバリ
方式の計算機全体の性能を向上させることができる。

【００２８】また、連続するチェックポイントの間でプ
ロセッサが同じアドレスのデータを複数回更新すること
も十分考えられる。そこで、メインメモリをキャッシュ
メモリ上に確保されるキャッシュブロックの大きさで分
割し、この分割によって定義される区画に対応させて、
オンとオフとの二つの状態が割り当てられるフラグメモ
リを設けることが好ましい。そして、キャッシュブロッ
ク内のデータが更新された際、そのアドレスに対応した
フラグメモリがオフであった場合には、その更新前のデ
ータをビフォアイメージ記憶手段に格納するとともに、
そのフラグメモリをオンにする。また、プロセッサによ
り再度そのデータが更新された場合には、そのフラグメ
モリはすでにオンとなっているので、更新前のデータは
格納済みであることが認識できるため、更新前のデータ
のビフォアイメージ記憶手段への格納は行なわない。こ
れにより、不要な動作を削減することができるため、そ
の性能をさらに向上させることが可能となる。このフラ
グメモリは、必ずしもすべての区画に対応させて設けな
ければならないものではなく、一部の区画に対応させて
設けた場合であっても有効である。

【００２９】また、互いに共通部分をもたないようにア
ドレス範囲を設定し、この設定したアドレス範囲それぞ
れに対応させてブロックカウンタを設けることが好まし
い。この場合、このブロックカウンタを、その対応する
アドレス範囲に含まれるキャッシュブロックの中で更新
状態のキャッシュブロックがいくつあるかを示すように
管理する。したがって、このブロックカウンタが初期値
（たとえば０）を示す場合、このアドレス範囲に関して
は、キャッシュフラッシュが不要であることが即座に認
識できるため、チェックポイント処理の所要時間を大幅
に短縮することが可能となる。

【００３０】また、この発明のデータ処理方法は、バス
スヌープ機構を有するコピーバック型のキャッシュメモ
リを備えた少なくとも一つ以上のプロセッサと、メイン
メモリと、請求項１乃至１９のいずれかに記載のチェッ
クポイント処理加速装置と、前記プロセッサと前記メイ
ンメモリ前記チェックポイント処理加速装置とを接続す
るシステムバスを備える計算機システムにおけるデータ
処理方法であって、前記チェックポイント処理加速装置
のビフォアイメージ取得手段を起動した後、通常のデー
タ処理を実行するデータ処理実行ステップと、前記デー
タ処理実行ステップを一時中断して、すべての前記プロ
セッサが同期して実行する、データ処理中のコンテキス
トをメインメモリに格納して、前記チェックポイント処
理加速装置のキャッシュフラッシュ実行手段を起動し、
前記チェックポイント処理加速装置のキャッシュフラッ
シュ実行手段の実行終了後、前記データ処理実行ステッ
プを再開するチェックポイント作成ステップと、故障が
発生したときに、すべての前記プロセッサが同期して前
記キャッシュメモリのすべてのキャッシュブロックを無
効化した後、前記チェックポイント処理加速装置のメイ
ンメモリ状態復元手段を起動することにより前記メイン
メモリの状態を直前に採取してチェックポイント時点の
状態に復元し、その後前記データ処理実行ステップを再
開するロールバック／リカバリステップとを有すること
を特徴とする。

【００３１】中断した処理を再開始するためのチェック
ポイントを定期的に採取する計算機システムにおいて
は、このチェックポイントの採取に費やす時間をいかに
短縮するかが重要である。すなわち、このような計算機
システムに、前述したようなチェックポイント処理加速
装置を適用すれば、システム全体の性能を向上させるこ
とが可能となる。

【００３２】

【発明の実施の形態】以下、図面を参照してこの発明の
実施の形態を説明する。

【００３３】（第１の実施形態）図１には、この発明の
第１の実施形態に係る計算機システムのシステム構成が
示されている。各プロセッサ１０は、キャッシュ一貫性
を備えたコピーバック型のキャッシュメモリ２０を有す
る。ただし、キャッシュメモリがプライマリとセカンダ
リとの２階層あるいはそれ以上の階層で構成される場
合、本実施形態でいうキャッシュメモリ２０とは、最も
システムバス４０に近いキャッシュメモリを指す。ま
た、キャッシュメモリによっては、命令を格納するキャ
ッシュメモリと、データを格納するキャッシュメモリと
が分かれているものもあるが、その場合、本実施形態で
いうキャッシュメモリ２０とは、データを格納するため
のキャッシュメモリを指す。また、本システムにおける
システムバス４０上でのアドレスは、３２ビットとして
説明する。

【００３４】まず、このチェックポイント処理加速装置
３０の機能について、本装置を制御するソフトウェアと
関連させて説明する。

【００３５】（初期化）プロセッサ１０は、ある適当な
時点でＭｏｄｉｆｉｅｄ状態（後述）のキャッシュブロ
ックが存在しない状態を作る。

【００３６】（通常のデータ処理時）プロセッサ１０
は、通常のデータ処理を開始する時点でビフォアイメー
ジ取得部３２を起動する。プロセッサ１０が、アプリケ
ーションプログラムなどを実行している間、チェックポ
イント処理加速装置３０は、システムバス４０を監視
し、プロセッサ１０がキャッシュメモリ２０上でデータ
を更新したことを検知するごとに、更新アドレスと更新
前のデータとを記憶する。

【００３７】（チェックポイント処理）プロセッサ１０
は、通常のデータ処理を一定時間、たとえば数ミリ秒〜
数１０ミリ秒実行すると、チェックポイント処理を行な
う。チェックポイント処理では、直前まで実行していた
アプリケーションプログラムのコンテキスト（プロセッ
サのレジスタ内容など）をメインメモリ５１に格納する
とともに、すべてのＭｏｄｉｆｉｅｄ状態のキャッシュ
ブロックの内容をメインメモリ５１に格納する（以下、
「キャッシュフラッシュ」という）。このチェックポイ
ント処理加速装置３０は、すべてのＭｏｄｉｆｉｅｄ状
態のキャッシュブロックに対し、その内容のメインメモ
リ５１への書き戻しを要求するコマンドをシステムバス
４０に発行することによってキャッシュフラッシュを実
現する。この処理は、プロセッサ１０がキャッシュフラ
ッシュ用のソフトウェアを実行するのと比較して高速で
あることが期待される。チェックポイント処理が終了す
ると、プロセッサ１０は通常のデータ処理を再開する。

【００３８】（障害発生時の復旧処理）計算機システム
に何らかの障害が発生した場合、プロセッサ１０は、障
害の箇所を同定し、必要であれば障害の発生した装置を
切り離すとともに、すべてのキャッシュブロック２０を
無効化する。そして、チェックポイント処理加速装置３
０は、その内部に記憶されているビフォアイメージを使
って、メインメモリ５１に更新前のデータを書き戻すコ
マンドを発行することにより、メインメモリ５１の状態
を直前のチェックポイント処理時の状態に戻す。その
後、プロセッサ１０は通常のデータ処理を再開する。

【００３９】すなわち、本実施形態のチェックポイント
処理加速装置３０は、下記の３つの機能を有する。

【００４０】（１）通常のデータ処理時 プロセッサ１０がデータ更新を行なったことを検知し、
そのビフォアイメージを取得して記憶する。

【００４１】（２）チェックポイント処理 プロセッサ１０からの指示により、記憶していたビフォ
フイメージを使ってＭｏｄｉｆｉｅｄ状態のキャッシュ
ブロックの内容のメインメモリ５１への書き戻しを要求
するコマンドを発行する。

【００４２】（３）障害発生時の復旧処理 プロセッサ１０からの指示により、記憶していたビフォ
アイメージを使ってメインメモリ５１に更新前のデータ
を書き戻すコマンドを発行する。

【００４３】なお、ビフォアイメージを記憶するのは、
（２）および（３）の機能を実現するためであるから、
必ずしもすべてのデータ更新について、そのビフォアイ
メージを取得する必要はない。たとえば、チェックポイ
ントの後、あるアドレスに対して最初に更新が発生した
場合、ビフォアイメージの取得は必須であるが、２度目
以降の場合には、ビフォアイメージの取得は不要であ
る。

【００４４】このチェックポイント処理加速装置３０
は、システムバス４０上のコマンドとその応答とを監視
し、あるいは能動的にコマンドを発行することにより処
理を行なうので、ここでキャッシュメモリ２０およびシ
ステムバス４０の構造、ならびにコマンドとそれに対す
る応答とについて説明する。ただし、ここで述べるもの
は、本実施形態のメモリ状態復元部３３を適用可能な計
算機の一例である。たとえば、下記に示すキャッシュブ
ロックの取り得る状態やシステムバス４０上のコマンド
や応答には、それぞれ数種類のバリエーションが存在す
るが、いずれについても本実施形態の主旨にしたがった
チェックポイント処理加速装置３０が構成可能である。

【００４５】（システムバスの構造）システムバス４０
は、アドレス／データ線の他、制御用信号線として、コ
マンド信号線、モディファイド応答信号線、およびシェ
アード応答信号線を含む。アドレス／データ信号線は、
コマンドのアドレスおよびデータを送るための信号線で
あり、共通の信号線を時分割で使う方式と、アドレス／
データそれぞれに独立した信号線を設ける方式とがあ
り、いずれであっても構わない。コマンド信号線は、コ
マンドの種類を示す他、コマンドに関する各種情報を送
るための信号線である。シェアード応答信号線は、他の
プロセッサ／キャッシュメモリにより発行されたコマン
ドに対して、ブロックを共有していることを通知するた
めに用いられる。そして、モディファイド応答信号線
は、他のプロセッサ／キャッシュメモリにより発行され
たコマンドに対して、ブロックの更新データを保持して
いることを通知するために用いられる。

【００４６】（キャッシュブロックの状態）キャッシュ
ブロックの取り得る状態は、下記の通りである。

【００４７】（１）Ｉｎｖａｌｉｄ状態 そのキャッシュブロックには有効なデータが存在しな
い。

【００４８】（２）Ｍｏｄｉｆｉｅｄ状態 そのキャッシュブロックには更新されたデータが存在す
る。また、他のプロセッサ１０のキャッシュブロックに
は、このデータは存在しない。

【００４９】（３）Ｃｌｅａｎ−Ｓｈａｒｅｄ状態 そのキャッシュブロックにはメインメモリ５１と同一内
容のデータが存在する。また、他のプロセッサ１０のキ
ャッシュブロックにも、このデータが存在する可能性が
ある。

【００５０】（４）Ｃｌｅａｎ−Ｅｘｃｌｕｓｉｖｅ状
態 そのキャッシュブロックにはメインメモリ５１と同一内
容のデータが存在する。また、他のキャッシュメモリ２
０のキャッシュブロックには、このデータは存在しな
い。

【００５１】（コマンドおよび応答の仕様）システムバ
ス４０上のコマンドおよびそれに対するキャッシュメモ
リ２０あるいはメインメモリ５１からの応答は、次の通
りである。ただし、このうち、Ｒｅａｄ−Ｌｉｎｅ−Ｎ
ｏｎ−Ｃｏｈｅｒｅｎｔは、システムバス４０ではサポ
ートされているが、キャッシュメモリ２０が発行するコ
マンドではない。

【００５２】（１）Ｒｅａｄ−Ｌｉｎｅ（キャッシュブ
ロックデータのリード要求） 発行される状況…プロセッサ１０がデータを読込もうと
して、キャッシュメモリ２０中にそのデータが無い場
合。

【００５３】応答（ケース１）…Ｍｏｄｉｆｉｅｄ状態
のキャッシュブロックを有するキャッシュメモリ２０が
あれば、そのキャッシュメモリ２０は、モディファイド
応答信号線をアサートして、Ｒｅａｄ−Ｌｉｎｅコマン
ドを発行したキャッシュメモリ２０とメインメモリ５１
にデータが転送される。両方のキャッシュブロックの状
態は、Ｃｌｅａｎ−Ｓｈａｒｅｄとなる。

【００５４】応答（ケース２）…Ｍｏｄｉｆｉｅｄ状態
のキャッシュブロックを有するキャッシュメモリ２０は
ないが、Ｃｌｅａｎ−ＳｈａｒｅｄまたはＣｌｅａｎ−
Ｅｘｃｌｕｓｉｖｅ状態のキャッシュブロックを有する
キャッシュメモリ２０があれば、そのキャッシュメモリ
２０は、シェアード応答信号線をアサートする。メイン
メモリ５１またはそのデータを保持するキャッシュメモ
リ２０がＲｅａｄ−Ｌｉｎｅコマンドを発行したキャッ
シュメモリ２０にデータを転送する。いずれがデータ転
送するかは、計算機に依存する。両方のキャッシュブロ
ックの状態は、Ｃｌｅａｎ−Ｓｈａｒｅｄとなる。

【００５５】応答（ケース３）…前記いずれでもない場
合、モディファイド応答信号線もシェアード応答信号線
もアサートされず、メインメモリ５１からＲｅａｄ−Ｌ
ｉｎｅコマンドを発行したキャッシュメモリ２０にデー
タが転送される。キャッシュブロックの状態は、Ｃｌｅ
ａｎ−Ｅｘｃｌｕｓｉｖｅとなる。

【００５６】（２）Ｒｅａｄ−Ｌｉｎｅ−ｗｉｔｈ−Ｉ
ｎｖａｌｉｄａｔｅ（キャッシュブロックデータのリー
ドと、他のキャッシュブロックの無効化要求） 発行される状況…プロセッサ１０がデータを更新しよう
として、キャッシュメモリ２０中にそのデータが無い場
合。

【００５７】応答（ケース１）…Ｍｏｄｉｆｉｅｄ状態
のキャッシュブロックを有するキャッシュメモリ２０が
あれば、そのキャッシュメモリ２０は、モディファイド
応答信号線をアサートして、Ｒｅａｄ−Ｌｉｎｅ−ｗｉ
ｔｈ−Ｉｎｖｅｌｉｄａｔｅコマンドを発行したキャッ
シュメモリ２０とメインメモリ５１にデータが転送され
る。計算機によっては、Ｍｏｄｉｆｉｅｄ状態のキャッ
シュブロックを有するキャッシュメモリ２０がＲｅｔｒ
ｙを応答して、メインメモリ５１にデータを書戻し、Ｒ
ｅａｄ−Ｌｉｎｅ−ｗｉｔｈ−Ｉｎｖｅｌｉｄａｔｅコ
マンドを発行したキャッシュメモリ２０が再度同じコマ
ンドを発行すると、今度はメインメモリ５１が応答する
こともある（後述するケース３）。本実施形態では、前
者であるとして説明する。要求を発行した側のキャッシ
ュブロックの状態は、Ｍｏｄｉｆｉｅｄとなり、応答し
た側は、Ｉｎｖａｌｉｄ状態となる。

【００５８】応答（ケース２）…Ｃｌｅａｎ−Ｓｈａｒ
ｅｄまたはＣｌｅａｎ−Ｅｘｃｌｕｓｉｖｅ状態のキャ
ッシュブロックを有するキャッシュメモリ２０があれ
ば、そのキャッシュメモリ２０は、シェアード応答信号
線をアサートする。メインメモリ５１またはそのデータ
を保持するキャッシュメモリ２０がＲｅａｄ−Ｌｉｎｅ
−ｗｉｔｈ−Ｉｎｖｅｌｉｄａｔｅコマンドを発行した
キャッシュメモリ２０にデータを転送する。いずれがデ
ータ転送するかは、計算機に依存する。要求を発行した
側のキャッシュブロックの状態は、Ｍｏｄｉｆｉｅｄと
なり、応答した側は、Ｉｎｖａｌｉｄ状態となる。

【００５９】応答（ケース３）…前記いずれでもない場
合、モディファイド応答信号線もシェアード応答信号線
もアサートされず、メインメモリ５１からＲｅａｄ−Ｌ
ｉｎｅ−ｗｉｔｈ−Ｉｎｖｅｌｉｄａｔｅコマンドを発
行したキャッシュメモリ２０にデータが転送される。キ
ャッシュブロックの状態は、Ｍｏｄｉｆｉｅｄとなる。

【００６０】（３）Ｗｒｉｔｅ−Ｌｉｎｅ（キャッシュ
ブロックデータのメインメモリへの書き込み） 発行される状況…Ｍｏｄｉｆｉｅｄ状態のキャッシュブ
ロックに他のアドレスのデータを格納しなければならな
くなったため、Ｍｏｄｉｆｉｅｄ状態のキャッシュブロ
ックの内容をメインメモリ５１に書き戻す場合。

【００６１】応答…メインメモリ５１がこのコマンドに
含まれるデータにより更新される。キャッシュブロック
の内容は、Ｃｌｅａｎ−Ｓｈａｒｅｄとなる。

【００６２】（４）Ｉｎｖａｌｉｄａｔｅ（他のキャッ
シュメモリのデータ無効化要求。アドレスの転送のみ） 発行される状況…プロセッサ１０がＣｌｅａｎ−Ｓｈａ
ｒｅｄ状態のキャッシュブロックのデータを更新しよう
とする場合。

【００６３】応答…本コマンドを発行した側は、Ｍｏｄ
ｉｆｉｅｄ状態となり、受信した側は、Ｉｎｖａｌｉｄ
状態となる。

【００６４】（５）Ｒｅａｄ−Ｌｉｎｅ−Ｎｏｎ−Ｃｏ
ｈｅｒｅｎｔ（メインメモリデータのリード要求） 発行される状況…メインメモリ５１からＩ／Ｏ装置への
ＤＭＡ転送等で使用応答…キャッシュメモリ２０の状態
に関わらず、常にメインメモリ５１が要求されたアドレ
スの内容を応答として返す。キャッシュブロックの状態
は不変である。

【００６５】以上、本実施形態のキャッシュメモリ２０
およびシステムバス４０などを説明した。

【００６６】（チェックポイント処理加速装置の構成）
チェックポイント処理加速装置３０は、ビフォアイメー
ジ記憶部３５、ビフォアイメージ取得部３２、キャッシ
ュフラッシュ実行部３４およびメインメモリ状態復元部
３３で構成される。

【００６７】ビフォアイメージ記憶部３５は、図２に示
すように、更新アドレスおよび更新前データの組（ビフ
ォアイメージ）を記憶する複数のエントリと、キャッシ
ュフラッシュ実行部３４が使用するＦポインタと、ビフ
ォアイメージ取得部３２およびメインメモリ状態復元部
３３が使用するＷポインタとで構成される。

【００６８】ビフォアイメージ記憶部３５に記憶する更
新前のデータは、キャッシュブロックと同じ大きさ（こ
こでは、Ｂビットとする）である。これは、キャッシュ
メモリ２０間、あるいはキャッシュメモリ２０とメイン
メモリ５１間のデータ転送の単位と同じにするためであ
る。

【００６９】Ｗポインタは、ビフォアイメージ取得部３
２が新たに取得したビフォアイメージを格納するエント
リを示す。プロセッサ１０の指示により、ビフォアイメ
ージ取得部３２が起動されると、Ｗポインタは、最初の
エントリを指すように初期化される。そして、ビフォア
イメージ取得部３２が新たに取得したビフォアイメージ
をＷポインタの指すエントリに格納すると、Ｗポインタ
がインクリメントされ、その次のエントリを指すように
制御される。また、プロセッサ１０の指示によりメイン
メモリ状態復元部３３が起動されると、Ｗポインタが次
々とデクリメントされながら、Ｗポインタの指すエント
リに格納されている更新アドレスと更新前データの組を
使って、メインメモリ５１の内容が更新前の状態に戻さ
れていく。

【００７０】Ｆポインタは、キャッシュフラッシュ実行
部３４が次に処理対象とするビフォアイメージを格納し
ているエントリを指す。プロセッサ１０の指示により、
キャッシュフラッシュ実行部３４が起動されると、Ｆポ
インタは最初のエントリを指すよう初期化される。そし
て、キャッシュフラッシュ実行部３４は、Ｆポインタの
指すエントリに格納されている更新アドレスに対して、
Ｒｅａｄ−Ｌｉｎｅコマンドを発行しては、Ｆポインタ
が次のエントリを指すよう制御される。そして、Ｆポイ
ンタの値とＷポインタの値が一致すると、キャッシュフ
ラッシュ実行部３４は終了する。

【００７１】ビフォアイメージ取得部３２は、システム
バス４０上のコマンドおよび応答を監視し、あるいは必
要によりコマンドを発行することにより、プロセッサ１
０がキャッシュメモリ２０上でデータを更新した際、そ
のビフォアイメージをビフォアイメージ記憶部３５に格
納する。ビフォアイメージ取得部３２が前記コマンドを
検知したときの動作を下記に示す。

【００７２】（１）Ｒｅａｄ−Ｌｉｎｅ シェアード応答信号線をアサートする。

【００７３】（２）Ｒｅａｄ−Ｌｉｎｅ−ｗｉｔｈ−Ｉ
ｎｖａｌｉｄａｔｅ もし、モディファイド応答信号線がアサートされれば何
もしない。そうでなければ、コマンドに含まれる更新ア
ドレスと、キャッシュメモリ２０またはメインメモリ５
１からの応答に含まれる更新前データとをビフォアイメ
ージ記憶部３５に格納する。

【００７４】（３）Ｉｎｖａｌｉｄａｔｅ コマンドに含まれる更新アドレスを使って、Ｒｅａｄ−
Ｌｉｎｔ−Ｎｏｎ−Ｃｏｎｅｒｅｎｔコマンドを発行す
る。そして、前記更新アドレスとメインメモリ５１から
の応答に含まれる更新前データとをビフォアイメージ記
憶部３５に格納する。

【００７５】図３には、このビフォアイメージ取得部３
２の処理フローが示されている。

【００７６】Ｒｅａｄ−Ｌｉｎｅコマンドは、プロセッ
サ１０がデータを更新するときに発行されるコマンドで
はないので、ビフォアイメージを取得することはない。
しかし、シェアード応答信号線をアサートし、キャッシ
ュブロックがＣｌｅａｎ−Ｅｘｃｌｕｓｉｖｅ状態とな
るのを防ぐ必要がある。というのは、プロセッサ１０が
Ｃｌｅａｎ−Ｅｘｃｌｕｓｉｖｅ状態のキャッシュブロ
ックのデータを更新する場合、他のキャッシュメモリ２
０はそのデータを保持していないため、システムバス４
０に何のコマンドも発行されることなく、Ｃｌｅａｎ−
Ｅｘｃｌｕｓｉｖｅ状態からＭｏｄｉｆｉｅｄ状態に遷
移する。そのため、ビフォアイメージ取得部３２は、ビ
フォアイメージを取得できなくなる。そこで、ビフォア
イメージ取得部３２がシェアード応答信号線をアサート
することにより、キャッシュブロックはＣｌｅａｎ−Ｓ
ｈａｒｅｄ状態となり、プロセッサ１０によるデータの
更新では、システムバス４０にＩｎｖａｌｉｄａｔｅコ
マンドが発行されることになる。

【００７７】Ｒｅａｄ−Ｌｉｎｅ−ｗｉｔｈ−Ｉｎｖａ
ｌｉｄａｔｅコマンドの場合、キャッシュメモリ２０あ
るいはメインメモリ５１から更新前のデータを含む応答
があるので、ビフォアイメージ取得部３２は、それらを
抽出すれば良い。ただし、モディファイド応答信号線が
アサートされている場合、他のキャッシュメモリ２０が
そのデータをＭｏｄｉｆｉｅｄ状態で保持していたこと
になるので（したがって、そのアドレスに対応するビフ
ォアイメージはすでにビフォアイメージ記憶部３５に記
憶されている）、その場合にはビフォアイメージを記憶
しない。これにより、ビフォアイメージ記憶部３２の利
用効率の向上、キャッシュフラッシュ時間の短縮などが
期待できる。

【００７８】Ｉｎｖａｌｉｄａｔｅコマンドの場合、本
コマンドおよび応答はデータを含まないので、ビフォア
イメージ取得部３２が、Ｒｅａｄ−Ｌｉｎｅ−Ｎｏｎ−
Ｃｏｈｅｒｅｎｔコマンドを発行し、メインメモリ５１
からの応答に含まれる更新前データを取得する。ここ
で、もしＲｅａｄ−Ｌｉｎｅコマンドを発行すると更新
されたデータを保持しているキャッシュブロックが応答
するので、更新前のデータを得ることはできない。すな
わち、Ｒｅａｄ−Ｌｉｎｅ−Ｎｏｎ−Ｃｏｈｅｒｅｎｔ
コマンドを発行することが必須である。

【００７９】キャッシュフラッシュ実行部３４は、プロ
セッサ１０の指示により、まずＦポインタが最初のエン
トリを指すようにした後、Ｆポインタの指すエントリ中
の更新アドレスを使って、Ｒｅａｄ−Ｌｉｎｅコマンド
を発行し、Ｆポインタを進める。Ｒｅａｄ−Ｌｉｎｅコ
マンドを発行するのは、もし、そのアドレスのデータを
Ｍｏｄｉｆｉｅｄ状態で保持するキャッシュブロックが
あれば、そのデータをメインメモリ５１にも転送し、そ
のキャッシュブロックの状態はＭｏｄｉｆｉｅｄからＣ
ｌｅａｎ−Ｓｈａｒｅｄに変化するというＲｅａｄ−Ｌ
ｉｎｅとその応答の性質を利用するためである。そし
て、ＦポインタがＷポインタと等しくなれば、キャッシ
ュフラッシュ処理を終了する。この時、キャッシュブロ
ックの状態はすべてＩｎｖａｌｉｄもしくはＣｌｅａｎ
−Ｓｈａｒｅｄとなっている。

【００８０】このキャッシュフラッシュ実行部３４は、
ビフォアイメージ記憶部３５に格納されているすべての
アドレスについて、Ｒｅａｄ−Ｌｉｎｅコマンドを発行
しているが、これには無駄がある。というのは、通常の
データ処理において、たとえばａ番地のデータをＭｏｄ
ｉｆｉｅｄ状態で保持しているキャッシュブロックが、
その後にｂ番地のデータを格納するため、ａ番地のデー
タをメインメモリ５１に書き戻した場合、ａ番地のＭｏ
ｄｉｆｉｅｄ状態のキャッシュブロックは実在しないに
もかかわらず、キャッシュフラッシュ実行部３４は、ａ
番地のビフォアイメージが存在するため、ａ番地に対し
てＲｅａｄ−Ｌｉｎｅコマンドを発行することが、少な
からず起こるためである。これを改善する方法について
は、他の実施形態において説明する。図４には、キャッ
シュフラッシュ実行部３４の処理フローが示されてい
る。

【００８１】メインメモリ状態復元部３３は、プロセッ
サ１０の指示により、Ｗポインタをデクリメントし、Ｗ
ポインタの指すエントリ中のビフォアイメージをＷｒｉ
ｔｅ−Ｌｉｎｅコマンドを使って、メインメモリに書き
戻す。ここで、ａ番地に対するビフォアイメージが２つ
以上存在する場合、チェックポイント時の状態に戻すに
は、より早い時点で取得したビフォアイメージをより遅
い時点でメインメモリ５１に書き戻す必要がある。した
がって、Ｗポインタが現在指すエントリから最初のエン
トリに向かってデクリメントするのは、前記の制約を満
たす最も容易な方法である。図５には、メインメモリ状
態復元部３３の処理フローが示されている。

【００８２】次に、プロセッサ１０によるチェックポイ
ント処理加速装置３０の制御方式を図６に基づいて説明
する。

【００８３】通常のデータ処理では、ビフォアイメージ
取得部３２を起動した後、アプリケーションプログラム
やオペレーティングシステムを実行する。そして、適当
なタイミングになると、通常のデータ処理を中断して、
チェックポイント処理を開始する。

【００８４】チェックポイント処理では、まず、プロセ
ッサ１０を割り込み禁止状態にして、外部機器などから
の割り込みを受けつけないようにする。これは、チェッ
クポイント処理中は、通常のデータ処理を一切実行しな
いようにするためである。ただし、計算機の故障発生を
通知する割り込みについては、通常の割り込みより高い
優先度を設定するなど、前記割り込み禁止状態にあって
も受け付けられるようになっている必要がある。

【００８５】次に、プロセッサ１０は、キャッシュフラ
ッシュ実行部３４を起動し、通常のデータ処理を中断し
た時点でのコンテキスト、すなわちレジスタの内容のメ
インメモリ５１の然るべきアドレスへの書き込みを行な
う。ただし、本実施形態ではコピーバック型のキャッシ
ュメモリが使用されるので、この時点では通常のデータ
更新と同じように、キャッシュブロックにＭｏｄｉｆｉ
ｅｄ状態で保持され、ビフォアイメージ記憶部３５にそ
のアドレスのビフォアイメージが記憶されている。

【００８６】その後、プロセッサ１０は、キャッシュフ
ラッシュ実行部３４が、ビフォアイメージ記憶部３５内
のビフォアイメージを使って、すべてのＭｏｄｉｆｉｅ
ｄ状態のキャッシュブロックのデータがメインメモリ５
１に書き戻されるのを待つ。プロセッサ１０のコンテキ
ストも、このとき、メインメモリ５１に書き戻される。
キャッシュフラッシュ実行部３４が実行を終了すると、
メインメモリ５１に保存したコンテキストを対応するレ
ジスタに戻し、割り込み禁止状態を解除することによ
り、通常のデータ処理を再開する。

【００８７】次に、チェックポイント処理加速装置３０
の動作を説明する。

【００８８】（初期化）プロセッサ１０は、ソフトウェ
アを実行することにより、すべてのキャッシュブロック
をＭｏｄｉｆｉｅｄ状態以外の状態にする。

【００８９】（通常のデータ処理時）プロセッサ１０
は、通常のデータ処理を開始する時点で、ビフォアイメ
ージ取得部３２を起動する。ここでは、図７を参照し、
通常のデータ処理として、プロセッサ１０が、ａ番地の
データをＡ０からＡ１に、ｂ番地のデータをＢ０からＢ
１に、ａ番地のデータをＡ１からＡ２に、この順で更新
する場合について説明する。ただし、ａ番地、ｂ番地
は、ともにキャッシュブロックＢＬＫ０に対応し、ＢＬ
Ｋ０は、初期状態ではａ番地のデータＡ０をＣｌｅａｎ
−Ｓｈａｒｅｄ状態で保持しているとする。

【００９０】（１）初期状態を示す。

【００９１】（２）プロセッサ１０がａ番地のデータを
Ａ１に更新しようとするが、キャッシュブロックＢＬＫ
０がａ番地のデータをＣｌｅａｎ−Ｓｈａｒｅｄ状態で
保持しているため、ａ番地に対するＩｎｖａｌｉｄａｔ
ｅコマンドが発行される。

【００９２】（３）そのデータを有する他のキャッシュ
メモリ２０は、ａ番地のキャッシュブロックがあれば無
効化し、終了したことを示す応答を返す。キャッシュメ
モリ２０上のデータが、Ａ０からＡ１へと更新される。

【００９３】（４）ビフォアイメージ取得部３２は、ａ
番地に対してＲｅａｄ−Ｌｉｎｅ−Ｎｏｎ−Ｃｏｈｅｒ
ｅｎｔコマンドを発行する。

【００９４】（５）メインメモリ５１がデータＡ０を応
答する。ビフォアイメージ取得部３２は、ａ番地とデー
タＡ０の組を、ビフォアイメージ記憶部３５に格納す
る。

【００９５】（６）プロセッサ１０がｂ番地のデータを
Ｂ１に更新しようとするが、キャッシュブロックＢＬＫ
０がａ番地のデータＡ１をＭｏｄｉｆｉｅｄ状態で保持
しているため、ａ番地のデータ書き戻しのためのＷｒｉ
ｔｅ−Ｌｉｎｅコマンドがライトバッファに一時的に保
持され、先にｂ番地に対するＲｅａｄ−Ｌｉｎｅ−ｗｉ
ｔｈ−Ｉｎｖａｌｉｄａｔｅコマンドが発行される。

【００９６】（７）メインメモリ５１がデータＢ０を含
む応答を返す。この動作例は、初期化直後であるので、
モディファイド応答信号線はアサートされない。このと
き、ビフォアイメージ取得部３２は、ｂ番地とデータＢ
０の組をビフォアイメージ記憶部３５に格納する。

【００９７】（８）ライトバッファに保持されていたａ
番地に対するＷｒｉｔｅ−Ｌｉｎｅコマンドが発行され
る。

【００９８】（９）メインメモリ５１のａ番地のデータ
がＡ１に変わる。

【００９９】（１０）プロセッサ１０がａ番地のデータ
をＡ２に更新しようするが、キャッシュブロックＢＬＫ
０がｂ番地のデータＢ１をＭｏｄｉｆｉｅｄ状態を保持
しているため、ｂ番地のデータ書き戻しのためのＷｒｉ
ｔｅ−Ｌｉｎｅコマンドがライトバッファに一時的に保
持され、先にａ番地に対するＲｅａｄ−Ｌｉｎｅ−ｗｉ
ｔｈ−Ｉｎｖａｌｉｄａｔｅコマンドが発行される。

【０１００】（１１）メインメモリ５１がデータＡ１を
含む応答を返す。ビフォアイメージ取得部３２は、ａ番
地とデータＡ１の組をビフォアイメージ記憶部３５に格
納する。

【０１０１】（１２）ライトバッファに保持されていた
ｂ番地に対するＷｒｉｔｅ−Ｌｉｎｅコマンドが発行さ
れる。

【０１０２】（１３）メインメモリ５１のｂ番地のデー
タがＢ１に変わる。

【０１０３】以上、プロセッサ１０、メインメモリ５１
およびビフォアイメージ取得部３２の動作例を示した。

【０１０４】（チェックポイント処理時）前述した状態
で、プロセッサ１０がキャッシュフラッシュ実行部３４
を起動すると、キャッシュフラッシュ実行部３４は、ａ
番地、ｂ番地、ａ番地の順にＲｅａｄ−Ｌｉｎｅコマン
ドを発行する。その様子を図８に示す。ただし、ビフォ
アイメージの欄の下線は、Ｆポインタの指す位置を表わ
す。

【０１０５】（１）初期状態を示す。

【０１０６】（２）キャッシュフラッシュ実行部３４
は、最初に取得したビフォアイメージａ番地とデータＡ
０の組を使い、ａ番地に対するＲｅａｄ−Ｌｉｎｅコマ
ンドを発行する。

【０１０７】（３）ＢＬＫ０はａ番地のデータＡ２をＭ
ｏｄｉｆｉｅｄ状態で保持しているので、モディファイ
ド応答信号線をアサートし、メインメモリ５１への書き
戻しが行なわれ、メインメモリ５１のａ番地がＡ２に変
わる。ＢＬＫ０の状態は、Ｃｌｅａｎ−Ｓｈａｒｅｄに
変化する。

【０１０８】（４）キャッシュフラッシュ実行部３４
は、ビフォアイメージｂ番地とデータＢ０の組を使い、
ｂ番地に対してＲｅａｄ−Ｌｉｎｅコマンドを発行す
る。

【０１０９】（５）ＢＬＫ０はａ番地のデータをＣｌｅ
ａｎ−Ｓｈａｒｅｄ状態で保持しているので、モディフ
ァイド応答信号線もシェアード応答信号線もアサートし
ない。メインメモリ５１がＢ１を応答する。ＢＬＫ０の
状態は変化しない。

【０１１０】（６）キャッシュフラッシュ実行部３４
は、ビフォアイメージａ番地とデータＡ１の組を使い、
ａ番地に対してＲｅａｄ−Ｌｉｎｅコマンドを発行す
る。

【０１１１】（７）ＢＬＫ０はＣｌｅａｎ−Ｓｈａｒｅ
ｄ状態であるので、シェアード応答信号線をアサートす
る。メインメモリ５１がＡ２を応答する。ＢＬＫ０の状
態は変化しない。

【０１１２】キャッシュフラッシュ実行部３４の動作が
終了すると、Ｍｏｄｉｆｉｅｄ状態であったすべてのキ
ャッシュブロックの内容がメインメモリ５１に書き戻さ
れるとともに、それらキャッシュブロックの状態がＣｌ
ｅａｎ−Ｓｈａｒｅｄ状態になる。これは、初期化直後
と同じ状態であり、したがって、キャッシュフラッシュ
実行部３４が終了すると、プロセッサ１０は直ちに通常
のデータ処理を始めることができる。

【０１１３】以上、ビフォアイメージを使った、キャッ
シュフラッシュ実行部３４の動作例を示した。

【０１１４】（障害発生時の復旧処理）計算機に何らか
の障害が発生した場合、プロセッサ１０は、障害の箇所
を同定し、必要であれば障害の発生した装置を切り離す
とともに、すべてのキャッシュブロックを無効化する。
そして、チェックポイント処理加速装置３０のメインメ
モリ状態復元部３３が、ビフォアイメージを使って、Ｗ
ｒｉｔｅ−Ｌｉｎｅコマンドを発行することにより、メ
インメモリ５１の状態を直前のチェックポイント処理時
の状態に戻す。

【０１１５】この様子を、先に説明したチェックポイン
ト処理の開始前に故障が発生した場合を例に図９を参照
して説明する。

【０１１６】（１）初期状態を示す。

【０１１７】（２）プロセッサ１０がすべてのキャッシ
ュブロックの無効化を行なう命令を実行する。

【０１１８】（３）この命令実行の結果、ＢＬＫ０はＩ
ｎｖａｌｉｄ状態となる。

【０１１９】（４）メインメモリ状態復元部３３が、最
後に取得したビフォアイメージａ番地とデータＡ１の組
をもとに、Ｗｒｉｔｅ−Ｌｉｎｅコマンド発行する。

【０１２０】（５）メインメモリ５１のａ番地にＡ１が
書かれるが、もともとＡ１であったので変わらない。

【０１２１】（６）メインメモリ状態復元部３３が、そ
の前に取得したビフォアイメージｂ番地とデータＢ０の
組をもとに、Ｗｒｉｔｅ−Ｌｉｎｅコマンド発行する。

【０１２２】（７）メインメモリ５１のｂ番地がＢ０に
変わる。

【０１２３】（８）メインメモリ状態復元部３３が、そ
の前に取得したビフォアイメージａ番地とデータＡ０の
組をもとに、Ｗｒｉｔｅ−Ｌｉｎｅコマンド発行する。

【０１２４】（９）メインメモリ５１のａ番地がＡ０に
変わる。

【０１２５】この結果、メインメモリ５１はチェックポ
イント処理終了時点の状態に戻る。

【０１２６】以上、メインメモリ状態復元部３３の動作
例を示した。

【０１２７】このように、本実施形態のチェックポイン
ト処理加速装置３０を適用すれば、特別なキャッシュメ
モリなどを必要とせずに、標準的な構成をもつ計算機シ
ステムにおいて効率的なキャッシュフラッシュが実現さ
れ、かつ高性能なチェックポイントリカバリ方式の計算
機システムが構築可能となる。

【０１２８】（第２の実施形態）次に、この発明の第２
の実施形態を説明する。図１０には、本実施形態に係る
計算機システムのシステム構成が示されている。チェッ
クポイント処理加速装置３０が適用される計算機の構成
は第１の実施形態と同じである。

【０１２９】本実施形態のチェックポイント処理加速装
置３０は、ビフォアイメージ記憶部３５、フラグメモリ
３６、ビフォアイメージ取得部３２、キャッシュフラッ
シュ実行部３４およびメインメモリ状態復元部３３で構
成される。

【０１３０】ビフォアイメージ記憶部３５は、第１の実
施形態のビフォアイメージ記憶部３５と同一である。

【０１３１】フラグメモリ３６は、メインメモリ５１を
キャッシュブロック単位ごとに１ビットの情報を保持す
る領域である。なお、実装されているメインメモリ５１
の一部分についてフラグメモリ３６を備えるだけでも良
い。フラグメモリ３６は、そのアドレスに対するビフォ
アイメージがビフォアイメージ記憶部３５に格納され、
かつキャッシュフラッシュ実行部３４が未だそのアドレ
スに対してＲｅａｄ−Ｌｉｎｅコマンドを発行していな
いときにだけオンになるように制御される。したがっ
て、あるアドレスに対するフラグメモリ３６がオンにな
っているということは、キャッシュフラッシュ実行部３
４が、将来、そのアドレスに対してＲｅａｄ−Ｌｉｎｅ
コマンドを発行することを表わしている。また、初期化
終了時やチェックポイント処理終了時は、すべてのフラ
グメモリ３６の値がオフになっている。

【０１３２】ビフォアイメージ取得部３２は、ビフォア
イメージを取得する部分に関しては第１の実施形態と同
じである。しかし、前述したフラグメモリ３６の参照／
更新の処理が追加され、また、フラグメモリ３６の値に
よって、ビフォアイメージを格納しないことがある。ビ
フォアイメージ取得部３２の処理フローを図１１に示
す。

【０１３３】図１１に示したように、ビフォアイメージ
取得部３２は、更新アドレスに対応するフラグメモリ３
６の値を参照し、もしオフであれば、それをオンに変更
するとともに、第１の実施形態と同一の方法でビフォア
イメージを取得する。一方、オンであれば、ビフォアイ
メージを取得・格納する必要はない。それは、下記の理
由による。

【０１３４】（１）フラグメモリ３６をオンにするの
は、ビフォアイメージ取得部３２がビフォアイメージを
取得して、ビフォアイメージ記憶部３５に格納する時だ
けである。したがって、フラグメモリ３６がオンである
ということは、そのアドレスに対するビフォアイメージ
が格納されているので、メインメモリ状態復元部３３は
正しく動作する。

【０１３５】（２）また、フラグメモリ３６がオンとい
うことは、キャッシュフラッシュ実行部３４が、そのア
ドレスに対して将来Ｒｅａｄ−Ｌｉｎｅコマンドを発行
することを示している。したがって、キャッシュフラッ
シュ実行部３４にとっても、フラグメモリ３６がオンの
時には、ビフォアイメージを格納する必要はない。

【０１３６】なお、あるアドレスに対応するフラグメモ
リ３６が無い場合には、そのアドレスに対応するビフォ
アイメージを常に採取・格納すれば良い。つまり、その
ようなアドレスに関しては、第１実施形態の場合と同じ
動作となる。

【０１３７】キャッシュフラッシュ実行部３４は、第１
の実施形態のキャッシュフラッシュ実行部３４に、Ｒｅ
ａｄ−Ｌｉｎｅコマンドを発行する際、フラグメモリ３
６をオフにする機構を追加したものである。なお、ある
アドレスに対応するフラグメモリ３６が無い場合には、
図１２に示す処理フローにおいて、フラグメモリ３６を
オフにする部分だけを実行しないようにすればよい。

【０１３８】メインメモリ状態復元部３３は、第１の実
施形態と同じである。

【０１３９】ここで、チェックポイント処理加速装置３
０の動作を説明する。

【０１４０】（初期化）プロセッサ１０は、すべてのフ
ラグメモリ３６をオフにする。これと同期して、プロセ
ッサ１０はソフトウェアを実行することにより、すべて
のキャッシュブロックをＭｏｄｉｆｉｅｄ状態以外の状
態にする。

【０１４１】（通常のデータ処理時）プロセッサ１０
は、通常のデータ処理を開始する時点で、ビフォアイメ
ージ取得部３２を起動する。ここでは、図１３を参照
し、通常のデータ処理として、プロセッサ１０が、ａ番
地のデータをＡ０からＡ１に、ｂ番地のデータをＢ０か
らＢ１に、ａ番地のデータをＡ１からＡ２に、この順で
更新する場合について説明する。ただし、ａ番地、ｂ番
地は、ともにキャッシュブロックＢＬＫ０に対応し、Ｂ
ＬＫ０は、初期状態ではａ番地のデータＡ０をＣｌｅａ
ｎ−Ｓｈａｒｅｄ状態で保持しているとする。

【０１４２】（１）初期状態を示す。

【０１４３】（２）プロセッサ１０がａ番地のデータを
Ａ１に更新しようとするが、キャッシュブロックＢＬＫ
０がａ番地のデータをＣｌｅａｎ−Ｓｈａｒｅｄ状態で
保持しているため、ａ番地に対するＩｎｖａｌｉｄａｔ
ｅコマンドが発行される。

【０１４４】（３）そのデータを有する他のキャッシュ
メモリ２０は、ａ番地のキャッシュブロックがあれば無
効化し、終了したことを示す応答を返す。

【０１４５】（４）ビフォアイメージ取得部３２は、ａ
番地に対応するフラグメモリ３６がオフであるため、こ
れをオンにし、ａ番地に対してＲｅａｄ−Ｌｉｎｅ−Ｎ
ｏｎ−Ｃｏｈｅｒｅｎｔコマンドを発行する。

【０１４６】（５）メインメモリ５１がデータＡ０を応
答する。ビフォアイメージ取得部３２が、ａ番地とデー
タＡ０の組をビフォアイメージ記憶部３５に格納する。

【０１４７】（６）プロセッサ１０がｂ番地のデータを
Ｂ１に更新しようとするが、キャッシュブロックＢＬＫ
０がａ番地のデータＡ１をＭｏｄｉｆｉｅｄ状態で保持
しているため、ａ番地のデータ書戻しのためのＷｒｉｔ
ｅ−Ｌｉｎｅコマンドがライトバッファに一時的に保持
され、先にｂ番地に対するＲｅａｄ−Ｌｉｎｅ−ｗｉｔ
ｈ−Ｉｎｖｅｌｉｄａｔｅコマンドが発行される。

【０１４８】（７）メインメモリ５１がデータＢ０を応
答する。ビフォアイメージ取得部３２は、ｂ番地に対応
するフラグメモリ３６がオフであるため、これをオンに
し、ｂ番地とデータＢ０の組をビフォアイメージ記憶部
３５に格納する。

【０１４９】（８）ライトバッファに保持されていたａ
番地に対するＷｒｉｔｅ−Ｌｉｎｅコマンドが発行され
る。

【０１５０】（９）メインメモリ５１のａ番地がＡ１に
変わる。

【０１５１】（１０）プロセッサ１０がａ番地のデータ
をＡ２に更新しようとするが、キャッシュブロックＢＬ
Ｋ０がｂ番地のデータＢ１をＭｏｄｉｆｉｅｄ状態で保
持しているため、ｂ番地のデータ書き戻しのためのＷｒ
ｉｔｅ−Ｌｉｎｅコマンドがライトバッファに一時的に
保持され、先にａ番地に対するＲｅａｄ−Ｌｉｎｅ−ｗ
ｉｔｈ−Ｉｎｖａｌｉｄａｔｅコマンドが発行される。

【０１５２】（１１）メインメモリ５１がデータＡ１を
応答する。ビフォアイメージ取得部３２は、ａ番地に対
応するフラグメモリ３６がオンであるため、ビフォアイ
メージを格納しない。

【０１５３】（１２）ライトバッファに保持されていた
ａ番地に対するＷｒｉｔｅ−Ｌｉｎｅコマンドが発行さ
れる。

【０１５４】（１３）メインメモリ５１のａ番地がＡ１
に変わる。

【０１５５】以上、プロセッサ１０、メインメモリ５
１、およびビフォアイメージ取得部３２の動作例を示し
た。

【０１５６】（チェックポイント処理時）前述した状態
で、プロセッサ１０がキャッシュフラッシュ実行部３４
を起動すると、キャッシュフラッシュ実行部３４は、ａ
番地、ｂ番地の順にＲｅａｄ−Ｌｉｎｅコマンドを発行
する。その様子を図１４に示す。ただし、ビフォアイメ
ージの欄の下線は、Ｆポインタが指す位置を表わす。

【０１５７】（１）初期状態を示す。

【０１５８】（２）キャッシュフラッシュ実行部３４
は、最初に、ビフォアイメージａ番地とデータＡ０の組
を使い、ａ番地に対応するフラグメモリ３６をオフにす
るとともに、ａ番地に対してＲｅａｄ−Ｌｉｎｅコマン
ドを発行する。

【０１５９】（３）ＢＬＫ０はａ番地のデータＡ２をＭ
ｏｄｉｆｉｅｄ状態で保持しているので、モディファイ
ド応答信号線がアサートされ、メインメモリ５１への書
き戻しが行なわれ、メインメモリ５１のａ番地がＡ２に
変わる。ＢＬＫ０の状態は、Ｃｌｅａｎ−Ｓｈａｒｅｄ
に変化する。

【０１６０】（４）キャッシュフラッシュ実行部３４
は、ビフォアイメージｂ番地とデータＢ０の組を使い、
ｂ番地に対応するフラグメモリ３６をオフにするととも
に、ｂ番地に対してＲｅａｄ−Ｌｉｎｅコマンドを発行
する。

【０１６１】（５）ＢＬＫ０はａ番地のデータをＣｌｅ
ａｎ−Ｓｈａｒｅｄ状態で保持しているので、モディフ
ァイド応答信号線もシェアード応答信号線もアサートさ
れない。メインメモリ５１がＢ１を応答する。ＢＬＫ０
の状態は変化しない。

【０１６２】キャッシュフラッシュ実行部３４の動作が
終了すると、Ｍｏｄｉｆｉｅｄ状態であったすべてのキ
ャッシュブロックの内容がメインメモリ５１に書き戻さ
れるとともに、それらキャッシュブロックの状態がＣｌ
ｅａｎ−Ｓｈａｒｅｄ状態になる。また、すべてのフラ
グメモリ３６の値がオフとなる。これは、初期化直後と
同じ状態であり、したがって、キャッシュフラッシュ実
行部３４の動作が終了すると、プロセッサ１０は直ちに
通常のデータ処理を始めることができる。

【０１６３】以上、ビフォアイメージを使った、キャッ
シュフラッシュ実行部３４の動作例を示した。

【０１６４】（障害発生時の復旧処理）計算機に何らか
の障害が発生した場合、プロセッサ１０は、障害の箇所
を同定し、必要であれば障害の発生した装置を切り離す
とともに、すべてのキャッシュブロックを無効化する。
そして、チェックポイント処理加速装置３０のメインメ
モリ状態復元部３３が、ビフォアイメージを使って、Ｗ
ｒｉｔｅ−Ｌｉｎｅコマンドを発行することにより、メ
インメモリ５１の状態を直前のチェックポイント処理時
の状態に戻す。

【０１６５】この様子を、先に説明したチェックポイン
ト処理の開始前に故障が発生した場合を例に図１５を参
照して説明する。

【０１６６】（１）初期状態を示す。

【０１６７】（２）プロセッサ１０がすべてのキャッシ
ュブロックの無効化を行なう命令を実行する。

【０１６８】（３）この命令実行の結果、ＢＬＫ０はＩ
ｎｖａｌｉｄ状態となる。

【０１６９】（４）メインメモリ状態復元部３３が、最
後に取得したビフォアイメージｂ番地とデータＢ０の組
をもとに、Ｗｒｉｔｅ−Ｌｉｎｅコマンドを発行する。

【０１７０】（５）メインメモリ５１のｂ番地がＢ０に
変わる。

【０１７１】（６）メインメモリ状態復元部３３が、ビ
フォアイメージａ番地とデータＡ０の組をもとに、Ｗｒ
ｉｔｅ−Ｌｉｎｅコマンド発行する。

【０１７２】（７）メインメモリ５１のａ番地がＡ０に
変わる。

【０１７３】（８）プロセッサ１０は、フラグメモリ５
１をすべてオフにする。

【０１７４】この結果、メインメモリ５１はチェックポ
イント処理終了時点の状態に戻る。

【０１７５】以上、メインメモリ状態復元部３３の動作
例を示した。

【０１７６】なお、フラグメモリ３６は、すべてのアド
レスに対して設定する必要は必ずしもない。あるアドレ
スについて、対応するフラグメモリ３６がない場合、ビ
フォアイメージ取得部３２は、そのアドレスに対するビ
フォアイメージを取得し、ビフォアイメージ記憶部３５
に格納するようにすれば良い。

【０１７７】このように、本実施形態のチェックポイン
ト処理加速装置３０では、フラグメモリ３６を設けるこ
とにより、同じアドレスに対するビフォアイメージが２
回以上ビフォアイメージ記憶部３５に格納されることを
回避できる。また、キャッシュフラッシュ実行部３４が
実行を終了したときには、すべてのフラグメモリ３６が
オフになっているため、プロセッサ１０は直ちに通常の
データ処理を開始できる。

【０１７８】（第３の実施形態）次に、この発明の第３
の実施形態を説明する。図１６には、本実施形態に係る
計算機システムのシステム構成が示されている。チェッ
クポイント処理加速装置３０が適用される計算機の構成
は第１の実施形態と同じである。

【０１７９】本実施形態のチェックポイント処理加速装
置３０は、ビフォアイメージ記憶部３５、ブロックカウ
ンタ３８、ブロックカウンタ制御部３７、ビフォアイメ
ージ取得部３２、キャッシュフラッシュ実行部３４およ
びメインメモリ状態復元部３３で構成される。

【０１８０】ビフォアイメージ記憶部３５は、第１の実
施形態のビフォアイメージ記憶部３５と同一である。

【０１８１】ブロックカウンタ３８は、１つ以上のアド
レス範囲の各々に対して設けられたカウンタの集合であ
り、各アドレス範囲に含まれるＭｏｄｉｆｉｅｄ状態の
キャッシュブロックの個数を保持するのに用いられる。
ただし、各アドレス範囲は、互い共通部分を持たないよ
うに設定する。このアドレス範囲の設定の一例を、キャ
ッシュメモリ２０がダイレクトマップ方式の場合につい
て説明する。

【０１８２】ひとつのキャッシュブロックに対応するア
ドレスの集合をひとつのアドレス範囲とする。この場
合、ブロックカウンタに属するひとつのカウンタは、対
応するキャッシュブロックでＭｏｄｉｆｉｅｄ状態のも
のの個数を保持することになる。プロセッサ数がＰの場
合、カウンタは０〜Ｐ＋αまでの値を取りうる。ここ
で、αは正の整数であり、最近の高速プロセッサが有す
るライトバッファの効果により、システムバスを監視し
ているチェックポイント処理加速装置からは、一時的に
ではあるが、ひとつのキャッシュブロックに対応して、
複数の番地のデータがＭｏｄｉｆｉｅｄ状態で保持され
ているように見えることに対応するものである。αの値
は、Ｐ程度であれば十分である。なお、ブロックカウン
タを構成する各カウンタは、ブロックカウンタ制御部３
７により増減される。また、キャッシュフラッシュ実行
部３４によって参照される。

【０１８３】ブロックカウンタ制御部３７は、システム
バス４０上のコマンドおよびその応答を監視して、キャ
ッシュブロックがＭｏｄｉｆｉｅｄ状態に変わるのを検
知したときに、そのアドレスに対応する前記カウンタが
ある場合は、それをインクリメントする。一方、キャッ
シュブロックがＭｏｄｉｆｉｅｄ状態からそれ以外の状
態に変わるのを検知したときには、そのアドレスに対応
する前記カウンタがある場合は、それをデクリメントす
る。

【０１８４】ブロックカウンタ制御部３７がシステムバ
ス４０上のコマンドおよびその応答を検知したときの動
作を下記に示す。

【０１８５】（１）Ｒｅａｄ−Ｌｉｎｅ もし、モディファイド応答信号線がアサートされれば、
コマンドに含まれるアドレスに対応するカウンタをデク
リメントする。そうでなければ何もしない。

【０１８６】（２）Ｒｅａｄ−Ｌｉｎｅ−ｗｉｔｈ−Ｉ
ｎｖａｌｉｄａｔｅ もし、モディファイド応答信号線がアサートされれば何
もしない。そうでなければ、コマンドに含まれる更新ア
ドレスに対応するカウンタをインクリメントする。

【０１８７】（３）Ｉｎｖａｌｉｄａｔｅ コマンドに含まれる更新アドレスに対応するカウンタを
インクリメントする。

【０１８８】（４）Ｗｒｉｔｅ−Ｌｉｎｅ コマンドに含まれるアドレスに対応するカウンタをデク
リメントする。

【０１８９】なお、Ｒｅａｄ−Ｌｉｎｅコマンドでモデ
ィファイド応答信号線がアサートされた場合は、Ｍｏｄ
ｉｆｉｅｄ状態のキャッシュブロックのデータがメイン
メモリに書き戻され、状態がＭｏｄｉｆｉｅｄからＣｌ
ｅａｎ−Ｓｈａｒｅｄに変化したことを示すから、カウ
ンタをデクリメントする。また、Ｒｅａｄ−Ｌｉｎｅ−
ｗｉｔｈ−Ｉｎｖａｌｉｄａｔｅコマンドでモディファ
イド応答信号線がアサートされた場合は、Ｍｏｄｉｆｉ
ｅｄ状態のキャッシュブロックがあるキャッシュメモリ
から他のキャッシュメモリに移動したということである
から、カウンタの値は変えない。

【０１９０】ビフォアイメージ取得部３２は、第１の実
施形態のビフォアイメージ取得部３２と同一である。

【０１９１】キャッシュフラッシュ実行部３４は、第１
の実施形態のキャッシュフラッシュ実行部３４に、Ｒｅ
ａｄ−Ｌｉｎｅコマンドを発行する際、対応するカウン
タの値を参照し、もし、０であれば、Ｒｅａｄ−Ｌｉｎ
ｅコマンドを発行しないようにする機構を追加したもの
である。図１７には、キャッシュフラッシュ実行部３４
の処理フローが示されている。

【０１９２】メインメモリ状態復元部３３は、第１の実
施形態と同じである。

【０１９３】ここで、チェックポイント処理加速装置３
０の動作を説明する。

【０１９４】（初期化）プロセッサ１０は、ブロックカ
ウンタ３８を構成するすべてのカウンタの値を０とす
る。これと同期して、プロセッサ１０はソフトウェアを
実行することにより、すべてのキャッシュブロックをＭ
ｏｄｉｆｉｅｄ状態以外の状態にする。

【０１９５】（通常のデータ処理時）プロセッサ１０
は、通常のデータ処理を開始する時点で、ビフォアイメ
ージ取得部３２を起動する。ここでは、図１８を参照
し、通常のデータ処理として、プロセッサ１０が、ａ番
地のデータをＡ０からＡ１に、ｂ番地のデータをＢ０か
らＢ１に、ａ番地のデータをＡ１からＡ２に、この順で
更新する場合について説明する。ただし、ａ番地、ｂ番
地は、ともにキャッシュブロックＢＬＫ０に対応し、Ｂ
ＬＫ０は、初期状態ではａ番地のデータＡ０をＣｌｅａ
ｎ−Ｓｈａｒｅｄ状態で保持しているとする。また、キ
ャッシュブロックＢＬＫ０に対応して、カウンタが１つ
設けられているとする。

【０１９６】（１）初期状態を示す。

【０１９７】（２）プロセッサ１０がａ番地のデータを
Ａ１に更新しようとするが、キャッシュブロックＢＬＫ
０がａ番地のデータをＣｌｅａｎ−Ｓｈａｒｅｄ状態で
保持しているため、ａ番地に対するＩｎｖａｌｉｄａｔ
ｅコマンドが発行される。

【０１９８】（３）そのデータを有する他のキャッシュ
メモリ２０は、ａ番地のキャッシュブロックがあれば無
効化し、終了したことを示す応答を返す。キャッシュメ
モリ２０上のデータが、Ａ０からＡ１へと更新される。
ブロックカウンタ制御部３７は、カウンタをインクリメ
ントして１とする。

【０１９９】（４）ビフォアイメージ取得部３２は、ａ
番地に対してＲｅａｄ−Ｌｉｎｅ−Ｎｏｎ−Ｃｏｈｅｒ
ｅｎｔコマンドを発行する。

【０２００】（５）メインメモリ５１がデータＡ０を応
答する。ビフォアイメージ取得部３２は、ａ番地とデー
タＡ０の組を、ビフォアイメージ記憶部３５に格納す
る。

【０２０１】（６）プロセッサ１０がｂ番地のデータを
Ｂ１に更新しようとするが、キャッシュブロックＢＬＫ
０がａ番地のデータＡ１をＭｏｄｉｆｉｅｄ状態で保持
しているため、ａ番地のデータ書き戻しのためのＷｒｉ
ｔｉ−Ｌｉｎｅコマンドがライトバッファに一時的に保
持され、先にｂ番地に対するＲｅａｄ−Ｌｉｎｅ−ｗｉ
ｔｈ−Ｉｎｖａｌｉｄａｔｅコマンドが発行される。

【０２０２】（７）メインメモリ５１がデータＢ０を含
む応答を返す。ブロックカウンタ制御部３７は、カウン
タをインクリメントして２とする。ビフォアイメージ取
得部３２は、ｂ番地とデータＢ０の組をビフォアイメー
ジ記憶部３５に格納する。

【０２０３】（８）ライトバッファに保持されていたａ
番地に対するＷｒｉｔｅ−Ｌｉｎｅコマンドが発行され
る。

【０２０４】（９）メインメモリ５１のａ番地のデータ
がＡ１に変わる。ブロックカウンタ制御部３７は、カウ
ンタをデクリメントして１とする。

【０２０５】（１０）プロセッサ１０がａ番地のデータ
をＡ２に更新しようとするが、キャッシュブロックＢＬ
Ｋ０がｂ番地のデータＢ１をＭｏｄｉｆｉｅｄ状態で保
持しているため、ｂ番地のデータ書き戻しのためのＷｒ
ｉｔｅ−Ｌｉｎｅコマンドがライトバッファに一時的に
保持され、先にａ番地に対するＲｅａｄ−Ｌｉｎｅ−ｗ
ｉｔｈ−Ｉｎｖａｌｉｄａｔｅコマンドが発行される。

【０２０６】（１１）メインメモリ５１がデータＡ１を
含む応答を返す。ブロックカウンタ制御部３７は、カウ
ンタをインクリメントして２とする。ビフォアイメージ
取得部３２は、ａ番地とデータＡ１の組をビフォアイメ
ージ記憶部３５に格納する。

【０２０７】（１２）ライトバッファに保持されていた
ｂ番地に対するＷｒｉｔｅ−Ｌｉｎｅコマンドが発行さ
れる。

【０２０８】（１３）メインメモリ５１のｂ番地のデー
タがＢ１に変わる。このとき、ブロックカウンタ制御部
３７は、カウンタをデクリメントして１とする。

【０２０９】以上、プロセッサ１０、メインメモリ５
１、ブロックカウンタ制御部３７、およびビフォアイメ
ージ取得部３２の動作例を示した。

【０２１０】（チェックポイント処理時）前述した状態
で、プロセッサ１０がキャッシュフラッシュ実行部３４
を起動すると、キャッシュフラッシュ実行部３４は、ａ
番地、ｂ番地、ａ番地の順にＲｅａｄ−Ｌｉｎｅコマン
ドを発行する。その様子を図１９に示す。ただし、ビフ
ォアイメージの欄の下線は、Ｆポインタの指す位置を表
わす。

【０２１１】（１）初期状態を示す。

【０２１２】（２）キャッシュフラッシュ実行部３４
は、最初に、取得したビフォアイメージａ番地とデータ
Ａ０の組を使う。ａ番地に対応するカウンタが１である
ので、ａ番地に対してＲｅａｄ−Ｌｉｎｅコマンドを発
行する。

【０２１３】（３）ＢＬＫ０はａ番地のデータＡ２をＭ
ｏｄｉｆｉｅｄ状態で保持しているので、モディファイ
ド応答信号線をアサートし、メインメモリ５１への書き
戻しが行なわれ、メインメモリ５１のａ番地がＡ２に変
わる。ＢＬＫ０の状態は、Ｃｌｅａｎ−Ｓｈａｒｅｄに
変化する。ブロックカウンタ制御部３７は、Ｒｅａｄ−
Ｌｉｎｅコマンドに対して、モディファイド応答信号線
がアサートされたので、カウンタをデクリメントして０
とする。

【０２１４】（４）キャッシュフラッシュ実行部３４
は、ビフォアイメージｂ番地とデータＢ０の組を使おう
とするが、ｂ番地に対応するカウンタは０であるので、
Ｒｅａｄ−Ｌｉｎｅコマンドは発行しない。

【０２１５】（５）キャッシュフラッシュ実行部３４
は、ビフォアイメージａ番地とデータＡ１の組を使おう
とするが、ａ番地に対応するカウンタは０であるので、
Ｒｅａｄ−Ｌｉｎｅコマンドは発行しない。

【０２１６】（６）キャッシュフラッシュ実行部３４の
動作が終了すると、Ｍｏｄｉｆｉｅｄ状態であったすべ
てのキャッシュブロックの内容がメインメモリ５１に書
き戻されるとともに、それらキャッシュブロックの状態
がＣｌｅａｎ−Ｓｈａｒｅｄ状態になる。また、すべて
のカウンタの値は０となる。これは、初期化直後と同じ
状態であり、したがって、キャッシュフラッシュ実行部
３４の動作が終了すると、プロセッサ１０は直ちに通常
のデータ処理を始めることができる。

【０２１７】以上、ビフォアイメージを使った、キャッ
シュフラッシュ実行部３４の動作例を示した。

【０２１８】このように、本実施形態では、ブロックカ
ウンタ３８を設けることにより、キャッシュフラッシュ
実行部３４が発行するＲｅａｄ−Ｌｉｎｅコマンドの数
を減らすことができるため、その分、チェックポイント
処理の所要時間を短縮できる。

【０２１９】（障害発生時の復旧処理）次に、先に説明
したチェックポイント処理の開始前に故障が発生した場
合を例に図２０を参照して説明する。障害が発生したと
き、プロセッサ１０はすべてのキャッシュブロックを無
効化するので、キャッシュブロックＢＬＫ０の状態もＩ
ｎｖａｌｉｄとなっている。

【０２２０】（１）初期状態を示す。

【０２２１】（２）プロセッサ１０がすべてのキャッシ
ュブロックの無効化を行なう命令を実行する。

【０２２２】（３）この命令実行の結果、ＢＬＫ０はＩ
ｎｖａｌｉｄ状態となる。

【０２２３】（４）メインメモリ状態復元部３３が、最
後に取得したビフォアイメージａ番地とデータＡ１の組
をもとに、Ｗｒｉｔｅ−Ｌｉｎｅコマンド発行する。

【０２２４】（５）メインメモリ５１のａ番地にＡ１が
書かれるが、もともとＡ１であったので変わらない。

【０２２５】（６）メインメモリ状態復元部３３が、そ
の前に取得したビフォアイメージｂ番地とデータＢ０の
組をもとに、Ｗｒｉｔｅ−Ｌｉｎｅコマンド発行する。

【０２２６】（７）メインメモリ５１のｂ番地がＢ０に
変わる。

【０２２７】（８）メインメモリ状態復元部３３が、そ
の前に取得したビフォアイメージａ番地とデータＡ０の
組をもとに、Ｗｒｉｔｅ−Ｌｉｎｅコマンド発行する。

【０２２８】（９）メインメモリ５１のａ番地がＡ０に
変わる。

【０２２９】（１０）プロセッサ１０が、すべてのカウ
ンタの値を０にする。

【０２３０】この結果、メインメモリ５１は、チェック
ポイント処理終了の時点の状態に戻る。

【０２３１】以上、メインメモリ状態復元部３３の動作
例を示した。

【０２３２】なお、ブロックカウンタ３８は、すべての
アドレスに対して設定する必要は必ずしもない。あるア
ドレスについて、対応するカウンタがない場合、キャッ
シュフラッシュ実行部３４は、そのアドレスに対するＲ
ｅａｄ−Ｌｉｎｅコマンドを常に発行するようにすれば
良い。

【０２３３】このように、本実施形態のチェックポイン
ト処理加速装置３０では、ブロックカウンタ３８を設け
ることにより、キャッシュフラッシュ実行部３４がＭｏ
ｄｉｆｉｅｄ状態のキャッシュブロックが実在しないア
ドレスに対して、Ｒｅａｄ−Ｌｉｎｅコマンドを発行す
るという無駄をある程度軽減できる。また、キャッシュ
フラッシュ実行部３４が実行中も、ブロックカウンタ制
御部３７がブロックカウンタ３８のインクリメント／デ
クリメントを適切に行なうことにより、キャッシュフラ
ッシュ実行部３４が実行を終了した時、すべてのブロッ
クカウンタの値は０となっている。このため、キャッシ
ュフラッシュ実行部３４が実行を終了すると、プロセッ
サは直ちに通常のデータ処理を開始できる。

【０２３４】なお、前述した実施形態では、ブロックカ
ウンタ３８を、ダイレクトマップ方式のキャッシュメモ
リ２０についてキャッシュブロックの各々に対応させて
設ける方式を示した。

【０２３５】ここでは、キャッシュメモリ２０がｎウェ
イのセットアソシアティブ方式の場合について示す。

【０２３６】ｎウェイのセットアソシアティブ方式のキ
ャッシュメモリの場合、あるアドレスのデータは、ひと
つのウェイを形成するｎ個のキャッシュブロックのいず
れかに格納されるが、そのうちのどのキャッシュブロッ
クに格納されるかは、その都度変わりうる。

【０２３７】そこで、ひとつのウェイを形成するｎ個の
キャッシュブロックに対して、ひとつのカウンタを設け
る。すなわち、あるカウンタは、対応するウェイでＭｏ
ｄｉｆｉｅｄ状態のキャッシュブロックの個数を保持す
ることになる。プロセッサ数がＰの場合、カウンタは０
〜Ｐ×ｎ＋αまでの値を取りうる。αはダイレクトマッ
プ方式の場合に説明したように、プロセッサのライトバ
ッファに対応するためのマージンである。

【０２３８】また、ブロックカウンタ３８をキャッシュ
ブロックあるいはひとつのウェイを形成するキャッシュ
ブロックの集合に対応させて設けることに代えて、メイ
ンメモリをキャッシュブロックの大きさに分け、それぞ
れに対してカウンタを設けることも可能である。この場
合、計算機のプロセッサ数に関係なく、ひとつのアドレ
スに対するＭｏｄｉｆｉｅｄ状態のキャッシュブロック
の個数は０か１かであるので、それぞれ１ビットで表現
することができ、ブロックカウンタ制御部３７を簡単化
することができる。

【０２３９】これは、メインメモリをキャッシュブロッ
クの大きさに分けて、１ビットの情報を持たせるという
点で、第２の実施形態と類似するが、下記の点で異な
る。

【０２４０】すなわち、１ビット情報のオン／オフする
タイミング、および、そのオン／オフによって制御する
対象が異なる。具体的には、第２の実施形態では、ビフ
ォアイメージを取得するか否かの判断に使用するのに対
し、キャッシュフラッシュ実行部３４がＲｅａｄ−Ｌｉ
ｎｅコマンドを発行するか否かの判断に使用する。

【０２４１】また、チェックポイント方式の計算機の障
害が発生した場合、すべてのメインメモリを直前のチェ
ックポイントに戻すのではなく、メインメモリの一部の
領域、たとえば障害発生と回復処理の履歴を保持する領
域や、回復処理を実行するプログラムの作業領域など、
戻してはならない領域が存在する。

【０２４２】このチェックポイント処理加速装置３０
で、それを実現する方式には下記の２種類の候補があ
る。

【０２４３】（１）ビフォアイメージ取得部３２に、ビ
フォアイメージを取得するか否かを判断させる機構を設
ける。この方法は、取得するビフォアイメージが少なく
なる長所があるが、その判断を高速に実行しないと、プ
ロセッサ１０やシステムバス４０の動作に追従できなく
なる危険性がある。

【０２４４】（２）メインメモリ状態復元部３３に、同
様の判断機構を持たせ、メインメモリ５１にビフォアイ
メージを書き込むＷｒｉｔｅ−Ｌｉｎｅコマンドを発行
するか否かを判断する。この方法では、実行速度を余り
気にする必要はない。また、同様の判断機構を、キャッ
シュフラッシュ実行部３４に持たせれば、チェックポイ
ント処理の所要時間が若干短縮できる。

【０２４５】ここでは、状態を復元してはならない領域
は、制御ソフトウェアの方で、物理的に連続な領域で、
かつ、領域の先頭アドレスをある程度自由に設定できる
という前提で、前者にも適用可能な判断が高速でハード
ウェア量も余り必要としない方式を示す。

【０２４６】図２１のように、この機構は、判断の対象
となる更新アドレスを保持するアドレスレジスタ、アド
レスレジスタの一部ビットをマスクするためのマスクレ
ジスタと３２ビットのＡＮＤ回路、その結果と比較する
ための比較参照レジスタと３２ビット比較器で構成され
る。そして、比較器で一致と判断したときは、ビフォア
イメージを採取しないようにする。なお、この機構でも
判断が遅すぎる場合には、たとえばＩｎｖａｌｉｄａｔ
ｅコマンドに対するＲｅａｄ−Ｌｉｎｅ−Ｎｏｎ−Ｃｏ
ｈｅｒｅｎｔコマンドを先に発行して、ビフォアイメー
ジを格納する直前にこの機構の結果を使用しても良い。

【０２４７】これまで、キャッシュメモリ２０上でデー
タ更新が発生した場合に、システムバス４０に発行され
るＩｎｖａｌｉｄａｔｅコマンド、およびＲｅａｄ−Ｌ
ｉｎｅ−ｗｉｔｈ−Ｉｎｖａｌｉｄａｔｅコマンドが観
測されたとき、ビフォアイメージ取得部３２が更新アド
レスと更新前データを取得する方法を示してきた。しか
しながら、計算機によっては、Ｉ／Ｏ機器からメインメ
モリ５１へのデータ転送や、プロセッサ１０からのキャ
ッシュメモリ２０を通さないメインメモリ５１への書き
込みが起こる場合があるので、次に、その対策について
説明する。

【０２４８】（対策１）ここでは、下記の前提に基づい
て、第１の対策について説明する。

【０２４９】（１）メインメモリ５１への書き込みに
は、Ｗｒｉｔｅ−Ｌｉｎｅコマンドとは別のコマンド
（ここでは、それをＷｒｉｔｅ−Ｎｏｎ−Ｃｏｈｅｒｅ
ｎｔコマンドと呼ぶ）が使われる。

【０２５０】（２）システムバス４０の仕様として、Ｒ
ｅｔｒｙ応答線という制御信号線があり、Ｗｒｉｔｅ−
Ｎｏｎ−Ｃｏｈｅｒｅｎｔコマンドがシステムバスに発
行されたとき、Ｒｅｔｒｙ信号線をアサートすることに
より、そのコマンドの実行中止を要求できる。この場
合、暫くして、中止させられたコマンドが再度発行され
る。

【０２５１】ビフォアイメージ取得部３２は、Ｗｒｉｔ
ｅ−Ｎｏｎ−Ｃｏｈｅｒｅｎｔコマンドを検出すると、
Ｒｅｔｒｙ応答線をアサートする。そして、その直後
に、Ｗｒｉｔｅ−Ｎｏｎ−Ｃｏｈｅｒｅｎｔコマンドに
含まれている更新アドレスを使って、Ｒｅａｄ−Ｌｉｎ
ｅ−Ｎｏｎ−Ｃｏｈｅｒｅｎｔコマンドを発行する。そ
して、メインメモリ５１からの応答に含まれるデータと
前記更新アドレスの組をビフォアイメージとしてビフォ
アイメージ記憶部３５に格納する。一方、ビフォアイメ
ージ取得部３２は、先程と同じアドレスを含むＷｒｉｔ
ｅ−Ｎｏｎ−Ｃｏｈｅｒｅｎｔコマンドを検出したとき
には、Ｒｅｔｒｙ応答線をアサートしない。

【０２５２】（対策２）Ｉ／Ｏ機器からメインメモリ５
１へのデータ転送や、プロセッサ１０からのキャッシュ
メモリ２０を通さないメインメモリ５１への書き込み
は、プロセッサ１０の制御下で行なわれる。したがっ
て、Ｗｒｉｔｅ−Ｎｏｎ−Ｃｏｈｅｒｅｎｔコマンドが
発行される前に、プロセッサ１０がそのアドレスに対し
てキャッシュメモリ２０を経由したデータ更新を行なう
ことにより、ビフォアイメージ取得部３２にビフォアイ
メージを取得させる。次に、プロセッサ１０は、更新し
たデータを保持しているキャッシュブロックを無効化
し、その後、Ｉ／Ｏ機器からメインメモリ５１へのデー
タ転送などを起動する。

【０２５３】（対策３）ビフォアイメージ取得部３２
は、プロセッサ１０から指定されたアドレス範囲につい
て、ビフォアイメージの取得と格納を実行する機能を付
加する。通常、Ｉ／Ｏ機器からメインメモリ５１へのデ
ータ転送は、連続したアドレスに対して行なわれるの
で、プロセッサ１０からの１回の指示で複数のビフォア
イメージの取得が可能となる。したがって、対策２より
処理が高速である。

【０２５４】以上、第３の実施形態について説明した。

【０２５５】（第４の実施形態）次に、この発明の第４
の実施形態を説明する。前述した第１乃至第３の実施形
態では、通常のデータ処理時、ビフォアイメージ取得部
３２を動作させることによってビフォアイメージを取得
し、チェックポイント処理時には、プロセッサ１０がキ
ャッシュフラッシュ実行部３４を起動し、その終了を待
って通常のデータ処理を再開する制御方式のもとでの動
作説明をした。ここでは、チェックポイント処理の所要
時間を短縮する、より最適化されたチェックポイント処
理加速装置３０の制御方法、およびその制御方法に適合
したチェックポイント処理加速装置の機能および構成法
を示す。なお、この制御方式をフラッシュ前倒し方式と
呼ぶことにする。

【０２５６】このチェックポイント処理加速装置３０を
適用したチェックポイント／リカバリ方式の計算機で
は、通常のデータ処理を継続する時間は、典型的には数
ミリ秒〜数１０ミリ秒である。チェックポイント処理が
終了した時点では、すべてのキャッシュブロックが、Ｉ
ｎｖａｌｉｄ状態、またはＣｌｅａｎ−Ｓｈａｒｅｄ状
態であり、Ｍｏｄｉｆｉｅｄ状態のものはない。そし
て、通常のデータ処理を再開すると、次第にＭｏｄｉｆ
ｉｅｄ状態のキャッシュブロックが増加し、次のチェッ
クポイント処理を始める時には、典型的には、１０％〜
５０％のキャッシュブロックがＭｏｄｉｆｉｅｄ状態に
なっている。

【０２５７】チェックポイント処理の所要時間の大部分
は、ビフォアイメージ記憶部３５に格納されているビフ
ォアイメージのアドレスに対して、Ｒｅａｄ−Ｌｉｎｅ
コマンドを発行する処理が占める。これを高速化する方
法として、第２の実施形態ではフラグメモリ３６を使用
する方法を、また、第３の実施形態ではブロックカウン
タ３８を使用する方法を示した。そして、これらは無駄
なＲｅａｄ−Ｌｉｎｅコマンドの発行を減らすことを目
的としていた。

【０２５８】ここでは、キャッシュフラッシュ実行部３
４の起動を、チェックポイント処理の開始前、すなわ
ち、通常のデータ処理中に行なう方法を説明する。ま
た、第１乃至第３の実施形態で説明したチェックポイン
ト処理加速装置が、いずれもこの制御方式のもとで正し
く動作すること、および、この制御方式により適合した
チェックポイント処理加速装置の構成法について説明す
る。

【０２５９】最初に、図２２に基づいて、プロセッサ１
０、ビフォアイメージ取得部３２、およびキャッシュフ
ラッシュ実行部３４の動作の時間的な関係を説明する。

【０２６０】プロセッサ１０は、通常のデータ処理およ
びビフォアイメージ処理の前半は、ビフォアイメージ取
得部３２を実行させておく。また、プロセッサ１０は、
通常のデータ処理の途中で、キャッシュフラッシュ実行
部３４を起動する。すると、その後は、プロセッサ１０
が通常のデータ処理にともなって、データの更新を行な
い、それをビフォアイメージ取得部３２がビフォアイメ
ージ記憶部３５のＷポインタ（第１の実施形態で説明）
が指すエントリに格納するという処理と、キャッシュフ
ラッシュ実行部３４がビフォアイメージ記憶部３５のＦ
ポインタが指すエントリに格納されているアドレスに対
してＲｅａｄ−Ｌｉｎｅコマンドを発行することによ
り、Ｍｏｄｉｆｉｅｄ状態のキャッシュブロックの内容
をメインメモリに書き戻すという処理が並行して行なわ
れる。

【０２６１】そして、プロセッサ１０がチェックポイン
ト処理を開始すると、まず、通常のデータ処理を中断し
た時のコンテキストのメインメモリ５１（実際には、キ
ャッシュメモリ２０）への書き込み後、キャッシュフラ
ッシュ実行部３４が処理を終了するのを待つ。

【０２６２】次に、フラッシュ前倒し方式のプロセッサ
の処理フローを図２３に基づいて説明する。

【０２６３】通常のデータ処理では、ビフォアイメージ
取得部３２を起動した後、アプリケーションプログラム
やオペレーティングシステムを実行する。そして、適当
なタイミングになるとキャッシュフラッシュ実行部３４
を起動する。このキャッシュフラッシュ実行部３４を起
動するタイミングについては後述する。そして、さらに
アプリケーションプログラムやオペレーティングシステ
ムの実行を続け、適当なタイミングになると、通常のデ
ータ処理を中断し、チェックポイント処理を開始する。

【０２６４】チェックポイント処理では、まず、プロセ
ッサ１０を割り込み禁止状態にして、外部機器などから
の割込みを受けつけないようにする。これは、チェック
ポイント処理中は、通常のデータ処理を一切実行しない
ようにするためである。ただし、計算機の故障発生を通
知する割り込みについては、通常の割込みにより高い優
先度を設定するなど、割込み禁止状態にあっても受け付
けられるようになっている必要がある。

【０２６５】次に、プロセッサ１０は、通常のデータ処
理を中断した時点でのコンテキスト、すなわちレジスタ
の内容のメインメモリ５１の然るべきアドレスへの書き
込みを行なう。ただし、本実施形態では、コピーバック
型のキャッシュメモリが使用されるので、この時点では
通常のデータ更新と同じように、キャッシュブロックに
Ｍｏｄｉｆｉｅｄ状態で保持され、ビフォアイメージ記
憶部３５にそのアドレスのビフォアイメージが記憶され
ている。

【０２６６】その後、プロセッサ１０は、キャッシュフ
ラッシュ実行部３４がビフォアイメージ記憶部３５内の
ビフォアイメージを使って、すべてのＭｏｄｉｆｉｅｄ
状態のキャッシュブロックのデータがメインメモリ５１
に書き戻されるのを待つ。プロセッサ１０のコンテキス
トも、このとき、メインメモリ５１に書き戻される。キ
ャッシュフラッシュ実行部３４が実行を終了すると、メ
インメモリ５１に保存したコンテキストを対応するレジ
スタに戻し、割り込み禁止状態を解除することにより、
通常のデータ処理を再開する。

【０２６７】フラッシュ前倒し方式の効果を、元の制御
方式と対比させて模式的に表わすと、図２４のようにな
る。

【０２６８】元の制御方式（ａ）もフラッシュ前倒し方
式（ｂ）も、通常のデータ処理を開始した直後は、新た
に取得されるビフォアイメージの量が、ほぼ直線的に増
加する。

【０２６９】元の制御方式では、この状態がチェックポ
イント処理の直前まで続くのに対して、フラッシュ前倒
し方式では、通常のデータ処理の途中でキャッシュフラ
ッシュ実行部３４を起動することにより、ビフォアイメ
ージ取得部３２が新たにビフォアイメージを取得する一
方でキャッシュフラッシュ実行部３４がＲｅａｄ−Ｌｉ
ｎｅコマンドを発行し、その結果、キャッシュフラッシ
ュ実行部３４が処理すべきビフォアイメージの量（Ｗポ
インタとＦポインタの差）の増加が鈍るもしくは減る。
模式図では減る場合を示した。キャッシュフラッシュ実
行部３４が処理すべきビフォアイメージの量を減らすよ
うにするか否かは、キャッシュフラッシュ実行部３４の
構成法で制御できるので、後で説明する。

【０２７０】このチェックポイント処理加速装置３０を
用いた場合のチェックポイント処理の所要時間は、ほ
ぼ、キャッシュフラッシュ実行部３４が処理すべきビフ
ォアイメージの量に比例するので、フラッシュ前倒し方
式は、チェックポイント処理の所要時間を大幅に減らす
ことができる。通常のデータ処理の継続時間は、前に述
べた通り、典型的には数ミリ秒〜数１０ミリ秒の間であ
り、元の制御方式の場合、チェックポイント処理の所要
時間は、１ミリ秒〜１０ミリ秒程度である。その間、外
部機器からの割込みを受け付けないことが、本チェック
ポイント／リカバリ方式の計算機の適用範囲を制限する
要因となりうる。したがって、フラッシュ前倒し方式に
より、チェックポイント処理の所要時間が、たとえば数
分の１になるということは十分に意味がある。

【０２７１】ただし、フラッシュ前倒し方式には、性能
を劣化させる側面もある。それは、将来もＭｏｄｉｆｉ
ｅｄ状態で使われるキャッシュブロック（メインメモリ
上に設けられたカウンタがその典型である）をＣｌｅａ
ｎ−Ｓｈａｒｅｄ状態にしてしまい、次にプロセッサが
そのデータを更新しようとするとき、Ｉｎｖａｌｉｄａ
ｔｅコマンドが発行されてしまう点である。この性能劣
化を軽減する方法については、後で説明する。

【０２７２】ここでチェックポイント処理加速装置３０
の動作を説明する。

【０２７３】フラッシュ前倒し方式のもとで、第１乃至
第３の実施形態のチェックポイント処理加速装置３０は
正しく動作する。動作例は類似するので、ここでは、第
２の実施形態の場合について説明するにとどめる。

【０２７４】（初期化）プロセッサ１０は、すべてのフ
ラグメモリ３６をオフにする。これと同期して、プロセ
ッサ１０はソフトウェアを実行することにより、すべて
のキャッシュブロックをＭｏｄｉｆｉｅｄ状態以外の状
態にする。

【０２７５】（通常のデータ処理およびチェックポイン
ト処理時）プロセッサ１０は、通常のデータ処理を開始
する時点で、ビフォアイメージ取得部３２を起動する。
ここでは、下記に示した順序で処理が行なわれた場合に
ついて説明する。

【０２７６】（１）プロセッサ１０が、ａ番地のデータ
をＡ０からＡ１に、ｂ番地のデータをＢ０からＢ１に、
この順で更新した。

【０２７７】（２）プロセッサ１０が、キャッシュフラ
ッシュ実行部３４を起動した。

【０２７８】（３）キャッシュフラッシュ実行部３４
が、ａ番地に対してＲｅａｄ−Ｌｉｎｅコマンドを発行
した。

【０２７９】（４）プロセッサ１０が、ａ番地のデータ
をＡ１からＡ２に更新した。

【０２８０】ただし、ａ番地、ｂ番地、ともにキャッシ
ュブロックＢＬＫ０に対応し、ＢＬＫ０は、初期状態で
はａ番地のデータＡ０をＣｌｅａｎ−Ｓｈａｒｅｄ状態
で保持しているとする。

【０２８１】この場合の動作を図２５を参照して説明す
る。

【０２８２】（１）初期状態を示す。

【０２８３】（２）プロセッサ１０がａ番地のデータを
Ａ１に更新しようとするが、キャッシュブロックＢＬＫ
０がａ番地のデータをＣｌｅａｎ−Ｓｈａｒｅｄ状態で
保持しているため、ａ番地に対するＩｎｖａｌｉｄａｔ
ｅコマンドが発行される。

【０２８４】（３）そのデータを有する他のキャッシュ
メモリ２０は、ａ番地のキャッシュブロックがあれば無
効化し、終了したことを示す応答を返す。

【０２８５】（４）ビフォアイメージ取得部３２は、ａ
番地に対応するフラグメモリ３６がオフであるため、こ
れをオンにし、ａ番地に対してＲｅａｄ−Ｌｉｎｅ−Ｎ
ｏｎ−Ｃｏｈｅｒｅｎｔコマンドを発行する。

【０２８６】（５）メインメモリ５１がデータＡ０を応
答する。ビフォアイメージ取得部３２が、ａ番地とデー
タＡ０の組をビフォアイメージ記憶部３５に格納する。

【０２８７】（６）プロセッサ１０がｂ番地のデータを
Ｂ１に更新しようとするが、キャッシュブロックＢＬＫ
０がａ番地のデータＡ１をＭｏｄｉｆｉｅｄ状態で保持
しているため、ａ番地のデータ書き戻しのためのＷｒｉ
ｔｅ−Ｌｉｎｅコマンドがライトバッファに一時的に保
持され、先にｂ番地に対するＲｅａｄ−Ｌｉｎｅ−ｗｉ
ｔｈ−Ｉｎｖａｌｉｄａｔｅコマンドが発行される。

【０２８８】（７）メインメモリ５１がデータＢ０を応
答する。ビフォアイメージ取得部３２は、ｂ番地に対応
するフラグメモリ３６がオフであるため、これをオンに
し、ｂ番地とデータＢ０の組をビフォアイメージ記憶部
３５に格納する。

【０２８９】（８）ライトバッファに保持されていたａ
番地に対するＷｒｉｔｅ−Ｌｉｎｅコマンドが発行され
る。

【０２９０】（９）メインメモリのａ番地がＡ１に変わ
る。

【０２９１】（１０）プロセッサ１０は、この時点でキ
ャッシュフラッシュ実行部３４を起動する。

【０２９２】（１１）キャッシュフラッシュ実行部３４
は、ビフォアイメージａ番地とデータＡ０の組を使い、
ａ番地に対応するフラグメモリ３６をオフにするととも
に、ａ番地に対してＲｅａｄ−Ｌｉｎｅコマンドを発行
する。

【０２９３】（１２）ＢＬＫ０はｂ番地のデータＢ１を
Ｍｏｄｉｆｉｅｄ状態で保持しているので、モディファ
イド応答信号線もシェアード応答信号線もアサートされ
ない。メインメモリ５１がＡ１を応答する。ＢＬＫ０の
状態は変化しない。

【０２９４】（１３）キャッシュフラッシュ実行部３４
は、ビフォアイメージｂ番地とデータＢ０の組を使い、
ｂ番地に対応するフラグメモリ３６をオフにするととも
に、ｂ番地に対してＲｅａｄ−Ｌｉｎｅコマンドを発行
する。

【０２９５】（１４）ＢＬＫ０はｂ番地のデータＢ１を
Ｍｏｄｉｆｉｅｄ状態で保持しているので、モディファ
イド応答信号線がアサートされ、メインメモリ５１への
書き戻しが行なわれ、メインメモリ５１のｂ番地がＢ１
に変わる。ＢＬＫ０の状態は、Ｃｌｅａｎ−Ｓｈａｒｅ
ｄに変わる。

【０２９６】（１５）プロセッサ１０がａ番地のデータ
をＡ２に更新しようとするが、キャッシュブロックＢＬ
Ｋ０がｂ番地のデータＢ１をＣｌｅａｎ−Ｓｈａｒｅｄ
状態で保持しているため、ａ番地に対するＲｅａｄ−Ｌ
ｉｎｅ−ｗｉｔｈ−Ｉｎｖａｌｉｄａｔｅコマンドが発
行される。

【０２９７】（１６）メインメモリ５１がデータＡ１を
含む応答を返す。ビフォアイメージ取得部３２は、ａ番
地に対応するフラグメモリ３６がオフであるため、これ
をオンにし、ａ番地とデータＡ１の組をビフォアイメー
ジ記憶部３５に格納する。

【０２９８】（１７）キャッシュフラッシュ実行部３４
は、ビフォアイメージａ番地とデータＡ１の組を使い、
ａ番地に対応するフラグメモリ３６をオフにし、ａ番地
に対してＲｅａｄ−Ｌｉｎｅコマンドを発行する。

【０２９９】（１８）ＢＬＫ０はａ番地のデータＡ２を
Ｍｏｄｉｆｉｅｄ状態で保持しているので、モディファ
イド応答信号線がアサートされ、メインメモリ５１への
書き戻しが行なわれ、メインメモリ５１のａ番地はＡ２
に変わる。ＢＬＫ０の状態は、Ｃｌｅａｎ−Ｓｈａｒｅ
ｄに変わる。

【０３００】以上、本制御方法における、プロセッサ１
０、メインメモリ５１、ビフォアイメージ取得部３２、
およびキャッシュフラッシュ実行部３４の動作例を示し
た。

【０３０１】（障害発生時の復旧処理）メインメモリ状
態復元部３３の動作は、ビフォアイメージ記憶部３５に
記憶されているビフォアイメージを、より後で格納され
たものから順に、Ｗｒｉｔｅ−Ｌｉｎｅコマンドを発行
するだけであるので、動作例に基づいた説明を割愛す
る。

【０３０２】以上、フラッシュ前倒し方式のもとで、本
発明の第２の実施形態のチェックポイント処理加速装置
が正しく動作することを説明した。

【０３０３】次に、チェックポイント処理加速装置３０
の機能および構成法を説明する。

【０３０４】第１乃至第３の実施形態では、キャッシュ
フラッシュ実行部３４は、ビフォアイメージ記憶部３５
に格納されているビフォアイメージをＦポインタを使っ
て最初に格納されたものから順に処理する方式を示し
た。元の制御方式の場合には、ビフォアイメージをどの
ような順序で処理しても大して変わりはないが、フラッ
シュ前倒し方式の場合、この処理方式は２つの長所があ
る。

【０３０５】第１の長所は、将来もＭｏｄｉｆｉｅｄ状
態で使われるキャッシュブロックをＣｌｅａｎ−Ｓｈａ
ｒｅｄ状態にしてしまい、次にプロセッサがそのデータ
を更新しようとする時、Ｉｎｖａｌｉｄａｔｅコマンド
が発行されてしまうという性能劣化要因を軽減できる点
である。

【０３０６】つまり、早い時点で取得したビフォアイメ
ージほど、キャッシュフラッシュ実行部３４が処理しよ
うとする時点では、すでにＭｏｄｉｆｉｅｄ状態のキャ
ッシュブロックが実在しない可能性が高く、キャッシュ
フラッシュ実行部３４がＲｅａｄ−Ｌｉｎｅコマンドを
発行しても、それによってＣｌｅａｎ−Ｓｈａｒｅｄ状
態に変化する可能性は小さいためである。

【０３０７】第２の長所は、ハードウェアの制御のしや
すさである。まず、ビフォアイメージ取得部３２がＷポ
インタを使って最初のエントリから順に書き込むのを、
キャッシュフラッシュ実行部３４がＦポインタを使って
追いかけるため、キャッシュフラッシュ実行部３４の終
了の判断が簡単になる。

【０３０８】また、フラッシュ前倒し方式では、ビフォ
アイメージ取得部３２とキャッシュフラッシュ実行部３
４によるビフォアイメージ記憶部３５へのアクセス競合
が発生する。ひとつのメモリバンクに対してリードアク
セスとライトアクセスが交互に出ると、リードアクセス
が遅くなるので、そういった状況を避けることが望まし
い。特に、複数プロセッサを備えたマルチプロセッサシ
ステムに適用する場合には、アクセス競合の回避が重要
である。

【０３０９】ここでは、第１の実施形態で述べたＷポイ
ンタとＦポインタを使用することを前提に、アクセス競
合の少ないビフォアイメージ記憶部３５のエントリの構
成法とその使用法を示す。

【０３１０】まず、前半のｎ個のエントリと、後半のｎ
個のエントリを、図２６に示したように、メモリバンク
ＡとメモリバンクＢとに分けて構成する。ただし、２つ
のバンクメモリに分けるのは、それぞれのバンクメモリ
に同時にアクセス可能とすることと、後で示すように、
ひとつのメモリバンクに対してリードアクセスとライト
アクセスが交互に出るような状況を作らないためであ
る。

【０３１１】通常のデータ処理の前半、すなわち、ビフ
ォアイメージ取得部３２が動作し、キャッシュフラッシ
ュ実行部３４が動作しないときは、取得したビフォアイ
メージをメモリバンクＡに格納する。このとき、メモリ
バンクＡは、ライトアクセスのみとなる。

【０３１２】次に、プロセッサ１０がキャッシュフラッ
シュ実行部３４を起動すると、ビフォアイメージ取得部
３２は、取得したビフォアイメージをメモリバンクＢに
格納する。そして、キャッシュフラッシュ実行部３４
は、メモリバンクＡからビフォアイメージを取り出す。
このとき、メモリバンクＡはリードアクセスのみ、メモ
リバンクＢはライトアクセスのみとなる。

【０３１３】次に、プロセッサ１０は、キャッシュフラ
ッシュがメモリバンクＡ内のビフォアイメージを全部処
理する直前にチェックポイント処理を開始し、間もなく
ビフォアイメージ取得部３２を停止する。このとき、メ
モリバンクＢは、ほぼライトアクセスのみとなる。

【０３１４】以上のように、メモリバンクの使用状況と
キャッシュフラッシュ実行部３４の起動、およびチェッ
クポイント処理の開始をリンクすることにより、各メモ
リバンクは、ほとんど常時、リードかライトのいずれか
のモードでアクセスされることになり、ビフォアイメー
ジの格納と取り出しとが高速化できる。

【０３１５】なお、前述の説明では、キャッシュフラッ
シュ実行部３４はプロセッサ１０が起動するとしたが、
このように制御するのであれば、ビフォアイメージ取得
部３２が、メモリバンクＡのすべてのエントリにビフォ
アイメージを格納した時点でキャッシュフラッシュ実行
部３４を起動するようにもでき、その場合、プロセッサ
１０は、キャッシュフラッシュ実行部３４を起動する処
理を省けるほか、メモリバンクＡを容量一杯まで使用で
きるという長所がある。

【０３１６】また、キャッシュフラッシュ実行部３４
は、Ｒｅａｄ−Ｌｉｎｅコマンドの発行頻度を制御する
ことができる。元の制御方式のもとでは、キャッシュフ
ラッシュ実行部３４は、プロセッサ１０がほとんど動作
を停止している状況で動作するので、ビフォアイメージ
記憶部３５に格納されている更新アドレスを使って、い
かに高速にＲｅａｄ−Ｌｉｎｅコマンドを発行するかだ
けが重要であった。

【０３１７】しかし、フラッシュ前倒し方式のもとで
は、データ処理の途中において、キャッシュフラッシュ
実行部３４によるＲｅａｄ−Ｌｉｎｅコマンドの発行頻
度が過度に高いと、通常のデータ処理がほとんど進まな
いという状況となる。

【０３１８】そこで、キャッシュフラッシュ実行部３４
は、Ｒｅａｄ−Ｌｉｎｅコマンドの発行頻度を少なくす
るモードと高いモードとを備えるのが望ましい。その実
現方法の例を図２７に示すキャッシュフラッシュ実行部
３４の処理フローに基づいて説明する。

【０３１９】この処理フローは、第１の実施形態を若干
修正したものである。すなわち、Ｒｅａｄ−Ｌｉｎｅコ
マンドを発行し、Ｆポインタをインクリメントしたとこ
ろで、ビフォアイメージ取得部３２が実行中であればＣ
サイクル待ち、そうでなければ直ちに次のビフォアイメ
ージを使ったＲｅａｄ−Ｌｉｎｅコマンドを発行する。

【０３２０】この方式の変形としては、たとえばビフォ
アイメージ取得部３２が最近の数１０サイクルにおい
て、ビフォアイメージを取得したことがある場合には、
Ｃサイクル待つという方式も可能である。

【０３２１】以上、第４の実施形態について説明した。

【０３２２】（第５の実施形態）次に、この発明の第５
の実施形態を説明する。前述した第４実施形態では、プ
ロセッサ１０は、チェックポイント作成時、キャッシュ
フラッシュ実行部３４が終了するのを、ただ待つことに
多くの時間を費やしていた。それを改善する方法とし
て、チェックポイント作成時に、プロセッサがｍｏｄｉ
ｆｉｅｄ状態のキャッシュブロックの内容をメインメモ
リ５１に書き戻すキャッシュ命令を実行する方法につい
て説明する。

【０３２３】図２８は、本実施形態のプロセッサ１０が
チェックポイント加速装置３０を使ってチェックポイン
ト／ロールバック方式を実現する場合の通常のデータ処
理およびチェックポイント処理における処理フローを示
している。

【０３２４】通常のデータ処理は、第４の実施形態のフ
ラッシュ前倒し方式と全く同一であるので説明は略す
る。

【０３２５】チェックポイント処理では、まず、プロセ
ッサ１０を割込み禁止状態にして、外部機器などからの
割り込みを受け付けないようにする。

【０３２６】次に、プロセッサ１０は、通常のデータ処
理を中断した時点でのコンテキスト、すなわちレジスタ
の内容のメインメモリ５１の然るべきアドレスへの書き
込みを行なう。次に、プロセッサ１０は、ひとつのキャ
ッシュブロックのタグを読み出すキャッシュ命令を実行
し、もし、ｍｏｄｉｆｉｅｄ状態であれば、そのキャッ
シュブロックの内容をメインメモリ５１に書き戻すキャ
ッシュ命令を実行するという処理をＮ回繰り返すことに
より、Ｎ個のキャッシュブロックについてキャッシュフ
ラッシュ処理を行なう。

【０３２７】そして、この時点で、キャッシュ命令によ
るキャッシュフラッシュ処理が終了していれば、キャッ
シュフラッシュ実行部３４を停止させた後、メインメモ
リ５１に保存したコンテキストを対応するレジスタに戻
し、割り込み禁止状態を解除することにより、通常のデ
ータ処理を再開する。

【０３２８】そうでなければ、この処理の間、キャッシ
ュフラッシュ実行部３４も実行を継続しているので、プ
ロセッサ１０は、次にキャッシュフラッシュ実行部３４
が実行を終了したか調べる。もし、実行を終了していれ
ば、メインメモリ５１に保存したコンテキストを対応す
るレジスタに戻し、割込み禁止状態を解除することによ
り、通常のデータ処理を再開する。

【０３２９】この方式の効果は、チェックポイント処理
の所要時間が短縮されることである。特に、キャッシュ
フラッシュ実行部３４だけではシステムバスの転送能力
に余裕が生ずる程にシステムバス４０の転送能力が非常
に大きい場合、キャッシュ命令によるキャッシュフラッ
シュを併用することで、チェックポイント処理の所要時
間が短縮できる。

【０３３０】また、この方式の変形として、チェックポ
イント処理を始めた時点で、チェックポイント実行部３
４を途中で停止させて、キャッシュ命令によるキャッシ
ュフラッシュ処理だけを行なう方法もある。もともと、
キャッシュ命令によるキャッシュフラッシュ処理は、キ
ャッシュフラッシュ実行部３４と異なり、システムバス
４０に無用なバスコマンドを発行しないという利点があ
る。したがって、プロセッサ数がある程度多く、すべて
のプロセッサが一斉にキャッシュ命令によるキャッシュ
フラッシュ処理したときに、システムバス４０の転送能
力を使いきるような場合には、本方式が有効である。

【０３３１】さらに、フラッシュ前倒し方式のもとで、
チェックポイント処理をキャッシュ操作命令によるキャ
ッシュフラッシュ処理だけを行なう方法（キャッシュ命
令単独方式と呼ぶ）を前提として、チェックポイント処
理加速装置を次のように改良できる。

【０３３２】第４の実施形態で説明したチェックポイン
ト処理加速装置３０では、キャッシュフラッシュ実行部
３４は、最初に取得したビフォアイメージから順に使用
するものであった。しかし、キャッシュ命令単独方式の
場合、チェックポイント処理加速装置３０のキャッシュ
フラッシュ実行部３４は、どのビフォアイメージを使用
しても構わない。そこで、システムの性能を損なわない
ように、何度も繰り返し書き込みが発生するようなキャ
ッシュブロックに対して、その内容をメインメモリへ書
き戻すことのないようにするのが望ましい。

【０３３３】それをある程度実現する手段として、キャ
ッシュフラッシュ実行部３４は、最初に取得したビフォ
アイメージからではなく、途中で取得したビフォアイメ
ージを使うようにすることが考えられる。というのは、
最初の方で取得したビフォアイメージに含まれるアドレ
スは、その後も頻繁に使われる可能性が、途中で取得し
たビフォアイメージに含まれるアドレスの場合より、高
いことが多いと考えられるからである。

【０３３４】

【発明の効果】以上詳述したように、この発明のチェッ
クポイント処理加速装置によれば、プロセッサがキャッ
シュメモリ上でのデータ更新を行なったときに、ビフォ
アイメージ取得部が、その更新アドレスと更新前データ
とを取得して、ビフォアイメージ記憶部に格納する。そ
して、キャッシュフラッシュ実行部は、プロセッサから
指示されたときに、ビフォアイメージ記憶部に格納され
ているすべてのアドレスを使用して、そのアドレスを有
する更新状態のキャッシュブロックの内容をメインメモ
リに書き戻すこと要求するコマンドをシステムバスに発
行することによってキャッシュフラッシュを実行する。
一方、メインメモリ状態復元部は、プロセッサから指示
されたときに、ビフォアイメージ記憶部に格納されてい
るすべての更新前データを新しく格納したものから順
に、メインメモリの更新書き込みを要求するコマンドを
システムバスに発行することによってメインメモリをビ
フォアイメージ記憶部には何も記憶されていなかったと
きの状態に復旧する。

【０３３５】すなわち、このチェックポイント処理加速
装置を適用すれば、特別なキャッシュメモリを備えるな
どのことを必要とせずに、標準的なプロセッサを搭載す
る計算機システム上において効率的なチェックポイント
／リカバリ機能を実現することが可能となる。また、従
来のように、プロセッサがキャッシュフラッシュ用のソ
フトウェアを実行することによってキャッシュフラッシ
ュを実施することと比較して、大幅な高速化が期待され
るため、チェックポイント／リカバリ方式の計算機全体
の性能を向上させることが可能となる。

【０３３６】また、キャッシュメモリ上に確保されるキ
ャッシュブロックに対応させてフラグメモリを設け、ビ
フォアイメージの重複格納を回避する、あるいは、互い
に共通部分をもたないようにアドレス範囲を設定し、こ
の設定したアドレス範囲それぞれに対応させてブロック
カウンタを設け、不要なキャッシュフラッシュ動作を回
避するといったことを行なえば、さらなる性能向上を図
れることになる。

【図面の簡単な説明】

【図１】この発明の第１の実施形態に係る計算機システ
ムのシステム構成を示す図。

【図２】同実施形態のビフォアイメージ記憶部の構造を
示す概念図。

【図３】同実施形態のビフォアイメージ取得部の処理フ
ローを示す図。

【図４】同実施形態のキャッシュフラッシュ実行部の処
理フローを示す図。

【図５】同実施形態のメインメモリ状態復元部の処理フ
ローを示す図。

【図６】同実施形態のプロセッサによるチェックポイン
ト処理加速装置の制御方式を示す図。

【図７】同実施形態のプロセッサによるデータ更新に伴
なう動作を説明する図。

【図８】同実施形態のキャッシュフラッシュ実行部によ
るＲｅａｄ−Ｌｉｎｅコマンドの発行を説明する図。

【図９】同実施形態のチェックポイント処理の開始前に
故障が発生した場合の動作を説明する図。

【図１０】この発明の第２の実施形態に係る計算機シス
テムのシステム構成を示す図。

【図１１】同実施形態のビフォアイメージ取得部の処理
フローを示す図。

【図１２】同実施形態のキャッシュフラッシュ実行部の
処理フローを示す図。

【図１３】同実施形態のプロセッサによるデータ更新に
伴なう動作を説明する図。

【図１４】同実施形態のキャッシュフラッシュ実行部に
よるＲｅａｄ−Ｌｉｎｅコマンドの発行を説明する図。

【図１５】同実施形態のチェックポイント処理の開始前
に故障が発生した場合の動作を説明する図。

【図１６】この発明の第３の実施形態に係る計算機シス
テムのシステム構成を示す図。

【図１７】同実施形態のキャッシュフラッシュ実行部の
処理フローを示す図。

【図１８】同実施形態のプロセッサによるデータ更新に
伴なう動作を説明する図。

【図１９】同実施形態のキャッシュフラッシュ実行部に
よるＲｅａｄ−Ｌｉｎｅコマンドの発行を説明する図。

【図２０】同実施形態のチェックポイント処理の開始前
に故障が発生した場合の動作を説明する図。

【図２１】同実施形態のビフォアイメージを取得するか
否かを判断する機構を示す図。

【図２２】この発明の第４実施形態のプロセッサ、ビフ
ォアイメージ取得部、およびキャッシュフラッシュ実行
部の動作の時間的な関係を説明する図。

【図２３】同実施形態のフラッシュ前倒し方式のプロセ
ッサの処理フローを示す図。

【図２４】同実施形態のフラッシュ前倒し方式の効果を
元の制御方式と対比させて模式的に表わした図。

【図２５】同実施形態のプロセッサ、メインメモリ、ビ
フォアイメージ取得部、およびキャッシュフラッシュ実
行部の動作例を示す図。

【図２６】同実施形態のビフォアイメージ記憶部のエン
トリの構成法とその使用法を説明する図。

【図２７】同実施形態のキャッシュフラッシュ実行部の
処理フローを示す図。

【図２８】この発明の第５の実施形態のプロセッサがチ
ェックポイント加速装置を使ってチェックポイント／ロ
ールバック方式を実現する場合の通常のデータ処理およ
びチェックポイント処理における処理フローを示す図。

【図２９】チェックポイント／リカバリ方式の動作手順
を説明する図。

【符号の説明】

１０…プロセッサ、２０…キャッシュメモリ、３０…チ
ェックポイント処理加速装置、３１…バスインタフェー
ス、３２…ビフォアイメージ取得部、３３…メインメモ
リ状態復元部、３４…キャッシュフラッシュ実行部、３
５…ビフォアイメージ記憶部、３６…フラグメモリ、３
７…ブロックカウンタ制御部、３８…ブロックカウン
タ、４０…システムバス、５０…メモリコントローラ、
５１…メインメモリ。

フロントページの続き (56)参考文献 特開 平２−217943（ＪＰ，Ａ) 特開 平４−245350（ＪＰ，Ａ) 特開 平５−6308（ＪＰ，Ａ) 特開 平５−108481（ＪＰ，Ａ) 特開 平６−44136（ＪＰ，Ａ) 特開 平７−311712（ＪＰ，Ａ) 特開 昭63−8835（ＪＰ，Ａ) 特開 平８−185359（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 12/08 - 12/12 G06F 11/14 G06F 11/00 - 11/00 350 G06F 12/00 - 12/00 549

Claims (21)

(57)【特許請求の範囲】
1. 【請求項１】 バススヌープ機構を有するコピーバック
   型のキャッシュメモリを備えた少なくとも一つ以上のプ
   ロセッサと、メインメモリと、前記プロセッサと前記メ
   インメモリとを接続するシステムバスとを具備してなる
   計算機に適用されるチェックポイント処理加速装置であ
   って、 データ更新が発生したアドレスおよびその更新前のデー
   タを組としたビフォアイメージを複数個記憶するビフォ
   アイメージ記憶手段と、 前記キャッシュメモリ上でデータ更新が発生したことを
   示すコマンドおよびそれに対する応答を前記システムバ
   スの監視によって検知し、前記キャッシュメモリ上でデ
   ータ更新が発生したことを示すコマンドおよびそれに対
   する応答が更新アドレスおよび更新前データを含む場合
   に、そのアドレスおよび更新前データを前記ビフォアイ
   メージ記憶手段に格納し、前記キャッシュメモリ上でデ
   ータ更新が発生したことを示すコマンドおよびそれに対
   する応答が更新の発生したアドレスを含むが更新前のデ
   ータを含まない場合に、その更新前のデータを読み出す
   ためのコマンドを前記キャッシュメモリ上でデータ更新
   が発生したことを示すコマンドおよびそれに対する応答
   に含まれるアドレスを用いて前記システムバスに発行
   し、前記アドレスおよび読み出された更新前のデータを
   前記ビフォアイメージ記憶手段に格納するビフォアイメ
   ージ取得手段と、 前記プロセッサから指示されたときに、前記ビフォアイ
   メージ記憶手段に格納されたすべてのアドレスについ
   て、そのアドレスで示される更新状態のデータをメイン
   メモリに書き戻すことを要求するコマンドを前記システ
   ムバスに発行するキャッシュフラッシュ実行手段と、 前記プロセッサから指示されたときに、前記ビフォアイ
   メージ記憶手段に格納されたすべての更新前データにつ
   いて、新しく格納したものから順にメインメモリへの更
   新書き込みを要求するコマンドを前記システムバスに発
   行するメインメモリ状態復元手段とを具備してなること
   を特徴とするチェックポイント処理加速装置。
2. 【請求項２】 前記メインメモリを前記キャッシュメモ
   リ内に確保されるキャッシュブロックの大きさで分割
   し、この分割によって定義される複数の区画の中の少な
   くとも一つ以上の区画それぞれに対応させて、オンとオ
   フとの二つの状態が割り当てられるフラグメモリをさら
   に設け、 前記ビフォアイメージ取得手段は、前記ビフォアイメー
   ジを取得した際、その更新アドレスに対するフラグメモ
   リが設けられ、かつオフのときには、前記フラグメモリ
   をオンに設定するとともに前記ビフォアイメージを前記
   ビフォアイメージ記憶手段に格納し、更新アドレスに対
   するフラグメモリが設けられ、かつオンのときには、前
   記ビフォアイメージの前記ビフォアイメージ記憶手段へ
   の格納を行なわず、更新アドレスに対するフラグメモリ
   が設けられていないときには、前記ビフォアイメージを
   ビフォアイメージ記憶手段に格納する手段を具備し、 前記キャッシュフラッシュ実行手段は、前記ビフォアイ
   メージ記憶手段からビフォアイメージを取り出して、更
   新状態にあるキャッシュブロックの内容の前記メインメ
   モリへの書き戻しを要求するコマンドを発行する際、そ
   のアドレスに対応するフラグメモリが設けられていると
   きには、そのフラグメモリをオフに設定する手段を具備
   してなることを特徴とする請求項１記載のチェックポイ
   ント処理加速装置。
3. 【請求項３】 互いに共通部分をもたないように設定さ
   れる一つ以上のアドレス範囲それぞれに対応して設けら
   れ、前記アドレス範囲に属する更新状態のキャッシュブ
   ロック数を保持するブロックカウンタと、 前記システムバス上のコマンドおよびその応答を監視し
   て、前記キャッシュブロックが更新状態に移行すること
   を検知した際、前記システムバス上のコマンドおよびそ
   の応答がアクセスするアドレスに対応した前記ブロック
   カウンタが存在するときは、そのブロックカウンタをイ
   ンクリメントし、前記キャッシュブロックが更新状態か
   らそれ以外の状態に移行すること検知した際、前記シス
   テムバス上のコマンドおよびその応答がアクセスするア
   ドレスに対応した前記ブロックカウンタがあるときは、
   そのブロックカウンタをデクリメントするカウンタ制御
   手段とをさらに具備し、 前記キャッシュフラッシュ実行手段は、前記ビフォアイ
   メージ記憶手段に格納されたすべてのアドレスについ
   て、そのアドレスに対応する前記ブロックカウンタがな
   いか、またはその値が初期値でないときに、そのアドレ
   スの更新状態のキャッシュブロックの内容をメインメモ
   リに書き戻すことを要求するコマンドを前記システムバ
   スに発行する手段を具備してなることを特徴とする請求
   項１記載のチェックポイント処理加速装置。
4. 【請求項４】 前記キャッシュメモリは、ダイレクトマ
   ップで構成され、前記ブロックカウンタは、キャッシュ
   ブロックと一対に設けられることを特徴とする請求項３
   記載のチェックポイント処理加速装置。
5. 【請求項５】 前記キャッシュメモリは、ｎウェイのセ
   ットアソシアティブで構成され、前記ブロックカウンタ
   は、ｎ個のキャッシュブロックで形成されるグループと
   一対に設けられることを特徴とする請求項３記載のチェ
   ックポイント処理加速装置。
6. 【請求項６】 前記メインメモリを前記キャッシュメモ
   リ内に確保されるキャッシュブロックの大きさで分割
   し、この分割によって定義される複数の区画の中の少な
   くとも一つ以上の区画それぞれに対応させて、オンとオ
   フとの二つの状態が割り当てられるフラグメモリをさら
   に設け、 前記システムバス上のコマンドおよびその応答を監視し
   て、前記キャッシュブロックが更新状態に移行すること
   を検知した際、前記システムバス上のコマンドおよびそ
   の応答がアクセスするアドレスに対応した前記フラグメ
   モリが設けられているときは、そのフラグメモリをオン
   に設定し、前記キャッシュブロックが更新状態からそれ
   以外の状態に移行することを検知した際、前記システム
   バス上のコマンドおよびその応答がアクセスするアドレ
   スに対応した前記フラグメモリが設けられているとき
   は、そのフラグメモリをオフに設定するフラグメモリ制
   御手段をさらに具備し、 前記キャッシュフラッシュ実行手段は、前記ビフォアイ
   メージ記憶手段に格納されたすべてのアドレスについ
   て、そのアドレスに対応する前記フラグメモリが設けら
   れていないか、またはその状態がオンのときに、そのア
   ドレスの更新状態のキャッシュブロックの内容をメイン
   メモリに書き戻すことを要求するコマンドを前記システ
   ムバスに発行する手段を具備してなることを特徴とする
   請求項１記載のチェックポイント処理加速装置。
7. 【請求項７】 前記ビフォアイメージ取得手段が前記キ
   ャッシュメモリ上でデータ更新が発生したことを示すコ
   マンドまたはそれに対する応答を検知したときに、その
   ビフォアイメージを前記ビフォアイメージ記憶手段に格
   納するか否かをその更新アドレスにより判断するアドレ
   ス判定手段をさらに具備してなることを特徴とする請求
   項１、２、３、４、５または６記載のチェックポイント
   処理加速装置。
8. 【請求項８】 前記ビフォアイメージ記憶手段に格納さ
   れた前記ビフォアイメージそれぞれについて、前記メイ
   ンメモリ状態復元手段により前記メインメモリに書き戻
   すか否かをその更新アドレスにより判断するアドレス判
   定手段をさらに具備してなることを特徴とする請求項
   １、２、３、４、５または６記載のチェックポイント処
   理加速装置。
9. 【請求項９】 前記キャッシュメモリ上でのデータ更新
   が行なわれた際、その更新対象のデータが他のキャッシ
   ュメモリ上で更新されて保持されているデータであると
   きに、前記ビフォアイメージ取得手段は、前記ビフォア
   イメージを前記ビフォアイメージ記憶手段に格納しない
   ことを特徴とする請求項１、２、３、４、５または６記
   載のチェックポイント処理加速装置。
10. 【請求項１０】 前記キャッシュメモリを構成する各キ
    ャッシュブロックに割り当てられる複数の管理状態の中
    に、そのキャッシュブロックが保持しているデータは他
    のプロセッサのキャッシュメモリには保持されておら
    ず、かつメインメモリ上と同じデータであるといったク
    リーンエクスクルーシブ状態を含むものであり、かつ、
    いずれかのキャッシュメモリの発行したメインメモリデ
    ータの読み込み要求コマンドに対し、そのデータを保持
    していると応答する応答手段をさらに具備することを特
    徴とする請求項１、２、３、４、５または６記載のチェ
    ックポイント処理加速装置。
11. 【請求項１１】 前記ビフォアイメージ取得手段は、前
    記キャッシュメモリの機構を介さずに前記メインメモリ
    の内容を更新するコマンドを検知したときに、そのコマ
    ンドの実行を中止させ、前記キャッシュメモリの機構を
    介さずに前記メインメモリの内容を更新するコマンドに
    含まれる更新アドレスを用いて前記メインメモリから更
    新前のデータを読み出すためのコマンドを前記システム
    バスに発行し、前記アドレスと読み出された更新前のデ
    ータとを前記ビフォアイメージ格納手段に格納する手段
    と、前記実行を中止させたコマンドが再度発行されたと
    きには、そのコマンドの実行の中止を行なわない手段と
    を具備してなることを特徴とする請求項１、２、３、
    ４、５または６記載のチェックポイント処理加速装置。
12. 【請求項１２】 前記ビフォアイメージ取得手段は、前
    記プロセッサから指示されたアドレス範囲について、前
    記メインメモリから更新前のデータを読み出すためのコ
    マンドを前記システムバスに発行し、前記アドレスとそ
    の読み出された更新前のデータを組としたビフォアイメ
    ージを前記ビフォアイメージ格納手段に格納する手段を
    具備してなることを特徴とする請求項１、２、３、４、
    ５または６記載のチェックポイント処理加速装置。
13. 【請求項１３】 前記ビフォアイメージ取得手段および
    キャッシュフラッシュ実行手段は、並行して実行可能で
    あることを特徴とする請求項１、２または３記載のチェ
    ックポイント処理加速装置。
14. 【請求項１４】 前記キャッシュフラッシュ実行手段
    は、前記ビフォアイメージ記憶手段に格納されたビフォ
    アイメージの中の最も早い時点で取得されたものから順
    に処理することを特徴とする請求項１３記載のチェック
    ポイント処理加速装置。
15. 【請求項１５】 前記ビフォアイメージ記憶手段は、互
    いに独立した複数のメモリで構成されることを特徴とす
    る請求項１３記載のチェックポイント処理加速装置。
16. 【請求項１６】 前記ビフォアイメージ記憶手段は、互
    いに独立した第１および第２のメモリを含んで構成さ
    れ、 前記ビフォアイメージ取得手段は、前記キャッシュフラ
    ッシュ実行手段が動作していないときには、前記取得し
    たビフォアイメージを前記第１のメモリに格納し、前記
    キャッシュフラッシュ実行手段が動作を開始したときに
    は、前記取得したビフォアイメージを前記第２のメモリ
    に格納する手段を具備し、 前記キャッシュフラッシュ実行手段は、前記第１のメモ
    リに格納されたビフォアイメージから処理する手段を具
    備してなることを特徴とする請求項１３記載のチェック
    ポイント処理加速装置。
17. 【請求項１７】 前記キャッシュフラッシュ実行手段
    は、前記ビフォアイメージ取得手段によって前記第１の
    メモリのすべてに前記ビフォアイメージが格納されたと
    きに起動されることを特徴とする請求項１６記載のチェ
    ックポイント処理加速装置。
18. 【請求項１８】 前記ビフォアイメージ記憶手段の残容
    量が予め定められた量を下回ったことを前記プロセッサ
    に通知する通知手段をさらに具備してなることを特徴と
    する請求項１、２、３、４、５または６記載のチェック
    ポイント処理加速装置。
19. 【請求項１９】 前記キャッシュフラッシュ実行手段
    は、前記ビフォアイメージ取得手段が実行中であるとき
    に、更新状態のキャッシュブロックの内容を前記メイン
    メモリへ書き戻すことを要求するコマンドの発行頻度を
    予め定められた値以内に抑制し、前記ビフォアイメージ
    取得手段が停止したときに、前記コマンドの発行頻度を
    高くする手段を具備してなることを特徴とする請求項１
    ３記載のチェックポイント処理加速装置。
20. 【請求項２０】 バススヌープ機構を有するコピーバッ
    ク型のキャッシュメモリを備えた少なくとも一つ以上の
    プロセッサと、メインメモリと、請求項１乃至１９のい
    ずれかに記載のチェックポイント処理加速装置と、前記
    プロセッサと前記メインメモリと前記チェックポイント
    処理加速装置とを接続するシステムバスを備える計算機
    システムにおけるデータ処理方法であって、 前記チェックポイント処理加速装置のビフォアイメージ
    取得手段を起動した後、通常のデータ処理を実行するデ
    ータ処理実行ステップと、前記データ処理実行ステップを一時中断して、すべての
    前記 プロセッサが同期して実行する、データ処理中のコ
    ンテキストをメインメモリに格納して、前記チェックポ
    イント処理加速装置のキャッシュフラッシュ実行手段を
    起動し、前記チェックポイント処理加速装置のキャッシ
    ュフラッシュ実行手段の実行終了後、前記データ処理実
    行ステップを再開するチェックポイント作成ステップ
    と、 故障が発生したときに、すべての前記プロセッサが同期
    して前記キャッシュメモリのすべてのキャッシュブロッ
    クを無効化した後、前記チェックポイント処理加速装置
    のメインメモリ状態復元手段を起動することにより前記
    メインメモリの 状態を直前に採取したチェックポイント
    時点の状態に復元し、その後前記データ処理実行ステッ
    プを再開するロールバック／リカバリステップとを有す
    ることを特徴とするデータ処理方法。
21. 【請求項２１】 バススヌープ機構を有するコピーバッ
    ク型のキャッシュメモリを備えた少なくとも一つ以上の
    プロセッサと、メインメモリと、請求項１乃至１９のい
    ずれかに記載のチェックポイント処理加速装置と、前記
    プロセッサと前記メインメモリと前記チェックポイント
    処理加速装置とを接続するシステムバスとを備える計算
    機システムにおけるデータ処理方法であって、 前記チェックポイント処理加速装置のビフォアイメージ
    取得手段を起動した後、通常のデータ処理を実行すると
    共に、前記チェックポイント処理加速装置のキャッシュ
    フラッシュ実行手段の起動も行うデータ処理実行ステッ
    プと、 前記データ処理実行ステップを一時中断して、すべての
    前記プロセッサが同期して実行する、データ処理中のコ
    ンテキストをメインメモリに格納して、前記チェックポ
    イント処理加速装置のキャッシュフラッシュ実行手段の
    実行終了後、前記データ処理実行ステップを再開するチ
    ェックポイント作成ステップと、 故障が発生したときに、すべての前記プロセッサが同期
    して前記キャッシュメモリのすべてのキャッシュブロッ
    クを無効化した後、前記チェックポイント処理加速装置
    のメインメモリ状態復元手段を起動することにより前記
    メインメモリの状態を直前に採取したチェックポイント
    時点の状態に復元し、その後前記データ処理実行ステッ
    プを再開するロールバック／リカバリステップとを有す
    ることを特徴とするデータ処理方法。