JPH07503334A

JPH07503334A - 外部事象を処理できるフォールトトレラントコンピュータシステム

Info

Publication number: JPH07503334A
Application number: JP5513358A
Authority: JP
Inventors: グリーソン，バリー・ジョン
Original assignee: ユニシス・コーポレイション
Priority date: 1992-01-22
Filing date: 1993-01-22
Publication date: 1995-04-06
Anticipated expiration: 2016-09-17
Also published as: DE69311797T2; EP0623230A1; JP3209748B2; EP0623230B1; DE69311797D1; WO1993015461A1; US5363503A

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】名称外部事象を処理てきるフォールトトレラントコンピュータシステム発明の背景この発明は、データ処理システムにおいてフォールトトレランスを与えるための改良された手段および方法に関する。

コンピュータシステムの速度、パワーおよび複雑さが増すにつれて、ハードウェアおよび／またはソフトウェアの故障の際にシステムが「ダウンする」のを防ぐために、このようなシステムにフォールトトレランスを与えることがますます重要となっている。しかしながら、コンピュータシステムにフォールトトレランス能力を与えることは高価であるとともに、かなりの性能の代償をもたらすことがわかった。

データ処理システムにおいてフォールトトレランスを達成する基本的な方法は、各タスク（プロセスとも呼ばれる）にバックアップタスクを与え、主タスクが故障してもハックアップタスクか自動的にリカノヘーシて実行を続けられるようにするものである。たとえば、主タスクおよびそのバックアップタスクは、一方が故障しても他方で実行か続くように相互結合されたｌ対の同時実行ＣＰＵ（中央処理装置）を用いて与えてもよい。このような二重の７１−ドウエアを設けることは、特に、同時に動作する二重ノ＼−ドウエアを、さらなるデータ処理力を与えるのには使用できないので、フォールｌ−１−レランスを達成するには非常に高価な方法であることが認められるであろう。

ハードウェアを二重にすることを避ける既知のアプローチの１つとして、主タスクには第１のＣＰＵを設け、バックアップタスクには第２のＣＰＵを設けて、主タスクが故障した場合のみにバックアップがリカバーし、実行を続けるように活性となるというものがある。それまでは、バックアップＣＰＵは他の処理を行なえる。主プロセスが故障した場合にバッ、クアッププロセスが必ずそれを引き継ぐことができるように、この既知のアプローチでは、主データ空間が変わるときには常にチェックポイント動作が起こる。

このチェックポイント動作は主タスクの状態およびデータ空間をバンクアップのそれにコピーし、そのため主タスクか故障しても、バックアップタスクが実行を続けることができる。しかしながら、このアプローチで必要とされる頻繁なチェックポイント動作は、性能に悪影響を与え、追加される計算力のかなりの部分を使ってしまう。

別の既知のアプローチが、米国特許番号環４．５９０．５５４号に開示されている。このアプローチもまたチェックポイント動作を用いるが、チェックポイントの頻度をかなり減じるフォールトトレラントアーキテクチャを使用するという利点をもたらす。しかしながら、このアプローチには、メツセージか主およびバックアッププロセッサに実質的に同時に伝送されることを必要どする点において本質的に同期しているメツセージ伝送プロトコルを必要とする欠点がある。さらに、上述の特許に開示されているアプローチには、アトム的伝送を必要とする別の欠点があり、受信タスクおよびすべてのバックアップがメツセージを受け取ることができることを示さなければ、タスクによるメツセージの伝送が許可されない。さらに、すべての受信タスクおよびバックアップがメツセージの受信に肯定応答するまで、受信タスクは進行を許可されない。これらのメツセージ伝送プロトコルの要件が、システムをさらに複雑にする制約をもたらし、かつ性能にかなりの悪影響を与える。

上述の特許第４．５９０．５５４号に開示されるのと同様のアプローチが、ニー・ボルダ（Ａ、　Ｂｏｒｇ　）らによる、オペレーティングシステム原理に関する第９回シンポジウム（Ｎｉｎｔｈ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍｓ　Ｐｒ１ｎｃｉｐｌｅｓ　）　（ブレトン・ウッズ（Ｂｒｅｔｏｎ　Ｗｏｏｄｓ）　、　Ｎ、　Ｈ，，１９８３年ｌＯ月）、１９８３年、ニューヨーク、ＡＣＭ、９０−９９頁の論文「フォールトトレランスを支持するメツセージシステムＪ　（Ａ　Ｍｅｓｓａｇｅ　Ｓｙｓｔｅｍ　Ｓｕｐｐｏｒｔｉｎｇ　Ｆａｕｌｔ　Ｔｏｌｅｒａｎｃｅ）、およびニー・ボルダらのコンピュータシステムに関するＡＣＭ＋−ランザクジョン（ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍｓ）、　Ｖｏｌ、　７　、　Ｎｏ、　Ｉ、１９８９年２月、ｌ−２４頁の論文ＦＵＮＩＸてのフォールトトレランスＪ　（ＦａｕＩｔ　Ｔｏｌｅｒａｎｃｅ　Ｕｎｄｅｒ　ＵＮＩＸ）に説明される。

上述の特許第４．５９０．５５４号に開示されるものよりもかなり改良されたアプローチが、私の上述の特許出願連続番号第０７１５２１．２８３号に説明され、これはメツセージ伝送上の制約を減じながら、特許第４．５９０．５５４号の利点を存するフォールトトレラントデータ処理システムを提供している。より特定的には、連続番号第０７１５２１．２８３号のシステムは、フォールトトレラント動作を行なうのに伝送のアトム性も同時性も要求せず、それによって性能が向上する。連続番号第０７１５２１．２８３号のこのシステムは、以下フレキシブル・フォールト・トレラント・システムと称する。

発明の概要この発明の広い目的は、データ処理システムにおいてフォールトトレランスを達成するための改良された手段および方法を提供することである。

この発明のより特定的な目的は、上述の特許第４．５９０．５５０号に開示されるものと類似した、またはフレキシブル・フォールト・トレラント・システム（こ類似した）オールトトレラントシステムを提供することであり、外部事象が起こるときをタスクがほとんど、または全く制御できない状態、および、タスクの振舞がこの外部事象が発生するときに依存して異なる可能性のある状態において、プロセス（タスク）かこの制御されない外部事象に適応することができる。

この発明のさらに別の目的は、上述の目的に従って、比較的簡単かつ経済的に実現されるフォールトトレラントデータシステムを提供することである。

この発明の具体的な好ましい実施例において、メモリへの「書込」参照をカウントするためにさらなるハードウェアか設けられる、フレキシブル・フォールト・トレラント・システムに類似したフォールトトレラントシステム供される。この「書込Ｊメモリ参照データカウントは、タスクのコンテキストの一部として扱われる。外部事象が発生する回数は、そのバックアップによるタスクのリカバリ中に、制御されない外部事象の各々が、主タスクに渡されるのと同じ論理的ポイントでバックアップに再び渡されるようにこのメモリ参照「書込」データカウントと関連づけられ、それによってこのような外部事象の発生にもかかわらず、故障したタスクか適切にリカバーすることを確実とする。

この発明の特定的な性質、ならびにその他の目的、特徴、利点および用途は、添付の図面とともに、好ましい実施例の以下の詳細な説明から明らかになるであろう。

図面の簡単な説明図１は、米国特許番号第４．　５９０，　５５４号からの先行技術のフォールｌ −　１−レラントシステムのブロック図である。

図２は、米国特許番号第４，　５９０．　５５４号からの、図１のタスクプロセッサの１つを一般化したブロック図である。

図３は、フォールトトレラントシステムの好ましい実施例のブロック図である。

図３Ａは、図３のタスクを一般化して表現したものである。

図４−９は、図３の好ましい実施例の種々の動作例を示すフローチャートである。

詳細な説明同様の番号および記号は、図面を通して同様の要素を示す。

米国特許番号第４．　５９０．　５５４号の概要（図１および２）ここに述べるこの発明の貢献および詳細な説明を理解するにあたって、その内容がここに引用によって援用される上述の米国特許番号第４，　５９０，　５５４号に開示される実施例の構成および動作の概要をまず述べることが有用であろう。

この目的で、特許第４，　５９０．　５５４号の図１および２にそれぞれ相当するこの発明の図１および２を参照する。

図１は、主プロセツサ１１および２１、そのそれぞれの関連したバックアッププロセッサ１２および２２、共通メモリＣＭ、ならびに相互接続メツセージバスＭＢを含む並列コンピュータシステムＰＣＳを示す。

図２は、図１のプロセッサの１つを示し、読出カウンタＲＣ、書込カウンタＷＣ、メツセージキューＭＱおよびプロセッサの残りＲＰを含む。主プロセツサ（１１または２１）は読出カウンタＲＣのみを用い、バックアッププロセッサ（１２または２２）は、書込カウンタＷＣのみを用いる。ＲＣおよびＷＣの双方とも、動作の開始時にゼロに初期化される。動作中に、各主プロセツサの読出カウンタＲＣは、そのそれぞれの主プロセツサ（１１または２１）がそのメツセージキューＭＱからプロセッサの残りＲＰに読出したメツセージ数のカウントを累積する。各バックアッププロセッサ（＋２または２２）の書込カウンタＷｃは、そのそれぞれの主プロセツサ（１１または２１）によって伝送されたメツセージ数のカウントを累積する。

米国特許番号第４．５９０．５５４号に開示される実施例に関して説明される動作では、第１のプロセス（タスク）が主プロセツサ１１て実行され、第２のプロセス（タスク）は主プロセツサ２１で実行される。主プロセツサ（たとえば１１）によって伝送された各メツセージは、３つのプロセッサ、すなわち、宛先主プロセツサ（たとえば２１）、宛先プロセッサ２１のバックアッププロセッサ２２、および伝送プロセッサ１１のバックアッププロセッサ１２に実質的に同時に送られる。これら３つのプロセッサすべてがメツセージを受け取り、かつそのように肯定応答したときのみ、メツセージの伝送が完了したとみなされる（アトム性）。

宛先プロセッサ２１およびそのバックアッププロセッサ２２の双方は、メツセージをそのそれぞれのメツセージキューＭＱにロードする。しかしながら、伝送プロセッサのバックアッププロセッサ１２は、受は取ったメツセージを単にその書込カウンタＷＣを増分するためのみに使用し、その後そのメツセージは捨てられる。主プロセツサは、受は取ったメツセージを処理するごとに、その読出カウンタを１だけ増分する。

バックアッププロセッサのメソセージキューのメツセージの数が多くなり過ぎると、米国特許番号第４．５９０．５５４号の実施例では、主プロセツサとバックアッププロセッサとの間でチェックポイント動作が自動的に開始される。チェックポイント動作は、バックアッププロセスをその主プロセスと同じ状態にもたらし、これはそのデータ空間を同一にすることを含む。さらに、チェックポイント動作によって、主プロセスは、累積された続出カウントをそのバックアッププロセスに送った後、その続出カウンタＲＣをゼロにする。この続出カウントＲＣは、開始時からまたは最後のチェックポイント動作からの、そのメツセージキューＭＱから主プロセスによって読出されたメツセージの数を示すことに留意されたい。バックアッププロセスは、チェックポイント動作の間にこの続出カウントを用いて、そのメソセージキューＭＱから同じ数のメツセージを捨てる。このように、主プロセスが万一故障しても、バックアッププロセスは、主プロセスによって既に処理されたメツセージは処理しない。

上述の特許番号第４．５９０．５５４号の実施例の動作の一例として、主プロセツサ２１が故障すると仮定する。このような場合、そのバックアッププロセッサ２２は最後のチェックポイントの点から（または開始時から）出発し、そのメツセージキューＭＱ（図２）内のメツセージを処理し始める。これらは、主プロセツサ２１に送られたものと同じメツセージである。適切なリカバリを施すために、バックアッププロセッサ２２は、その故障した主プロセツサ２１が故障ｉ；ｒに伝送したいかなるメツセージも再び伝送しないようにされる。これは、バックアッププロセッサ２２の書込カウンタＷＣの累積されたカウントを用いることによって達成され、これは、そのそれぞれの主プロセツサ２１によって送られたメツセージの数に対応することに留意されたい。出力メソセージがバックアッププロセッサ２２によってリカバリ中に生成されるごとに、この書込カウンタＷＣはｌだけ減分される。バックアッププロセッサ２２は、書込カウンタＷＣがゼロに達して初めて、メツセージを伝送することを許可される。バックアッププロセッサ２２は、このようにその故障した主プロセツサ２１の状態にもたらされ、故障した主プロセツサ２１が実行していたプロセス（タスク）の処理を引き継ぐことができる。

まず、フォールト１−レラント動作に関係のある幾つかの点の考察を行なうことが有用であろう。

タスクがメツセージを受け取り、その直後に故障した場合、タスクがメツセージを受け取る直前に故障したかのように進行してもよい。

実際に、故障した後も永続するある動作、たとえばタスクがディスクまたは端末に書込んだり、またはメツセージをその故障を切り抜けた別のタスクに送る等をタスクが実行するまではタスクがメツセージを受け取る前に故障したかのように進めることにしてもよい。ＣＰＵの故障によって、そのＣＰＵ上で動いているすべてのタスクの故障が起こるので、同じＣＰＵ内で動作している別のタスクに送られるメツセージは、受信側がそれに応じて［永続的動作」を行なわない限り、ＣＰＵの故障の後も永続する動作ではない。

より一般的には、ＣＰＵが故障すると、そのＣＰＵの外部のあらゆる装置およびタスク（他のＣＰＵ、ディスク、端末等）か、その故障時のＣＰＵの状態について一致していることか重要である。その一致した状態が、故障時のＣＰＵの実際の状態であるかどうかは重要でない。

故障したＣＰＵが実際に多数の付加的な処理ステップを実行したとしても、永続的動作を全く実行していないのであれば、その場合にはバックアップは適切にリカバーするためにそれらを考慮する必要はない。このように、リカバリは一致した状態で始まり、故障時の実際の状態まで、およびそれを越える処理ステップを再計算する。実際に、リカバリで元のＣＰＵとは異なる処理ステップを実行するかもしれないが、これは元の処理ステップのとの結果も見えないので、上述の考察かられかるように、ユーザには見えない。

図３に示されるように、３つの主タスク３１，４１および５１が、ＣＰＵ　Ａ上で実現され、互いに、そして出力ＣＰＵキューと、内部メツセージ網３５を介して通信するが、これは従来のバス構成であってもよい。ＣＰＵ　Ａに３つの主タスク３１．４１および５１しか図示されていないが、さらなるタスクが設けられてもよいことを理解されたい。

図３にまた示されるように、ＣＰＵ　Ａのタスク３１には、ＣＰＵ　Ｂて実現されるバックアップタスク３２が備えられ、ＣＰＵ　Ａのタスク４１には、ＣＰＵ　Ｃで実現されるバックアップタスク４２が備えられ、ＣＰＵ　Ａのタスク５１には、ＣＰＵ　Ｄで実現されるバックアップタスク５２が備えられる。同じＣＰＵで２つ以上のバックアップタスクか実現されてもよい。各ＣＰＵは、内部通信網３５に結合されるメモリＭを含み、これはＣＰＵで実現される各タスクについてそれぞれデータ空間を与える。ＣＰＵＢ、ＣおよびＤの各々は、（ＣＰＵ　Ａのように）ＣＰＵキューを有してもよいが、これは、ＣＰＵかバックアップタスクしか含まなければ、使用されない。ＣＰＵ　Ａ、Ｂ、ＣとＤＩ４との間の通信は、外部通信網４５によってもたらされ、これは上述の特許番号第４．５９０．５５４号のメツセージＢＵＳ　ＭＢで示されるような、当該分野では既知である種々の形態をとってもよい。図３に示されるように、周辺機器Ｐがまた、Ｉｌｏを介して外部通信網４５に結合される。通信機器Ｐは、たとえば１つまたはそれ以上のディスクドライブを含んでもよい。

各主タスク３１．４１．５１およびそのそれぞれのバックアップタスク３２．４２．５２を、より詳細に検討する。

当業者には、以下の説明より、さらにタスクおよびＣＰＵを備えた異なる構成も使用できることが理解されるであろう。ここで検討される実施例の目的のために、すべてＣＰＵＡにある主タスク３１．４１．５１は、内部通信網３５を介して互いからのみメツセージを受け取り、そのそれぞれのＣＰＵ　Ａの外からは受け取らないと仮定する。タスク３１．４１．５１からＣＰＵ　Ａの外へのメツセージ分配は、外部通信網４５を介して、ＣＰＵＢ、ＣＳＤのそのそれぞれのバックアップタスク３２．４２．５２に対してのみと仮定する。当業者には明らかであるように、ここで開示されるタスクの構造および動作は、そのそれぞれのＣＰＵによって実現される。

図３Ａに示されるように、各タスク（３１，３２，４１，４２，５１１５２）は、メツセージを受け取りかつ記憶するためのメツセージキューＭＱを含む。各タスクはまた、読出カウンタＲＣと書込カウンタＷＣとを含む。タスクが主タスク（図３の３１．４１．５１）であれば、読出カウンタＲＣのみが使用され、その用途は、そのメツセージキューＭＱから主タスクによって読出されるメツセージ数のカウントを累積することである。逆に、タスクがバックアップタスク（図３において３２．４２および５２）であれば、書込カウンタＷＣのみが使用され、その用途は、そのそれぞれの主タスク（図３において３１．４１５１）によって送られるメツセージ数を累積することである。

メツセージキューＭＱ、読出カウンタＲＣ１および書込カウンタＷＣの動作は、典型的には上述の特許番号第４，５９０、５５４号に関してここで先に説明したものであってもよい。

バックアップタスクによるリカバリおよびチェックポイント動作もまた同様に、典型的には、先に検討した「考察」を活用することから起こる、ここで指摘した違いを除いては、上述の特許番号第４．５９０．５５４号て説明されるとおりであってもよい。図３および３Ａに示される実施例の動作を、以下により詳細に説明する。上述のように、ＣＰＵ　Ａの主タスク３１．４１．５１は、内部通信網３５を介して互いにのみ通信し、それぞれのバックアップタスク３２が、それぞれＣＰＵＢ、ＣおよびＤに設けられると仮定する。

主タスク（３１，４１または５１）によって送られるメツセージの各々は、典型的には関連するタスクアドレスを含み、これを、示されたタスクにメツセージを送るために内部通信網３５が使用する。バックアップタスク（ＣＰＵＢ、Ｃ，Ｄにおいてそれぞれ３２．４１．５２）に送られなくてはならないメソセージは、内部通信網３５によって、先入れ先出し方式（ＦＩＦＯ）で動作する、出力ＣＰＵキューに送られる。

重要な特徴は、ここで先に考察したことを利用して、同じＣＰＵの別のタスクにメツセージを伝送する主タスクは、この別のタスクおよびそれぞれのＣＰＵキューへのメツセージの分配が確実に行なわれる限り、ＣＰＵキューにおける対応するバックアップメツセージがバックアップタスクにまだ送られていなくても、その処理を直ちに継続することができることであり、これによって処理を高速にする。

上述の特許番号第４．５９０．５５４号とは異なり、これらのバックアップメツセージは、外部通信網４５を介して適切なバックアップタスクに、そうすることが好都合であるときに送られてもよい。このことは、主タスクが永続的動作を行なわない限り当てはまり、永続的動作とは、タスクがディスクまたは端末に書込んだり、または故障を切り抜けた別のタスクにメツセージを送るとき等の、故障後も永続する、主タスクによって行なわれる動作であることに留意されたい。

主タスク（２１または３１）が永続的動作を行なう必要がある場合には、主タスクはまず出力ＣＰＵキューをチェックし、タスクによって既に処理されたメツセージに対応するバックアップメツセージのすへてかバックアップに送られたかどうかを決定する。これらの必要なメツセージのすべてか確実に送られていれば、タスクは永続的動作を実行し、処理を継続する。もしそうでなければ、主タスクはバックアップに必要な分配を始め、その後、主タスクは永続的動作を実行し、処理を継続する。タスクは、次の永続的動作を実行する必要があるときまで、そのバックアップに処理されたメツセージを送ることに関係なく、処理を継続してもよい。伝送されるメツセージの分配を確実にするために、たとえば、肯定応答信号、ハンドシエイキング、エコー、誤り検出、または他の適切な手段等を用いること等の、当該分野では周知である種々の技術を用いてもよいことを理解されたい。

図３の動作を例示する種々の例を次に挙げる。これらの例は、図４−９のフローチャートにおいて要約された形で示される。これらのフローチャートはまた、各側について含まれる状態表に対応するフローの時点を示す。さらに、これらの例および表を上述の特許番号第４．５９０．５５４号で挙げられているものと比較することが有用であろう。

以下に示す例は、ＣＰＵ　Ａの主タスク３１および４１゜およびＣＰＵ　ＢおよびＣＰＵ　Ｃのそれぞれのバックアップタスクそれぞれ３２および４・２のみに関する。さらに、これらのタスクおよびＣＰＵのみがこれらの例では参照される。さらに、これらの例に関してＣＰＵ　ＡだけがＣＰＵキューを有する必要かあるので、ＣＰＵキューとは、ＣＰＵ　ＡのＣＰＵキューをさす。加えて、先に指摘したように、伝送されるメツセージの分配を確実にするために適切な手段を備えると仮定する。

例１（図４）以下の表■は、ＣＰＵ　Ａ（７）主タスク３１．４１と、ＣＰＵ　ＢおよびＣのそのそれぞれのバックアップタスクそれぞれ３２．４２に関して、書込カウンタｗｃ、読出カウンタＲＣ、メツセージキューＭＱおよびＣＰＵキューの開始状態を示す。

表Ｉ（例１、図４）：書込　読出　メツセージカウンタ　カウンタ　キュー３２／Ｂ　Ｏ未使用　空４１／Ａ　未使用　Ｏ空４２／ＣＯ未使用　空事タスク３１が３つのメツセージＭｌ、Ｍ２、Ｍ３を主タスク４１に（立退し、これらはタスク４１のメツセージキューＭＱに記憶されると仮定する。これらのメツセージはまた、バックアップＣＰＵ　ＢおよびＣへのその後の分配のために、ＣＰＵＩに記憶される。タスク３１は、バックアップタスク３２および４２を含むそれぞれバックアップＣＰＵ　ＢおよびＣにメツセージＭ１、Ｍ２、Ｍ３が伝送されなくても、その処理を続けることができる。ＣＰＵＡは、主タスク３１または４１が永続的動作を必要としていない限りは、都合のよいときにメツセージＭｌ、Ｍ２、Ｍ３を伝送できる。この例では、この時点てＣＰＵ　ＡがこれらのメツセージＭ１、Ｍ２、Ｍ３を伝送しないと仮定する。その結果は以下の表ＩＩに示される。

表ＩＩ（例１、図４）：書込　読出　ハセーノカウンタ　カウンタ　キコータスク／ＣＰＬＩ　ＷＣＲＣμＱ　ＣＰＵ−キコー３１／Ａ　未使用　Ｏ空　Ｍｌ、　Ｍ２．　Ｍ３３２／Ｂ　Ｏ未使用　空４１／Ａ　未使用　ＯＭｌ、Ｍ２．Ｍ３４２／ＣＯ未使用　空次に、タスク４１はそのメツセージＭＱに記憶されているＭｌおよびＭ２を読出し、これらを処理し、その読出カウンタＲＣを２に進ませて、２つのメツセージが処理されたことを示す。その結果は以下の表ＩＩＩに示される。

表ＩＩＩ　（例１、図４）：書込　読出　メツセージカウンタ　カウンタ　キコータスク／ＣＰＵ　ＷＣ昆Ｃ，ＭＱ　ＣＰＵ−キ、−３１／Ａ　未使用　Ｏ空　Ｍｌ、　Ｍ２．　Ｍ３３２／Ｂ　Ｏ未使用　空４１／Ａ　未使用　２　Ｍ３４２／ＣＯ未使用　空メツセージＭ＋およびＭ２に応答して、タスク４１は２つのメツセージＭ４およびＭ５を発生し、これらをタスク３１に送る。メツセージＭ４およびＭ５はタスク３１のメソセージキューＭＱに記憶され、ＣＰＵ　ＢおよびＣへのその後の分配のために、ＣＰＵキューにも記憶される。その結果は以下の表ＴＶに示される。

表ＴＶ（例１、図４）：書込　読出　メツセージカウンタ　カウンタ　キコータスク／ＣＰＵ　ＷＣ旦ＣＭＱ　ＣＰＵ−キ、−３１／Ａ　未使用　ＯＭ４．Ｍ５　Ｍｌ、Ｍ２．Ｍ３．Ｍ４．Ｍ５３２／Ｂ　Ｏ未使用　空刺／Ａ　未使用　２　Ｍ３４２／ＣＯ未使用　空ＣＰＵ　Ａがこの時点て故障し、主タスク３１および４１をダウンさせると仮定する。バックアップタスク３２および４２は、ＣＰＵ　Ａが、主タスク３１および４１によってどのメツセージも送られていないまたは処理されていない状態にあったことで一致している（ＣＰＵ　ＡのＣＰＵキューによって何も送られていないので）。バックアップタスク３２および４２はこの一致した状態に基づいて、最後にわかっている状態、すなわち初期状態から再現する。

このように、この時点までの処理全体が、初期状態から、外部通信網４５を介して互いに通信するバックアップタスク３２および４２によって正確に繰返される。ＣＰＵ　Ａのその故障前の状態（表ＩＶ）は、実際にはバックアップタスク３２および４２が一致したものとはかなり異なっていても、うまくリカバリが達成されたことに留意されたい。

例２（図５）この例の最初の状態は、ＣＰＵ　Ａの故障前の状態を示す、上の例１からの表ＩＶに表わされる。この例２では、ＣＰＵ　ＡがそのＣＰＵキュー内のメツセージＭｌをＣＰＵＡが故障する前にＣＰＵ　ＢおよびＣのそれぞれバックアップタスク３２および４２に伝送すると仮定する。メツセージＭ１は、バックアップタスク４２のメツセージキューＭＱに記憶され、バックアップタスク３１の書込カウンタＷＣはｌに進んで、そのそれぞれの主タスク４１によって１つのメツセージが送られたことを示す。ＣＰＵＡＶによるこの伝送の結果は、以下の表Ｖに示される。

表Ｖ（例２、図５）。

書込　読出　ハセーノカウンタ　カウンタ　キ】− ３２／Ｂ　Ｉ　未使用　空４１／Ａ　未使用　２　Ｍ３４２／ＣＯ未使用　ＭｌここてＣＰＵ　Ａか故障すれば、バックアップタスク３２および４２の双方は、ＣＰＵ　Ａが、主タスク３１によってＭｌだけが主タスク４１に送られた状態にあったということで一致している。バックアップタスク３２および４２によるリカバリは、このタスク３２および４２のこの一致に基づいて最後にわかっている状態（初期状態）から再出発して行なわれる。このリカバリは、典型的には上述の特許番号第４．５９０．５５４号に関連して説明したように行なわれてもよい。タスク３２がリカバリ中にＭｌを再び発生させると、この書込カウンタＷＣ（上の表Ｖに示されるように１にある）はｌだけ減分されてゼロとなり、Ｍｌは捨てられる。Ｍ２およびＭ３がバックアップタスク３２によって再び発生されると、タスク３２の書込カウンタＷＣが現在ゼロなので、これらは通常どおり外部通信網４５を介してタスク４２に伝送される。タスク４２が再出発し、その最初のメツセージを処理しようとすると、そのメツセージキューＭＱに記憶された元のメツセージＭｌを与えられる（上の表Ｖ）。バックアップタスク４２によるさらなるメツセージの続出は、メツセージキューＭＱが今度は空であるので、リカバーしているバックアップタスク３２から伝送される、再発生されたＭ２およびＭ３を用いる。

例３（図６）この例の始めの状態は、上の例１からの表ＩＩＩに示される。この例３ては、タスク４１がこの時点で、ディスクへの書込（このディスクは典型的には図３の周辺機器Ｐ内に位置されていてもよい）等の永続的動作を行なう必要があると仮定する。このディスクが書込まれる前に、ＣＰＵＡて処理されだすへてのメツセージは、そのそれぞれのバックアップタスクに伝送されなくてはならない。したがって、メツセージＭ１およびＭ２（処理されている）は、ディスクへの書込の前にバックアップタスク３２および４２を含むＣＰＵ　ＢおよびＣに伝送されなくてはならない、というのはＭｌおよびＭ２が（タスク４１によって）処理されているからである。メツセージＭ１およびＭ２がディスクへの書込か行なわれる前に送られることを保証するために、マーカＤがＣＰＵキュー内の少なくともＭｌおよびＭ２の後の位置に記憶されて、ＭｌおよびＭ２が送られるまては実行がＤに達しないようにする。ＣＰＵキュー内にＤを記憶した結果は、以下の表ＶＩに示される。

表Ｖｌ（例３、図６）：書込　読出　メツセージカウンタ　カウンタ　キュー３２／Ｂ　Ｏ未使用　空刺／Ａ　未使用　２　Ｍ３４２／ＣＯ未使用　突上の表Ｖｌに関して、ＭｌおよびＭ２とともにＭ３を送ることはリカバリを妨げないので、Ｄは、ＣＰＵキュー内のＭｌおよびＭ２の後のいかなる点（たとえばＭ３のｖｉ）に置かれてもよいことに注目されたい。

主タスク４１かディスクへの書込を行なうのを可能にするために、ここてＣＰＵ　ＡはそのＣＰＵキューからＭｌおよびＭ２をＣＰＵ　ＢおよびＣに伝送する。

メツセージＭｌおよびＭ２はこのように、ＣＰＵ　Ｃのバックアップタスク４２のメツセージキューＭＱに記憶され、ノ＜・ツクアップタスク３２の書込カウンタＷＣは２に進んで、２つのメツセージ（ＭｌおよびＭ２）がＣＰＵ　Δのそのそれぞれの主タスク３１によって送られたことを示す。その結果は以下の表Ｖｌｌに示される。

表Ｖｌｌ（例３、図６）：書込　読出　メブセージカウンタ　カウンタ　キ、− ３２／Ｂ　２　未使用　空４１／Ａ　未使用　２　Ｍ３４２／ＣＯ未使用　Ｍｌ、Ｍ２タスク４１はここて、ＣＰＵ　ＡのキューからＤエントリを削除し、ディスクへの書込を実行する。

ＣＰＵ　Ａが故障した場合に、ＣＰＵのタスク４１のバックアップタスク４２がディスクへの書込を繰返すのを防ぐために、主タスク４１によるディスクへの書込の実行はまた、ＣＰＵ　Ｃに送られるメツセージとなり、これによってバックアップタスク４２の書込カウンタＷＣはｌに進む。その結果は、以下の表Ｖｌｌｌに示される。

表ＶＴＩＩ（例３、図６および図７）：書込　読出　メツセージカウンタ　カウンタ　キュータスク／ＣＰＵ　ＷＣＲＣＭＱ　ＣＰＵ−キュー３１／Ａ　未使用　０　空　Ｍ３３２／Ｂ　２　未使用　空引／Ａ　未使用　２　Ｍ３４２／ＣＩ　未使用　Ｍｌ、Ｍ２タスク４１がそのメツセージキューＭＱから次にＭ３を続出し、Ｍ３を処理し、タスク３１にメツセージＭ４およびＭ５を送ることで応答し、Ｍ４およびＭ５はタスク３１のメツセージキューＭＱおよびＣＰＵキューに記憶されると仮定する。その結果は以下の表ＩＸに示される。

表ＩＸ（例３、図７）：書込　読出　メツセージカウンタ　カウンタ　キュータスク／ＣＰＵ　ＷＣＲＣＭＱ　ＣＰＵ−キコー３１／Ａ　未使用　ＯＭ４．Ｍ５　Ｍ３．Ｍ４．Ｍ５３２／Ｂ　２　未使用　空引／Ａ　未使用　３　空４２／ＣＩ　未使用　Ｍｌ、Ｍ２ＣＰＵ　△がこの時点（上の表ＴＸ）で故障すれば、ＣＰＵ　ＢおよびＣの双方は、ＣＰＵ　Ａに関して、メツセージＭ１およびＭ２が既に送られ、ディスクへの書込か終了していると一致する。故障の前にタスク４１がＭ３を処理し、Ｍ４およびＭ５をタスク３１に送ったということは、ＣＰＵの故障に先立ってさらなる永続的動作が起こっていないので、十分なリカバリとは関係がない。リカバリは上述した態様で通常どおり進行する。チェックポイント動作がまだ起こっていないので、リカバリは初期状態（表１）から始まる。より特定的には、バックアップタスク３２に関して、リカバリ中にタスク４１によって発生されたメツセージＭｌおよびＭ２は、より特定的には、バックアップタスク３２に関して、リカバリ中にタスク４１によって発生されたメツセージＭ１およびＭ２は送られずに捨てられる、というのはＭ２が再発生されるまで、書込カウンタＷＣが「０」に減分されないからである。バックアップタスク４２に関して、そのメツセージキューＭＱ内のメツセージＭｌおよびＭ２は、現在故障しているＣＰＵ　Ａ内の主タスク４１で起こったのと同しように処理される。リカバーしているバックアップタスク４１が、ディスクへの書込か行なわれるべき（これは主タスク４１によって行なわれたことに留意されたい）点に達すると、このディスクへの書込動作は、この時点でタスク４２の書込カウンタＷＣがｒＮである結果、再び行なわれないようにされる。メツセージかタスク４２によって送られるのは、タスク４２の書込カウンタが（このディスクへの書込防止の後）「０」に減分されてからである。したがって、メツセージＭ４およびＭ５かタスク４２によって発生されるときに書込カウンタＷＣがこのように［０」であるので、これらはタスク３２に送られ、それによってＣＰＵ　Ａの故障の前に達した点へのリカバリを達成する。外部通信網４５を介して通信するバックアップタスク３２および４２を用いて、処理はこのリカバリ点を越えて継続する。

例４（図８）この例４（および例５）の目的は、図３の実施例におけるチェックポイント動作を説明することであり、最初の状態は上の例１からの表ＩＶに対応すると仮定する。

上の表ＩＶに示される状態に達した後、タスク４１がチェックポイント動作を始めると仮定する。チェックポイント動作は、タスク４１の状態についての情報かＣＰＵ　Ａの外に伝送されることを必要とするので、これは永続的動作である。

したがって、タスク４１はチェックポイントデータ（または適切なチェックポイントマーカＣ１（）を、ＭｌおよびＭ２が処理されているので、ＣＰＵキュー内の少なくともＭｌおよびＭ２の後の位置に置く。この結果は以下の表Ｘに示される。

表Ｘ（例４、図８）書込　読出　ハセーノカウンタ　カウンタ　キュータスク／ＣＰＵ　ＷＣＲＣＭＱ　ＣＰＵ−キコー３１／Ａ　未使用　ＯＭ４．Ｍ５　Ｍｌ、Ｍ２．Ｍ３．Ｍ４．Ｍ５．ＣＫ３２／Ｂ　Ｏ未使用　空４１／Ａ　未使用　ＯＭ３４２／ＣＯ未使用　室上の表Ｘにおいて、タスク４１の読出カウンタは、タスク４１に関する限り必要なチェックポイント動作が既に起こっているので、ゼロにされていることに注目されたい。

さらに、タスク３１および４１の両方は、チェックポイントデータがそのそれぞれのバックアップに伝送されるまでいかなる後続の永続的動作も遅延される限り、チェックポイントデータがいつ実際にＣＰＵ　Ｃ内のバックアップタスク４２に送られるかとは関係なく、処理を進めることができることにも注目されたい。

表Ｘにおいて、ＣＫは、ＣＰＵキュー内のＭｌおよびＭ２の直後ではなく、Ｍ５の後に置かれており、ＭｌおよびＭ２と同様にＭ３、Ｍ４およびＭ５もチェックポイントデータＣＫの前に伝送されることを意味していることに注目されたい。

このことは、永続的動作に遭遇しなければ、ＣＰＵ　Ａは（上述のように）そのＣＰＵキューからメツセージを都合のよいときに伝送できるし、永続的動作に遭遇するような場合には、処理されたメツセージは永続的動作が実行できる前にそのそれぞれのバックアップに伝送されなくてはならないので、問題は生じない。

例４のために、ここてＣＰＵ　ＡかＣＰＵ　ＢおよびＣのバックアップタスクそれぞれ３２および４２にＭｌないしＭ５を伝送し始めるが、ＣＰＵ　ＡはＭｌ、Ｍ２、Ｍ３、Ｍ４を伝送し終わってから故障し、Ｍ５またはチェックポイントデータＣＫのいずれも伝送されないと仮定する。この結果として生じる、故障の直前の状態は以下の表ＸＩに示される。

表ＸＩ（例４、図８）：書込　読出　メツセージカウンタ　カウンタ　キュー３２／Ｂ　３　未使用　Ｍ４４１／Ａ　未使用　ＯＭ３４２／ＣＩ　未使用　Ｍｌ、Ｍ２．Ｍ３ＣＰＵ　ＢおよびＣのそれぞれバックアップタスク３２および４２は、メツセージＭ１、Ｍ２、Ｍ３、Ｍ４のみが伝送され、チェックポイントはまだ起こっていないという一致した認識に基づいて、初期状態（表■）からリカバリを始める。

例５（図９）：この例は上記の例４の表Ｘに対応する最初の状態をとる。

しかしながら、例４て説明したようにＭｌ−Ｍ４の伝送の後にフェールする代わりに、この例５はＣＰＵ　ＡのＭｌ−Ｍ５およびＣＫの伝送が成功すると仮定し、下記の表ＸＩｆに示すような結果となる：表ＸＩＩ（例５、図８）。

書込　読出　メッセーノカウンタ　カウンタ　キ】− ３２／Ｂ　３　未使用　Ｍ４．　Ｍ５４１／Ａ　未使用　ＯＭ３４２／ＣＯ未使用　Ｍ３上に議論したように、チェックポイント動作によりバックアップタスク４２はその主タスク４１と同じ状態になりかつ主タスク４１とバックアップタスク４２とのそれぞれのメモリＭ中のデータ空間は同一になる。

チェックポイントデータがうまく伝送されるまでさらなる永続的動作か遅延されると仮定すれば、メツセージＭｌないしＭ５およびＣＫが伝送されている間、ＣＰＵ　Ａは主タスク３１および４１のためのさらなる作業の処理を自由に継続できるということが理解される。

もし引続いてＣＰＵ　Ａの故障が発生するとすれば、バックアップタスク３２は５ＴＡＲＴからりカバーし、かつバックアップタスク４２は上記のチェックポイントからり上述のシステムでは、タスクへの入力はメツセージによってなされる。オペレーティングシステムの呼出はメツセージとして取扱われ得るため、これらのシステムによって容易に処理される。しかしながら、タスクの振舞いはこれらのシステムによって容易に処理されない他のやり方で影響を受けるかもしれない。たとえば、タスクの状態は、外部事象がいつ発生するかをタスクがほとんどまたは全く制御できない、かつこの外部事象の発生時期によってタスクの振舞いが変化し得るような、制御されない外部事象によって変えられるかもしれない。

たとえば、係る外部事象は、割込みハンドラの動作のために、または共通メモリへの別のプロセスの書込の結果として発生し得る。以下の例は簡単ではあるが係る制御されない外部事象かどのようにタスクの振舞いに影響を及ぼすかを示すものである。

このために、タスクは表Ａに示されるプログラムを実行すると仮定する。もし制御されない外部事象かこのプログラムの実行の間に発生しなければ、プログラム出力（表Ａ中ではプログラムステップＰＣ＝２で発生）は表Ｂに示されるようになる。

前述の特許第４．５９０．５５４号およびフレキシブル・フォールト・トレラント・システムから理解されることだが、もしタスクかフェールするとすれば、表Ｂのプログラム出力は同しプログラムを実行し、かつ同じ態様で初期化されるバックアップタスクを用いて正確に再現される。

ここて上記のプログラムが次の相違点を有して再び実行されると仮定する。つまり、制御されない外部事象（共通メモリへの別のプロセスの書込によって作られるような事象）か、上記のタスクプログラムが実行されている間にＭＥＭ　（ＳＴＡＴＥ　４−ＧＲＥＥＮ）のメモリ動作を発生させると仮定する。もしこの外部から引起こされたメモリ動作が表Ｂ中の第２のＲＥＤの後（つまり表Ｂ中のプログラム出力ライン３と４との間）、かつ表Ａ中のプログラムステップＰＣ＝２とＰＣ＝３との間で発生するとすれば、プログラムはＰＣ＝５へ進み、これはメモリ状態をＭＥＭ　（ＳＴＡＴＥ＝ＲＥＤ）へと戻す。結果として生じるプログラム出力は、表Ｃに示されるようになる。

一方、もし外部事象ＭＥＭ　（ＳＴＡＴＥ−ＧＲＥＥＮ）が、第１のＧＲＥＥＮプログラム出力の後（つまり表Ｂ中のプログラム出力ライン２と３との間）で発生したとすれば、表Ｂに示される元のプログラム出力は変化しない。なぜなら外部事象は表ＡのＰＣ＝２におけるメモリの状態に影響しないからである。同様に、もし外部事象が表ＡのプログラムステップＰＣ＝３とＰＣ＝４との間に発生するとしても表Ｂの元のプログラム出力は変化しないであろう。

なぜならこれもまた表ＡのＰＣ＝２におけるメモリの状態に影響しないからである。

したがって明らかに、制御されない外部事象の発生時期はタスクがとのように働くかということに影響を及ぼし得る。したがって、もしバックアップタスクが係る制御されない外部事象によって影響されるフェールした主タスクを正しく再現するのであれば、タスクの実行の間にこれらの外部事象を適切に生じさせるための準備がなされなくてはならない。本発明はこの問題を特に有利に解決する方法を提供する。

先に開示したようなフォールト・トレラント・システム中で制御されない外部事象を処理するための本発明の好ましい実施例によって用いられるアプローチを次に説明する。

基本的なアプローチは、これらの外部事象の発生を主タスクで発生する特定の事象に関連づけることである。これらの特定の事象はタスクコンテキストの一部として取扱われるため、フェールしたタスクのリカバリの間、各外部事象は主タスクの実行の間に発生したのと同じ論理的ポイントにおいてバックアップタスクの再現の間に再び渡され、これによりバックアップが適切にリカバーすることを保証する。ここに説明する好ましい実施例においては、これはメモリへの「書込」データ参照をカウントすることによって達成され、その結果生じる「書込」カウントはタスクコンテキストの一部である。係るメモリ「書込」カウンティングは当業者によって容易に行なわれる。たとえば、もしＣＰＵかモトローラ（Ｍｏｔｏｒｏｌａ）　８８．０００チツプを用いるとすれば、このカウンティングは完了したメモリ記憶（書込）指令をカウントすることによって行なわれる。

次に図１０に示す本発明の好ましい実施例を参照して、この図は基本的には図３と同じであるが、表ＢのＣＰＵＡ、ＣＰＵＢおよびＣＰＵ　Ｃの各々に、メモリ「書込」カウント機能を行ない、かつリカバリを行なうのに使用されるメモリ参照カウンタＭＲＣおよびメモリ参照カウンタ比較レジスタＭＲＣＣＲが追加されている。各ＣＰＵにおいて、ＭＲＣおよびＭＲＣＣＲは内部通信網３５を介してタスク３１．４１．５１およびメモリＭと通信し得る。

主タスクの動作の間、メモリＭへの各「書込」データ参照は、タスクがオペレーティングシステムの呼出を行ない、オペレーティングシステムコードの実行を開始し、オペレーティングシステムの呼出が完了するまでタスクが休止したままでいる場合以外は、ＭＲＣを１だけ増分させる。各チェックポイントの後だけでなく各オペレーティングシステムの呼出の後にもＭＲＣをゼロにすることが有利であり、これはなぜならカウントを小さくし、カウンタオーバーフローの可能性を低減するからである。システムの呼出はメツセージとして取扱われるため、各オペレーティングシステム呼出の後にＭＲＣをゼロにすることはメモリ「書込」カウンティングに関しては何の支障もない。

タスクのメモリを変える外部信号（先に例示したような）などの制御されない外部事象が主タスクの実行の間に発生する場合は、ＭＲＣ中の既存のメモリ参照カウントは外部信号のタイプの表示およびタスクのレジスタコンテキストとともに各バックアップタスクに送られて、その各ＣＰＵのメモリＭに記憶されなければならない。特許第４．５９０、５５４号のフォールトトレラントシステム２）を用いれば、このデータは、この特許の概要で説明されるように即座にバックアップへ送られなければならない。

しかしながら、フレキシブル・フォールト・トレラント・システム（図３−９）においては、このデータは他のメツセージと同様に取扱われ、ＣＰＵ　ＡのＣＰＵキューに置かれる。たとえば、もしフォールト］・レラントシステムの状態か表ＩＩに示されるようなものであると仮定すれば、タスク３１に関して制御されない外部信号か発生すれば、タスクおよび信号のタイプを示すマーカーＳをＭＲＣの現在のカウントを含むタスク３ＩレジスタコンテキストＲとともにＣＰＵキューに位置させる。これは下記の表ＸＩＩ■に示される表ＸＩ１１（例５、図８）・書込　読出　メツセージカウンタ　カウンタ　キュータスク／ＣＰＬＩ　ＷＣ　凡Ｃ　ＭＱ　ＣＰｔｌ−キュー３１／Ａ　未使用　０　空　Ｍｌ　、　Ｍ２．　！１＋３，　Ｓ，　Ｒ３２／Ｂ　Ｏ　未使用　空刺／Ａ　未使用　Ｏ　Ｍｌ．Ｍ２．Ｍ３４２／Ｃ　Ｏ　未使用　空代替的に、ＣＰＵキューに記憶されるレジスタコンテキストＲは単なるマーカーであり、完全なレジスタコンテキストはメモリ〜１中のタスク３Ｉのメモリ空間に記憶されているようにもてきる。その場合、ＣＰＵキュー内においてマーカーＳに到達すると、記憶されたレジスタコンテキストＲがメモリＭから呼出され、バックアップへ伝送されてバックアップメモリＭに記憶される。

次に、主タスクの故障の前の主タスクの実行の間に制御されない外部事象が発生する場合に、フェールしたタスクがバックアップによってリカバーされる様子を示す例を挙げる。このために、主タスクは表Ａに示したものと同じ表りに示されるプログラムを実行すると仮定する。この例は、その上で主タスクが実行されるべきＣＰＵが少なくともメモリ参照カウンタＭＲＣを含み（図１０）、かつその各々のバックアップＣＰＵが少なくともメモリ参照カウンタＭＲＣおよびメモリ参照比較カウンタレジスタＭＲＣＣＲを含むと仮定する。

表Ｅは図１０のＣＰＵ　Ａ上で主タスクによって表りのプログラムが実行される様子を示す。表Ｅはプログラムの実行の間に［事象」、「ハードウェアコンテキストｊおよび「プログラム出力」が発生することを示すと理解されたい。最初の「事象」はチェックポイント動作であり、ＭＲＣ＝Ｏに設定する。このときＰＣ＝３かつＣＦ＝ＦＡＬＳＥてあり、かつメモリの状態はＭＥＭ　（ＳＴＡＴＥ＝ＲＥＤ）である。表Ｅに示されるように、プログラムの実行はこのチェックポイント動作で始まり、その後、「プログラム出力ｊがＧＲＥＥＮ，ＲＥＤ，ＧＲＥＥＮ，ＲＥＤ，ＧＲＥＥＮと交互に代わり、かつＭＲＣＯ値か各メモリの変化（書込）に応じて１だけ増分されるという予定の態様で進む。

表Ｅに示されるように、外部信号（ＳＴＡＴＥ　４−ＧＲＥＥＮ）ｌｔＭＲｃ＝５の後１：発’ｌｌＬ、こ（７）ときＭＥＭ　（ＳＴＡＴＥ＝ＲＥＤ）である。

このとき、「ハードウェアコンテキスト」レジスタの値はＰｃ＝８、ＣＦ＝ＦＡＬＳＥ。

およびＭＲＣ＝５である。４．５９０．５５４のシステムにおいては、このレジスタコンテキストは信号のタイプの表示とともに各タスクバックアップへ送られる。フレキシブル・フォールト・トレラント・システムにおいては、このデータのバックアップへの送信は、表Ｘ１ｌｌに示されるように、ＣＰＵキューにこのデータを記憶することによって遅延され得る。

表Ｅの例の説明を続けると、外部信号（ＳＴＡＴＥ＋−ＧＲＥＥＮ）（７）発生ハメモリの状態をＭＥＭ　（ＳＴＡＴＥ＝ＲＥＤ）からＭＥＭ　（ＳＴＡＴＥ＝Ｃ；ＲＥＥＮ）　へと変える。したがって、次のプログラム出力はＲＥＤではなくてＧＲＥＥＮ　（先の出力と同じく）であり、これは外部信号（ＳＴＡＴＥ　４−ＧＲＥＥＮ）が発生しなかった場合と同じである。

その後、プログラムは継続する。フェールは示されるようにＭＲＣ＝８で発生する。

次に表Ｆに注目して、これはバックアップがどのように表Ｅのフェールしたタスクを再現するかを示す例である。

この例は、レジスタコンテキストおよび信号のタイプが故障の前にバックアップに送られていると仮定する。表Ｅのチェックポイントの後にはシステム呼出はなかったため、バックアップはこのチェックポイントで始まり、これは表Ｅのチェックポイントでもっていた値にそれぞれ対応するよう１．：　Ｐ　Ｃ＝　３、ＣＦ＝ＦＡＬＳＥおよびＭＲＣ＝Ｏｉ、：設定する。さらに、ＭＲＣＣＲはＭＲＣＣＲ＝５に設定され、これは外部信号が発生した場合の主タスクのＭＲＣの値であり、この値は表Ｅに関連して説明したようにレジスタコンテキストの一部としてバックアップに送られた。ＭＲＣＣＲ＝５により、外部信号（この信号のタイプもまたバックアップに送られる）が５つのメモリへの「書込」参照の後に渡されるべきであるとバックアップに指令するということが理解される。

したがって表Ｆに示すように、バックアップは、ＭＲＣが各メモリ［書込Ｊごとに１だけ増分される状態で通常通り進行する。ＭＲＣの各増分ごとにＭＲＣＣＲ＝５との比較が行なわれる。ＭＲＣ＝５の場合レジスタは、外部信号が主タスクの実行の間に渡される直前のレジスタコンテキストに従って設定され、このレジスタコンテキストは上述のようにバックアップに送られてそこに記憶されている。

したがって、ＰＣおよびＣＦはそれぞれＰＣ＝８およびＣＦ＝ＦＡＬＳＥに設定され、さらに、ＭＲＣＣＲはＭＲＣＣＲ＝Ｏとなるようにゼロにされる。その後、外部信号（ＳＴＡＴＥ←ＧＲＥＥＮ）がバックアップ記憶装置から取出されて渡され、それに続いて、表ＥおよびＦのプログラム出力の比較から明らかなように、再実行が主タスクを正確に再現し続ける。

もし主タスクがフェールする前に第２の外部信号がバックアップに送られていたとすれば、ＭＲＣＣＲは表ＦのＭＣＲ＝ＭＲＣＣＲの場合にゼロにされず、この第２の信号が発生したときにＭＣＲが主タスクに持っていた値に設定されていたであろうということが理解される。したがって、この第２の外部信号を用いる動作は第１の外部信号について説明したものと同じであったであろう。この意味で、表ＦにおいてＭＲＣは、上述のように主タスクの実行の間に発生しかつバックアップに送られたかもしれない他の外部信号の分配時期を制御するためのカウントを与えるように、ＭＲＣ＝５を超えて増分を続ける。さらに、ＭＲＣのカウントはタスクコンテキストの一部であるため、表Ｆに示される再現は継続的である必要はないということにも留意されたい。再現はいつでも差替可能であり、他のタスクが外部信号を正確に再び送ることに影響を及ぼさずに実行され得る。

特定の好ましい実施例および動作例に関して本発明をここに説明してきたが、その構成、配列、使用法および動作において幅広い修正、追加および拡張が本発明の範囲を逸脱することなくなされ得るということが理解されるべきである。たとえば、本発明は、制御されない外部事象が正確な再現のために関連付けられるカウントを与えるためにメモリ「書込」参照を用いることに限定されるものではない。

たとえばもし都合がよければメモリ「読出」および「書込」の両方がカウントされてもよい。また、プログラムステップもカウント可能であるが、これは大抵の場合非常に面倒である。

さらに、表Ｆの再現の開始時にＭＲＣＣＲに設定される参照カウントは、外部信号をいつ送るかを決定するために様々な他のやり方で用いられてもよいということが理解される。たとえば、表ＦのようにＭＲＣＣＲをＭＣＲと比較する代わりに、ＭＲＣＣＲは外部信号がいつ送られるべきかを示すためにゼロまでカウントダウンされることもできる。

さらに、外部信号をバックアップ中に送るためにＣＰＵのオペレーティングシステムのページフォールト能力を用いることもできるということが理解される。たとえば、表ＦのＭＲＣ＝ＭＲＣＣＲの後、外部信号の分配を開始するためにバックアップのオペレーティングシステムが用いられて次のメモリ参照上にページフォールトを作出すことができる。

さらに、表ＥおよびＦの例はオペレーティングシステムへの吐出を含まないが、係る呼出は正しい再現には干渉はしないということか理解されるべきである。上述のように、オペレーティングシステム呼出は主タスクの実行の間にＭＲＣをゼロにするために用いられることができ、これはなぜなら係るゼロ化は再現の間に正確に実行されるからである。これはＭＲＣのオーバーフローを防止するという利点を有する。

上述の可能な修正および拡張の例は単に代表的なものであり、これに尽きるものではない。したがって本発明は、後述の請求の範囲によって包括されるあらゆる修正、変形および拡張を含むと考えられるべきである。

ＦＩＧ、１　（ＰＲＩ口ＲＡＲＴ）ＦＩＧ、２　（ＰＲＩ口ＲＡＲＴＩり幻プｏｔ、γη懺（η Ｚフート　ＦＩＧ、４ＦＩＧ　５ＦＩＧ、６ＦＩＧ　、　７ＦＩＧ、８ＦＨ３，９補正書の写しく翻Ｕｍ提出書（特許法第１８４条の８）平成　６年　７月２２日１、国際出願番号ＰＣＴ／ＵＳ９３１００６１８２、発明の名称外部事象を処理できるフォールトトレラントコンピュータシステム３、特許出願人住　所　アメリカ合衆国、１９４２４　ペンシルバニア州、ブルー・ベル、ビイ・オウ・ボックス・５００、タウンシップ・ライン・アンド・ユニオン・ミーティング・ローズ　（番地なし）名　称　ユニシス・コーポレイション代表者　アンダーソン、ロナルド・シイ国　籍　アメリカ合衆国４、代理人住　所　大阪市北区南森町２丁目１番２９号　住友銀行南森町ビル１９９４年　１月２５日６、添付書類の目録補正書の写しく翻沢り　１通請求の範囲：１．複数の主タスクを提供するデータプロセッサを含み、前記主タスクの少なくとも１つは永続的動作を実行し、主タスクは、その発生時間がその実行に影響を及ぼし得る外部事象を受け、前記複数の主タスクをバックアップするために前記データプロセッサの外部に、対応する複数の相互接続されるバックアップタスクを提供するフォールトトレラントコンピュータシステムにおいて、前記主タスク間でそれによって処理するためにメツセージを伝送するステップと、伝送されたメツセージを記憶するステップと、各外部事象のタイプおよび予め定められた主タスク事象に対するその発生関係を示す外部事象データをまた記憶するステップと、各主タスクがそれに伝送されたメツセージを処理するステップと、前記記憶に続いて、記憶されたメツセージの少なくとも特定のものを前記バックアップタスクに、永続的動作の実行に先立って、前記データプロセッサの故障がらりカバーするために前記バックアップタスクに要求される少なくともこれらの特定のメツセージを前記バックアップタスクに伝送するような態様で、伝送するステップと、前記永続的動作の実行の前に外部事象データもまたそれぞれのバックアップタスクへ伝送するステップとを含み、前記主タスクは前述のメツセージおよび外部事象データの前記バックアップタスクへの伝送が合致する限り、前記主タスクへ伝送されたメツセージを処理し続け、さらに前記バックアップタスクに、それに伝送された外部事象データおよびメツセージを処理させることによって故障からリカバーするステップを含み、各発生関係は、前記リカバリ中に、そのそれぞれの外部事象がいつ起こるかを定めるために用いられ、それによって適切なリカバリが達成される、方法。

２、前記特定のメツセージは、前記システムの前記バックアップタスクおよび他の部分が、前記フェールの前にフェール時のその実際の状態でなくてもよい各主タスクの特定の状態で一致するように選択される、請求項１に記載の方法。

３、前記主タスクはそこに伝送されたメツセージを連続して処理し、かつ前記特定のメツセージは少なくとも最も最近処理されたメツセージおよび前記主タスクによって伝送されたすべてのそれ以前のメツセージを含む、請求項２に記載の方法。

４、前記主タスクはそこに伝送されたメツセージを連続して処理し、前記伝送されたメツセージの記憶は伝送されたメツセージを伝送の順に記憶するキューの中で行われ、外部事象データは発生順に前記キューに記憶され、永続的動作の実行は、永続的動作の表示を最も最近処理されたメツセージの位置より前ではない位置に記憶することによって前記キュー中に示され、かつ前記特定のメツセージおよび外部事象データは、前記キュー中の前記永続的動作表示の位置に基づく前記永続的動作の実行の前に前記バックアップタスクへ伝送される、請求項３に記載の方法。

５、前記リカバリステップは、各バックアップタスクがその各特定の状態に達するようになる態様で、前記バックアップタスクにそこに伝送されたメツセージおよび外部事象データを処理させるステップを含む、請求項１に記載の方法。

６　前記特定のメツセージおよび前記外部事象データは、各バックアップタスクが前記特定のメツセージのうちのその各主タスクへ伝送された各メツセージを受信し、かつその各主タスクごとに発生する各外部事象に対応する外部事象データを受信するように、前記バックアップタスクへ伝送される、請求項Ｉに記載の方法。

７、前記特定のメツセージは、各バックアップタスクが前記特定のメツセージのうちのその各主タスクによって伝送された各メツセージをまた受信するように、前記バックアップタスクへ伝送される、請求項６に記載の方法。

８、各バックアップタスクが、その各主タスクによって伝送された受信したメツセージの数のカウントを与えることを含み、前記カウントは前記発生関係を決定するために用いられる、請求項７に記載の方法。

９、各バックアッププロセッサは前記リカバリの間に外部事象がいつ起こるかを決定するために前記カウントを用いる、請求項８に記載の方法。

１０、少なくとも複数個のメツセージが前記主タスクへ伝送された後に、主タスクとその各バックアップタスクとの間でチェックポイント動作を実行するステップを含み、前記チェックポイント動作は、主タスクの状態に対応するチェックポイントデータを記憶し、かつ前記記憶に続いて、かつ前記バックアップタスクが各主タスクからそこに伝送されたメツセージを用いて前記データプロセッサのフェールからリカバするのに必要な時間より遅くない時間に、前記チェックポイントデータを各バックアップタスクへ伝送するステップを含み、前記チェックポイントデータは、前記チェックポイントデータが伝送されたバックアップタスクをチェックポイント動作時に各主タスクと同じ状態にさせる、請求項１に記載の方法。

１１、前記チェックポイントデータは、その開始時または最新のチェックポイント設定から主タスクによって処理されたメツセージの数のカウントを含み、かつ各バックアップタスクは前記カウントを用いて、対応するメツセージの数を特徴する請求項１０に記載の方法。

１２、前記主タスクはそこに伝送されたメツセージを連続して処理し、前記伝送されたデータの記憶はその伝送順に伝送されたメツセージを記憶するキュー中で行なわれ、外部事象データは発生順に前記キューに記憶され、前記キューはまた前記チェックポイント動作の実行時間を示す位置にチェックポイント表示を記憶し、永続的動作の実行は最も最近処理されたメツセージの位置に基づいて前記キュー中に位置決めされた永続的動作の表示を記憶することによって前記キューに示され、前記特定のメツセージおよび外部事象データは、前記キュー中で前記永続的動作の表示よりも前に位置決めされれば前記永続的動作の実行の前に前記バックアップタスクへ伝送され、かつ前記チェックポイントデータもまた、前記永続的動作表示の位置よりも前に位置決めされれば各バックアップへ伝送される、請求項１Ｏに記載の方法。

１３、前記予め定められた主タスク事象はメモリアクセス動作である、請求項１または２に記載の方法。

１４、前記予め定められた主タスク事象は、前記主タスクの実行の間に複数回発生し、かつ前記外部事象データは、各外部事象ごとに、前記予め定められた主事象が外部事象の発生前の基準点以後発生した回数に関係したカウントを含む、請求項１または２に記載の方法。

１５、前記カウントは再現の間に前記バックアップタスクによって用いられて、対応する外部事象がいつ送られるかを特徴する請求項１４に記載の方法。

ＰＣＴ／ＵＳ　９３１００６１Ｂ

Claims

【特許請求の範囲】

１．フォールトトレラントコンピュータシステムにおいて、データ処理作業を実行するための主タスクを提供するステップを含み、前記主タスクはその発生時間が前記主タスクの実行に影響を及ぼす１つ以上の外部事象を受信することがあり、さらに各外部信号ごとに、外部事象のタイプおよび前記外部事象の発生と予め定められた主タスク事象の発生との間の関係を示す外部事象データを記憶するステップと、前記主タスクがフェールした場合に前記主タスクを再現するためのバックアップタスクを提供するステップと、前記主タスクへメッセージを伝送するステップと、前記バックアップタスクへも前記メッセージを伝送するステップと、前記バックアップタスクへも前記外部事象データを伝送するステップと、前記主タスクがフェールした場合に、前記バックアップタスクが適切にリカバーするように前記バックアップタスクに各外部信号を再び与えるように前記バックアップタスクに伝送された前記外部事象データを用いながら、前記バックアップタスクに伝送されたメッセージを処理することにより前記バックアップタスクが前記主タスクを再現するようにさせるステップとを含む、方法。
２．永続的動作を実行する少なくとも１つのタスクを提供するデータプロセッサを含み、前記タスクは、その発生時間が前記タスクの実行に影響を及ぼし得る１つ以上の外部信号を受信する、フォールトトレラントコンピュータシステムにおいて、前記１つのタスクをバックアップするために前記データプロセッサの外部にバックアップタスクを提供するステップと、前記１つのタスクへメッセージを伝送するステップと、前記１つのタスクへ伝送されたメッセージを記憶するステップと、各外部事象のタイプおよび予め定められた主タスク事象に対するその発生関係を示す外部事象データをまた記憶するステップと、前記記憶に続いて、少なくとも前記１つのタスクによって処理された特定のメッセージが前記永続的動作の実行の前に前記バックアップタスクへ伝送されるような態様で、記憶されたメッセージの少なくともいくつかのものを前記バックアップタスクへ伝送するステップと、前記永続的動作の実行の前に外部事象データもまた前記バックアップタスクへ伝送するステップとを含み、前記１つのタスクは前述のメッセージおよび外部事象データの前記バックアップタスクヘの伝送が合致する限り、前記１つのタスクへ伝送されたメッセージを処理し続け、さらに前記１つのタスクがフェールした場合に、前記バックアップタスクが適切にリカバーするように前記バッタップタスクに各外部信号を再び与えるように前記バックアップタスクに伝送された前記外部事象データを用いながら、前記バックアップタスクが前記バックアップタスクに伝送されたメッセージを処理するようにさせるステップとを含む、方法。
３．前記記憶ステップは、外部事象データおよびメッセージを前記データプロセッサのキューに記憶するステップを含み、かつ前記伝送ステップは、前記永続的動作の実行の前に前記キュー中の外部データおよび処理されたメッセージを前記バックアップタスクへ伝送するステップを含む、請求項２に記載の方法。
４．前記１つのタスクによって処理されたメッセージの数をカウントするステップを含む、請求項３に記載の方法。
５．第２のタスクを実行し、かつ前記１つのタスクからメッセージを前記第２のタスクへ伝送して記憶するステップを含む、請求項４に記載の方法。
６．もし前記第２のタスクによって処理されているとすれば、前記永続的動作の実行の前に前記１つのタスクから前記第２のタスクへ伝送された記憶されたメッセージを前記バックアップタスクへ伝送するステップを含む、請求項５に記載の方法。
７．前記バックアップタスクが前記１つのタスクによって伝送されたメッセージの数のカウントを与えることを含む、請求項６に記載の方法。
８．前記バックアップタスクによる処理の間、メッセージが前記バックアップタスクによっていつ伝送されるかを決定するために前記カウントが用いられる、請求項７に記載の方法。
９．少なくとも複数個のメッセージが前記１つのタスクへ伝送された後で前記１つのタスクと前記バックアップタスクとの間でチェックポイント動作を実行するステップを含み、前記チェックポイント動作は前記１つのタスクの状態に対応するチェックポイントデータを記憶し、かつ処理したメッセージを前記バックアップタスクへ伝送するのに必要な時間より遅くない時間に前記チェックポイントデータを前記バックアップタスクへ伝送するステップを含み、前記チェックポイントデータはチェックポイント時に前記バックアップタスクを前記１つのタスクと同じ状態にさせる、請求項２に記載の方法。
１０．前記チェックポイントデータは、その開始または最後のチェックポイント動作からの前記１つのタスクによって処理されたメッセージの数のカウントを含み、かつ前記バックアップタスクは前記カウントを用いて、そこに送られた前記メッセージの対応する数を廃棄する、請求項９に記載の方法。
１１．複数個の主タスクを与えるデータプロセッサを含み、前記主タスクの少なくとも１つは永続的動作を実行し、かつ各主タスクはその発生時間が各タスクの実行に影響を及ぼし得る１つ以上の外部信号を受信し得る、フォールトトレラントコンピュータシステムにおいて、前記複数個の主タスクをバックアップするために、前記データプロセッサの外部に対応する複数個の相互接続されたバックアップタスクを提供するステップと、前記主タスクによりメッセージを処理するために前記主タスクの間でメッセージを伝送するステップと、伝送されたメッセージを記憶するステップと、各外部事象のタイプおよび予め定められた主タスク事象に対するその発生関係を示す外部事象データをまた記憶するステップとを含み、各主タスクはそこに伝送されたメッセージを処理し、さらに前記記憶に続いて、記憶されたメッセージのうちの少なくとも特定のものを、前記バックアップタスクが前記データプロセッサのフェールからリカバするのに必要な少なくとも特定のメッセージが永続的動作の実行の前に前記バックアップタスクへ伝送される態様で、前記バックアップタスクへ伝送するステップと、前記永続的動作の実行の前に外部事象データをまた各バックアップタスクへ伝送するステップとを含み、前記主タスクは上述のメッセージおよび外部事象データの前記バックアップタスクヘの伝送が合致する限り、前記主タスクへ伝送されたメッセージの処理をし続け、さらに前記バックアップタスクにそこに伝送されたメッセージおよび外部事象データを処理させることによって前記フェールからリカバするステップとを含む、方法。
１２．前記特定のメッセージは、前記システムの前記バックアップタスクおよび他の部分が、前記フェールの前にフェール時のその実際の状態でなくてもよい各主タスクの特定の状態で一致するように選択される、請求項１１に記載の方法。
１３．前記主タスクはそこに伝送されたメッセージを連続して処理し、かつ前記特定のメッセージは少なくとも最も最近処理されたメッセージおよび前記主タスクによって伝送されたすべてのそれ以前のメッセージを含む、請求項１２に記載の方法。
１４．前記主タスクはそこに伝送されたメッセージを連続して処理し、前記伝送されたメッセージの記憶は伝送されたメッセージを伝送の順に記憶するキューの中で行われ、外部事象データは発生順に前記キューに記憶され、永続的動作の実行は、永続的動作の表示を最も最近処理されたメッセージの位置より前ではない位置に記憶することによって前記キュー中に示され、かつ前記特定のメッセージおよび外部事象データは、前記キュー中の前記永続的動作表示の位置に基づく前記永続的動作の実行の前に前記バックアップタスクへ伝送される、請求項１３に記載の方法。
１５．前記リカバリステップは、各バックアップタスクがその各特定の状態に達するようになる態様で、前記バックアップタスクにそこに伝送されたメッセージおよび外部事象データを処理させるステップを含む、請求項１２に記載の方法。
１６．前記特定のメッセージおよび前記外部事象データは、各バックアップタスクが前記特定のメッセージのうちのその各主タスクへ伝送された各メッセージを受信し、かつその各主タスクごとに発生する各外部事象に対応する外部事象データを受信するように、前記バックアップタスクへ伝送される、請求項１１に記載の方法。
１７．前記特定のメッセージは、各バックアップタスクが前記特定のメッセージのうちのその各主タスクによって伝送された各メッセージをまた受信するように、前記バックアップタスクへ伝送される、請求項１６に記載の方法。
１８．各バックアップタスクが、その各主タスクによって伝送された受信したメッセージの数のカウントを与えることを含む、請求項１７に記載の方法。
１９．各バックアッププロセッサは前記リカバリの間にメッセージがいつ伝送されるべきかを決定するために前記カウントを用いる、請求項１８に記載の方法。
２０．少なくとも複数個のメッセージが前記主タスクへ伝送された後に、主タスクとその各バックアップタスクとの間でチェックポイント動作を実行するステップを含み、前記チェックポイント動作は、主タスクの状態に対応するチェックポイントデータを記憶し、かつ前記記憶に続いて、かつ前記バックアップタスクが各主タスクからそこに伝送されたメッセージを用いて前記データプロセッサのフェールからリカバするのに必要な時間より遅くない時間に、前記チェックポイントデータを各バックアップタスクへ伝送するステップを含み、前記チェックポイントデータは、前記チェックポイントデータが伝送されたバックアップタスクをチェックポイント動作時に各主タスクと同じ状態にさせる、請求項１２に記載の方法。
２１．前記チェックポイントデータは、その開始時または最新のチェックポイント設定から主タスクによって処理されたメッセージの数のカウントを含み、かつ各バックアップタスクは前記カウントを用いて、対応するメッセージの数を廃棄する、請求項２０に記載の方法。
２２．前記主タスクはそこに伝送されたメッセージを連続して処理し、前記伝送されたデータの記憶はその伝送順に伝送されたメッセージを記憶するキュー中で行なわれ、外部事象データは発生順に前記キューに記憶され、前記キューはまた前記チェックポイント動作の実行時間を示す位置にチェックポイント表示を記憶し、永続的動作の実行は最も最近処理されたメッセージの位置に基づいて前記キュー中に位置決めされた永続的動作の表示を記憶することによって前記キューに示され、前記特定のメッセージおよび外部事象データは、前記キュー中で前記永続的動作の表示よりも前に位置決めされれば前記永続的動作の実行の前に前記バックアップタスクへ伝送され、かつ前記チェックポイントデータもまた、前記永続的動作表示の位置よりも前に位置決めされれば各バックアップへ伝送される、請求項２０に記載の方法。
２３．前記予め定められた主タスク事象はメモリアクセス動作である、請求項２、２、３、１１または１２に記載の方法。
２４．前記予め定められた主タスク事象は、前記主タスクの実行の間に複数回発生し、かつ前記外部事象データは、各外部事象ごとに、前記予め定められた主事象が外部事象の発生前の基準点以後発生した回数に関係したカウントを含む、請求項１、２、３、１１または１２に記載の方法。
２５．前記カウントは再現の間に前記バックアップタスクによって用いられて、対応する外部事象がいつ送られるかを決定する、請求項６に記載の方法。