JP3774826B2 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP3774826B2 JP3774826B2 JP2002202558A JP2002202558A JP3774826B2 JP 3774826 B2 JP3774826 B2 JP 3774826B2 JP 2002202558 A JP2002202558 A JP 2002202558A JP 2002202558 A JP2002202558 A JP 2002202558A JP 3774826 B2 JP3774826 B2 JP 3774826B2
- Authority
- JP
- Japan
- Prior art keywords
- module
- storage means
- processor
- memory
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1666—Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
Description
【０００１】
【発明の属する技術分野】
本発明は、クロック同期させた複数のコンピューティングモジュールで同じ命令列を同時に処理するロックステップフォルトトレラントコンピュータのようなフォルトトレラントコンピュータに関し、特に、他のコンピューティングモジュールとの動作の同一性が崩れて運用から切り離されたコンピューティングモジュールを他のコンピューティングモジュールに同期させる処理の高速化に関する。
【０００２】
【従来の技術】
従来のロックステップフォルトトレラントコンピュータは、複数のコンピューティングモジュールを有し、これら複数のコンピューティングモジュールで同じ命令を同時に実行している。そして、故障あるいはその他の何らかの要因でいずれかのコンピューティングモジュールが他のコンピューティングモジュールと異なる動作をすることがある。
【０００３】
ロックステップフォルトトレラントコンピュータは、他のコンピューティングモジュールと異なる動作をした（すなわちロックステップが外れた）コンピューティングモジュールを検出すると、そのコンピューティングモジュールを一旦運用状態から切り離す。
【０００４】
コンピューティングモジュールのロックステップが外れる要因には様々なものがある。そして、ロックステップの外れに対する対処方法は要因により異なる。
【０００５】
ロックステップが外れる１つの要因として、コンピューティングモジュール内で起こる固定的な故障がある。固定的な故障とは、一時的な擾乱や、自然に復旧するような故障でなく、何らかの修理を必要とするようなものである。
【０００６】
いずれかのコンピューティングモジュールに固定的な故障が起きると、通常、故障したコンピューティングモジュールをロックステップフォルトトレラントコンピュータから取り出し、その代わりに他の正常なコンピューティングモジュールを取り付ける。
【０００７】
ロックステップが外れる他の要因として、コンピューティングモジュールの製造上の差違により、一時的に動作タイミングが他のコンピューティングモジュールとずれることが考えられる。また、さらに他の要因として、α線などの影響によりメモリが一時的に誤動作することが考えられる。これらの場合、コンピューティングモジュールに固定的な故障が生じていないので、コンピューティングモジュールを交換する必要がない。
【０００８】
固定的な故障が生じた場合にはコンピューティングモジュールを交換した後、固定的な故障が生じていない場合には交換せずにそのまま、運用状態から切り離されているコンピューティングモジュールを再び他のコンピューティングモジュールと同期させる（すなわち組み込みを行う）。
【０００９】
運用状態から切り離されていたコンピューティングモジュールを組み込むとき、ロックステップフォルトトレラントコンピュータは、組み込みを行うコンピューティングモジュールのメモリに他のコンピューティングモジュールのメモリの内容をコピーする。それ以降、新たに組み込まれたコンピューティングモジュールは他のコンピューティングモジュールと同じ動作をする。
【００１０】
【発明が解決しようとする課題】
従来のロックステップフォルトトレラントコンピュータは、運用状態から切り離されたコンピューティングモジュールを組み込むとき、全てのコンピューティングモジュールを停止させて、メモリ内容のコピーを行っていた。これは、全てのコンピューティングモジュールの内部の状態を完全に一致させるためである。
【００１１】
しかし、処理性能や記憶能力を向上させるために、近年、ロックステップフォルトトレラントコンピュータのコンピューティングモジュール内のメモリ容量は増大している。そして、現在、コンピューティングモジュール内のメモリの容量は数ギガバイトにも及んでいる。そのため、コンピューティングモジュール内のメモリの内容を全てコピーすることは長時間を要する。
【００１２】
そのため、従来のロックステップフォルトトレラントコンピュータは、運用状態から切り離されたコンピューティングモジュールを組み込むために、運用を長時間停止していた。
【００１３】
本発明の目的は、運用状態から切り離されたコンピューティングモジュールを組み込むときの停止時間の短いフォルトトレラントコンピュータを提供することである。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明の情報処理装置は、プロセッサをそれぞれ備えた複数のモジュールを含み、前記各モジュールの前記プロセッサが同じ命令を同時に実行する情報処理装置であって、
前記各モジュールに含まれ、該モジュール内のプロセッサからリードアクセスおよびライトアクセスが可能な第１の記憶手段と、
前記各モジュールに含まれ、該モジュール内のプロセッサからはリードアクセスおよびライトアクセスが可能であり、他のモジュール内のプロセッサからはライトアクセスが可能な第２の記憶手段と、
前記各モジュールに含まれ、該モジュールが通常の運用中には、前記プロセッサが同じモジュール内の前記第１の記憶手段を用いて動作し、前記第２の記憶手段のデータが他のモジュール内のプロセッサにより更新されるように、通常の運用から一旦外れた前記モジュールが再び通常の運用に戻るまでは、該モジュール内の前記プロセッサが該モジュール内の前記第２の記憶手段を用いて動作するように、前記第１の記憶手段および前記第２の記憶手段と同じモジュール内のプロセッサおよび前記他のモジュール内のプロセッサとの接続を制御する制御手段とを有している。
【００１５】
したがって、本発明の情報処理装置によれば、通常運用中、プロセッサは同じモジュール内の第１の記憶手段を用いて命令を実行し、第２の記憶手段は他のモジュールのプロセッサにより更新されており、故障など何らかの要因で通常運用から一旦外れたモジュールが再び通常運用に戻るとき、故障などが発生したモジュールのプロセッサにより用いられ、更新されてきた第１の記憶手段の代わりに、故障などが発生していない他のモジュールのプロセッサにより更新されてきた第２の記憶手段を用いる。
【００１６】
本発明の一態様によれば、前記制御手段は、前記モジュールが通常の運用中には、自身と同じモジュール内の前記プロセッサのリードアクセスが自身と同じモジュール内の前記第１の記憶手段に対して行われ、ライトアクセスが自身と同じモジュール内の前記第１の記憶手段に加えて前記他のモジュール内の前記第２の記憶手段に対しても行われ、前記他のモジュール内の前記プロセッサのライトアクセスが自身と同じモジュール内の前記第２の記憶手段に対して行われるように、通常の運用から一旦外れた後、再び通常の運用に戻るまでの間は、自身と同じモジュール内の前記プロセッサのリードアクセスが自身と同じモジュール内の前記第２の記憶手段に対して行われ、ライトアクセスが自身と同じモジュール内の前記第１の記憶手段および前記第２の記憶手段と前記他のモジュール内の前記第２の記憶手段に対して行われるように前記接続を切り替える。
【００１７】
また、本発明の情報処理装置は、通常の運用から外れた前記モジュールが再び通常の運用に戻るまでの間、自身と同じモジュール内の前記プロセッサからの前記第２の記憶手段へのアクセスの合間に、前記第２の記憶手段内のデータを前記第１の記憶手段にコピーするデータコピー手段をさらに有してもよい。
【００１８】
したがって、通常運用から外れたモジュールは、第２の記憶手段を用いると共に、プロセッサによるアクセスの合間に、データコピー手段により第２の記憶手段のデータが第１の記憶手段にコピーされる。
【００１９】
本発明の一態様によれば、前記データコピー手段は、ダイレクトメモリアクセスにより前記第２の記憶手段のデータを前記第１の記憶手段にコピーする。
【００２０】
また、本発明の情報装置は、前記第２の記憶手段の全てのデータが前記第１の記憶手段にコピーされると通常の運用に戻ることとしてもよい。
【００２１】
本発明の一態様によれば、前記複数のモジュールがリング状になるように前記制御部が他のモジュール内の前記第２の記憶手段に接続されている。
【００２２】
本発明の一態様によれば、いずれかのモジュールが故障しても他のモジュールにより処理が継続されるフォルトトレラントコンピュータである。
【００２３】
本発明の一態様によれば、複数の前記モジュールの前記プロセッサは互いにクロック同期しており、同じ命令を同時に実行するロックステップ型のフォルトトレラントコンピュータである。
【００２４】
【発明の実施の形態】
従来技術として述べたように、ロックステップが外れる要因には、コンピューティングモジュールの固定的な故障と、そうでないものがある。固定的な故障が生じたコンピューティングモジュールは交換する必要がある。しかし、固定的な故障でない要因によりロックステップが外れたコンピューティングモジュールは、通常、交換されずそのまま組み込みが行われる。つまり、コンピューティングモジュールのロックステップが外れたとき、そのコンピューティングモジュールが交換されずにそのまま組み込まれることは少なくない。
【００２５】
本発明は、ロックステップの外れたコンピューティングモジュールを交換せずに組み込むときの、ロックステップフォルトトレラントコンピュータの停止時間を短縮するものである。
【００２６】
本発明の一実施形態について図面を参照して詳細に説明する。
【００２７】
図１は、本発明による一実施形態のロックステップフォルトトレラントコンピュータの構成を示すブロック図である。
【００２８】
図１を参照すると、ロックステップフォルトトレラントコンピュータは、コンピューティングモジュール３００，３０１を有している。コンピューティングモジュール３００とコンピューティングモジュール３０１は同じ構成である。
【００２９】
コンピューティングモジュール３００はプロセッサ１０１，１０２、メモリ１１１，１１２およびメモリ制御部１２１を有している。
【００３０】
プロセッサ１０１とプロセッサ１０２は同じ構成でありバス２００を共有している。プロセッサ１０１，１０２のバス２００にメモリ制御部１２１が接続されている。
【００３１】
メモリ１１１とメモリ１１２は同じ構成である。メモリ１１１は信号線２０１でメモリ制御部１２１と接続されている。メモリ１１２は信号線２０３でメモリ制御部１２１と接続されている。
【００３２】
コンピューティングモジュール３０１は、コンピューティングモジュール３００と同様に、プロセッサ１０３，１０４、メモリ１１３，１１４およびメモリ制御部１２２を有している。
【００３３】
プロセッサ１０３，１０４はコンピューティングモジュール３００のプロセッサ１０１，１０２と同じものである。メモリ制御部１２２はコンピューティングモジュール３００のメモリ制御部１２１と同じものである。メモリ１１３、１４はコンピューティングモジュール３００のメモリ１１１，１１２と同じものである。
【００３４】
コンピューティングモジュール３００のメモリ制御部１２１とコンピューティングモジュール３０１のメモリ制御部１２２は信号線２０２，２０５で接続されている。
【００３５】
以下、コンピューティングモジュール３００に着目して説明する。
【００３６】
プロセッサ１０１，１０２はロックステップフォルトトレラントコンピュータに与えられた命令を実行する。プロセッサ１０１，１０２は他のコンピューティングモジュール３０１のプロセッサ１０３，１０４とクロック同期して同じ命令を同時に実行する。命令列を実行するとき、プロセッサ１０１，１０２はメモリに対してライトアクセスまたはリードアクセスを行う。
【００３７】
メモリ制御部１２１は、プロセッサ１０１，１０２からのメモリアクセスおよびコンピューティングモジュール３０１からの信号線２０５を介したメモリアクセスのリクエストを切り替えてメモリ１１１，１１２に伝える。また、メモリ制御部１２１は、メモリアクセスのリクエストに対するメモリからのレスポンスをプロセッサ１０１，１０２に伝える。
【００３８】
リクエストはライトアクセスおよびリードアクセスのときにプロセッサからメモリに送られる。ライトアクセスのリクエストには書き込みデータが含まれる。また、レスポンスはリードアクセスのときにメモリからプロセッサに送られる。レスポンスには読出しデータが含まれる。
【００３９】
図２は、本実施形態のメモリ制御部の詳細な構成を示すブロック図である。図２を参照すると、メモリ制御部１２１は、切替回路４００，４０１，４０２，４０３およびＤＭＡ回路４０４を有している。
【００４０】
切替回路４００は、いずれかのメモリからレスポンスが来ると、信号線２０７を信号線２０６に接続し、レスポンスを信号線２０６に伝える。信号線２０６はバス２００に等しい信号線であり、レスポンスはプロセッサ１０１，１０２に伝えられる。また、切り替え回路４００は、プロセッサ１０１，１０２からいずれかのメモリへのリクエストがあるとき信号線２０６を信号線２０２に接続する。
【００４１】
切替回路４０１は、組み込み処理中にメモリ１１２からのレスポンスが来ると、信号線２０３を信号線２０７に接続してメモリ１１２からのレスポンスを選択する。また、切替回路４０１は、通常時にメモリ１１１からのレスポンスが来ると、信号線２０１を信号線２０７に接続してメモリ１１１からのレスポンスを選択する。なお、通常時とは、コンピューティングモジュール３００が他のコンピューティングモジュール３０１と同期して動作している状態をいう。また、組み込み処理中とは、コンピューティングモジュール３００の組み込みの処理が開始され、その処理が終了していない状態をいう。
【００４２】
切替回路４０２は、信号線２０２を介してプロセッサ１０１，１０２からのリクエストが来ると、必ず信号線２０２を信号線２０１に接続して、リクエストをメモリ１１１に伝える。また、切替回路４０２は、組み込み処理中に信号線２０３を介してＤＭＡ転送（コピー）によるライトアクセスのリクエストが来ると、信号線２０３を信号線２０１に接続し、リクエストをメモリ１１１に伝える。
【００４３】
切替回路４０３は、組み込み処理中に信号線２０２を介してリクエストが来ると、信号線２０２を信号線２０３に接続し、リクエストをメモリ１１２に伝える。また、切替回路４０３は、通常時に信号線２０５を介してコンピューティングモジュール３０１からのリクエストが来ると、信号線２０５を信号線２０３に接続しリクエストをメモリ１１２に伝える。また、切替回路４０３は、組み込み処理中であり信号線２０２からのリクエストが来ていないとき、信号線２０８を信号線２０３に接続し、ＤＭＡ回路４０４からのＤＭＡ転送（コピー）によるリードアクセスのリクエストをメモリ１１２に伝える。
【００４４】
ＤＭＡ回路４０４は、組み込み処理中であり信号線２０２からのリクエストが来ていないとき信号線２０８を介して、メモリ１１２からメモリ１１１へのＤＭＡ転送を行う。ＤＭＡ転送において、ＤＭＡ回路４０４は、メモリ１１２の全メモリ領域に対して、順次、データを読出してメモリ１１１に書き込む。ＤＭＡ転送の途中にプロセッサ１０１，１０２から信号線２０２を介してメモリ１１１，１１２へのリクエストがあれば、ＤＭＡ回路４０４はＤＭＡ転送を中断する。
【００４５】
本実施形態のロックステップフォルトトレラントコンピュータの通常時の動作について説明する。通常時には、全てのコンピューティングモジュール３００，３０１が同じ動作をする。
【００４６】
まず、通常時のリードアクセスのリクエストについて説明する。
【００４７】
図３は、通常時におけるコンピューティングモジュールのリードアクセス動作を説明するための図である。
【００４８】
プロセッサ１０１，１０２によるリードアクセスのリクエストは、信号線２０６（すなわちバス２００）を介して切替回路４００に送られる。信号線２０６からのリクエストは切替回路４００により信号線２０２に伝達される。
【００４９】
リクエストは信号線２０２を介してコンピューティングモジュール３０１に送られる。このリクエストは、メモリ１１４に到達するが、メモリ１１４からのレスポンスがコンピューティングモジュール３０１内の切替回路で止まる。
【００５０】
また、リクエストは信号線２０２を介して切替回路４０３に送られるが、そこで止まりメモリ１１２に到達しない。
【００５１】
また、リクエストは信号線２０２を介して切替回路４０２に送られる。リクエストは切替回路４０２により信号線２０１に伝達され、メモリ１１１に到達する。また、リクエストは信号線２０１を介して切替回路４０１にも到達するが、そこで止まる。
【００５２】
プロセッサ１０１，１０２からのリクエストによってメモリ１１１から読み出されたデータを含むレスポンスは信号線２０１を介して切替回路４０１に送られる。メモリ１１１からのレスポンスは、切替回路４０１により信号線２０７に伝達され、切替回路４００に到達する。そして、読出しデータを含むこのレスポンスは切替回路４００により信号線２０６に伝達され、プロセッサ１０１，１０２に到達する。
【００５３】
このように、通常時には、図３に示したようにメモリ１１１からデータが読み出される。
【００５４】
次に、通常時のライトアクセスのリクエストについて説明する。
【００５５】
図４は、通常時におけるコンピューティングモジュールのライトアクセス動作を説明するための図である。
【００５６】
プロセッサ１０１，１０２によるライトアクセスのリクエストは、信号線２０６（すなわちバス２００）を介して切替回路４００に送られる。信号線２０６からのリクエストは切替回路４００により信号線２０２に伝達される。
【００５７】
リクエストは信号線２０２を介してコンピューティングモジュール３０１に送られる。このリクエストは、コンピューティングモジュール３０１内のメモリ１１４に到達する。これによりメモリ１１４にデータが書き込まれる。
【００５８】
また、リクエストは信号線２０２を介して切替回路４０３に送られるが、そこで止まりメモリ１１２に到達しない。
【００５９】
また、リクエストは信号線２０２を介して切替回路４０２に送られる。リクエストは切替回路４０２により信号線２０１に伝達され、メモリ１１１に到達する。これによりメモリ１１１にデータが書き込まれる。
【００６０】
このように、通常時には、図４に示したようにメモリ１１１にデータが書き込まれる。また、図示されていないが、コンピューティングモジュール３０１のメモリ１１４にもプロセッサ１０１，１０２により同じデータが書き込まれる。さらに、コンピューティングモジュール３０１のプロセッサ１０３，１０４もプロセッサ１０１，１０２と同じ動作をしているので、図４に示したように、メモリ１１２にも同じデータが書き込まれる。
【００６１】
本実施形態のロックステップフォルトトレラントコンピュータにおいて、いずれかのコンピューティングモジュールのロックステップが外れてから、組み込み処理中を経て、組み込みが完了するまでの動作について説明する。
【００６２】
ロックステップが外れると、ロックステップフォルトトレラントコンピュータは全てのコンピューティングモジュール３００，３０１を一旦停止させる。次に、ロックステップフォルトトレラントコンピュータは、その時点でプロセッサ１０１，１０２，１０３，１０４上で動作していたプロセスのコンテキストをメモリに格納する。
【００６３】
次に、ロックステップフォルトトレラントコンピュータは、メモリに格納したプロセスのコンテキストを全てのコンピューティングモジュールのプロセッサにロードする。
【００６４】
次に、ロックステップの外れていないコンピューティングモジュールは、通常時の動作を再開する。また、ロックステップの外れたコンピューティングモジュールは、組み込み処理を開始する。
【００６５】
組み込み処理中のコンピューティングモジュールの動作について説明する。
【００６６】
まず、組み込み処理中のリードアクセスについて説明する。
【００６７】
図５は、組み込み処理中におけるコンピューティングモジュールのリードアクセスの動作を説明するための図である。ここでロックステップが外れたのはコンピューティングモジュール３００であるとする。
【００６８】
プロセッサ１０１，１０２によるリードアクセスのリクエストは、信号線２０６（すなわちパス２００）を介して切替回路４００に送られる。信号線２０６からのリクエストは切替回路４００により信号線２０２に伝達される。
【００６９】
リクエストは信号線２０２を介してコンピューティングモジュール３０１に送られる。このリクエストは、メモリ１１４に到達するが、メモリ１１４からのレスポンスがコンピューティングモジュール３０１内の切替回路で止まる。
【００７０】
また、リクエストは信号線２０２を介して切替回路４０２に送られる。このリクエストはメモリ１１１に到達するが、メモリ１１１からのレスポンスが切替回路４０１で止まる。
【００７１】
また、リクエストは信号線２０２を介して切替回路４０３に送られる。コノリクエストは切替回路４０３により信号線２０３に伝達され、メモリ１１２に到達する。
【００７２】
プロセッサ１０１，１０２からのリクエストによってメモリ１１２から読み出されたデータを含むレスポンスは信号線２０３を介して切替回路４０１に到達する。また、このレスポンスは切替回路４０２にも到達するが、そこで止まる。
【００７３】
そして、このレスポンスは、切替回路４０１により信号線２０７に伝達され、切替回路４００に到達する。メモリ１１２からの読出しデータを含むこのレスポンスは切替回路４００により信号線２０６に伝達され、プロセッサ１０１、１０２に到達する。
【００７４】
このように、組み込み処理中には、図５に示したようにメモリ１１２からのデータが読み出される。
【００７５】
次に、組み込み処理中のライトアクセスのリクエストについて説明する。
【００７６】
図６は、組み込み処理中におけるコンピューティングモジュールのライトアクセス動作を説明するための図である。
【００７７】
プロセッサ１０１，１０２によるライトアクセスのリクエストは、信号線２０６（すなわち２００）を介して切替回路４００に送られる。信号線２０６からのリクエストは切替回路４００により信号線２０２に伝達される。
【００７８】
リクエストは信号線２０２を介してコンピューティングモジュール３０１に送られる。コノリクエストは、コンピューティングモジュール３０１内のメモリ１１４に到達する。これによりメモリ１１４にデータが書き込まれる。
【００７９】
また、リクエストは信号線２０２を介して切替回路４０２に送られる。リクエストは切替回路４０２により信号線２０１に伝達され、メモリ１１１に到達する。これによりメモリ１１１にデータが書き込まれる。
また、リクエストは信号線２０２を介して切替回路４０３に送られる。リクエストは切替回路４０３により信号線２０３に伝達され、メモリ１１２に到達する。これによりメモリ１１２にデータが書き込まれる。
【００８０】
このように、組み込み処理中には、図６に示したようにメモリ１１１、１１２にデータが書き込まれる。また、図示されていないが、コンピューティングモジュール３０１のメモリ１１４にもプロセッサ１０１，１０２により同じデータが書き込まれる。
【００８１】
組み込み処理中には、コンピューティングモジュールは上述したプロセッサ１０１，１０２からのリードアクセスおよびライトアクセスと並行して、ＤＭＡ回路４０４によりメモリ内容のコピーを行う。
【００８２】
図７は、組み込み処理中におけるコンピューティングモジュールのメモリコピー動作を説明するための図である。
【００８３】
組み込み処理中に、信号線２０２からメモリ１１２へのアクセスが無いことを検出すると、ＤＭＡ回路４０４は、信号線２０８を介してメモリ１１２の全メモリ領域に対するリードリクエストを、順次、切替回路４０３に入力する。
【００８４】
このリクエストは、切替回路４０３により信号線２０３に伝達される。これにより、メモリ１１２のデータが、順次、読み出される。
【００８５】
そして、読み出されたデータを含むレスポンスは切替回路４０１に到達するが、ここで止まる。
また、このレスポンスは、メモリ１１１に対するライトアクセスのリクエストとして切替回路４０２に到達する。このリクエストは、切替回路４０２により信号線２０１に伝達され、メモリ１１１に到達する。これにより、順次、メモリ１１２から読み出されたデータがメモリ１１１に書き込まれる。これにより、メモリ内容のコピーが行われる。
【００８６】
なお、メモリコピーの途中に、プロセッサ１０１，１０２から信号線２０２を介してメモリ１１１，１１２へのリクエストがあると、ロックステップフォルトトレラントコンピュータはメモリコピーを中断し、プロセッサ１０１，１０２からのリクエストを処理する。リクエストがライトアクセスのものならメモリ１１１とメモリ１１２に同じデータが書き込まれる。
【００８７】
これにより、メモリーコピーだけでなく、プロセッサ１０１，１０２による演算結果についてもメモリ１０１，１０２に同じデータが書き込まれる。
【００８８】
メモリコピーが全メモリ領域について完了すると、ロックステップフォルトトレラントコンピュータはコンピューティングモジュール３００を通常状態に遷移させる。
【００８９】
固定的な故障でなくロックステップが外れたコンピューティングモジュールは、交換されなければ、メモリ１１１，１１２の内容を保持している。そして、メモリ１１２の内容はロックステップの外れていないコンピューティングモジュールによって書き込まれたものなので、ロックステップの外れていないコンピューティングモジュールの内容と同様に正常である。
【００９０】
本実施形態によれば、ロックステップの外れたコンピューティングモジュールをそのまま運用に組み込む場合、通常時には他のコンピューティングモジュールによってデータが書き込まれていたメモリ１１２を用いて、組み込み処理中のコンピューティングモジュールは命令列を実行する処理を開始するこができる。
【００９１】
そのため、そのコンピューティングモジュールが即座に他のコンピューティングモジュールと同じ動作を開始することができる。また、組み込み処理中のコンピューティングモジュールは、命令列を実行する処理と並行してメモリコピーを行うので、従来のようにメモリコピー中にロックステップフォルトトレラントコンピュータを停止しておく必要が無い。したがって、本実施形態のロックステップフォルトトレラントコンピュータは短い停止時間で動作を再開することができる。
【００９２】
なお、本実施形態では、ロックステップフォルトトレラントコンピュータが２つのコンピューティングモジュール３００，３０１を有する構成を例示したが、本発明はそれに限定されない。コンピューティングモジュールは複数であればよい。コンピューティングモジュールが３つ以上の場合、各コンピューティングモジュールのメモリ制御部はリング状に接続されてもよい。また、コンピューティングモジュールの数が偶数であれば、２つづつで対をなし、対をなすコンピューティングモジュールのメモリ制御部が本実施形態の例と同様に相互に接続されてもよい。
【００９３】
また、本実施形態ではロックステップフォルトトレラントコンピュータを例示したが、本発明はそれに限定されない。プロセッサとメモリを含む回路が複数存在し、それらの内部状態を一致させることのある装置であれば、本発明が適用可能である。
【００９４】
【発明の効果】
本発明の情報処理装置によれば、通常運用中、プロセッサは同じモジュール内の第１の記憶手段を用いて命令を実行し、第２の記憶手段は他のモジュールのプロセッサにより更新されており、故障など何らかの要因で通常運用から一旦外れたモジュールが再び通常運用に戻るとき、故障などが発生したモジュールのプロセッサにより用いられ、更新されてきた第１の記憶手段の代わりに、故障などが発生していない他のモジュールのプロセッサにより更新されてきた第２の記憶手段を用いることにより、短い時間で正常な動作を開始することができる。
【００９５】
また、通常運用から外れたモジュールは、第２の記憶手段を用いると共に、プロセッサによるアクセスの合間に、データコピー手段により第２の記憶手段のデータが第１の記憶手段にコピーされるので、通常運用に戻るためのメモリコピーを完了する前に、短時間で正常な動作を再開することができる。
【図面の簡単な説明】
【図１】本発明による一実施形態のロックステップフォルトトレラントコンピュータの構成を示すブロック図である。
【図２】本実施形態のメモリ制御部の詳細な構成を示すブロック図である。
【図３】通常時におけるコンピューティングモジュールのリードアクセス動作を説明するための図である。
【図４】通常時におけるコンピューティングモジュールのライトアクセス動作を説明するための図である。
【図５】組み込み処理中におけるコンピューティングモジュールのリードアクセスの動作を説明するための図である。
【図６】組み込み処理中におけるコンピューティングモジュールのライトアクセス動作を説明するための図である。
【図７】組み込み処理中におけるコンピューティングモジュールのメモリコピー動作を説明するための図である。
【符号の説明】
１０１，１０２ プロセッサ
１１１，１１２ メモリ
１２１，１２２ メモリ制御部
２００ バス
２０１〜２０８ 信号線
３００，３０１ コンピューティングモジュール
４００〜４０３ 切替回路
４０４ ＤＭＡ回路
【発明の属する技術分野】
本発明は、クロック同期させた複数のコンピューティングモジュールで同じ命令列を同時に処理するロックステップフォルトトレラントコンピュータのようなフォルトトレラントコンピュータに関し、特に、他のコンピューティングモジュールとの動作の同一性が崩れて運用から切り離されたコンピューティングモジュールを他のコンピューティングモジュールに同期させる処理の高速化に関する。
【０００２】
【従来の技術】
従来のロックステップフォルトトレラントコンピュータは、複数のコンピューティングモジュールを有し、これら複数のコンピューティングモジュールで同じ命令を同時に実行している。そして、故障あるいはその他の何らかの要因でいずれかのコンピューティングモジュールが他のコンピューティングモジュールと異なる動作をすることがある。
【０００３】
ロックステップフォルトトレラントコンピュータは、他のコンピューティングモジュールと異なる動作をした（すなわちロックステップが外れた）コンピューティングモジュールを検出すると、そのコンピューティングモジュールを一旦運用状態から切り離す。
【０００４】
コンピューティングモジュールのロックステップが外れる要因には様々なものがある。そして、ロックステップの外れに対する対処方法は要因により異なる。
【０００５】
ロックステップが外れる１つの要因として、コンピューティングモジュール内で起こる固定的な故障がある。固定的な故障とは、一時的な擾乱や、自然に復旧するような故障でなく、何らかの修理を必要とするようなものである。
【０００６】
いずれかのコンピューティングモジュールに固定的な故障が起きると、通常、故障したコンピューティングモジュールをロックステップフォルトトレラントコンピュータから取り出し、その代わりに他の正常なコンピューティングモジュールを取り付ける。
【０００７】
ロックステップが外れる他の要因として、コンピューティングモジュールの製造上の差違により、一時的に動作タイミングが他のコンピューティングモジュールとずれることが考えられる。また、さらに他の要因として、α線などの影響によりメモリが一時的に誤動作することが考えられる。これらの場合、コンピューティングモジュールに固定的な故障が生じていないので、コンピューティングモジュールを交換する必要がない。
【０００８】
固定的な故障が生じた場合にはコンピューティングモジュールを交換した後、固定的な故障が生じていない場合には交換せずにそのまま、運用状態から切り離されているコンピューティングモジュールを再び他のコンピューティングモジュールと同期させる（すなわち組み込みを行う）。
【０００９】
運用状態から切り離されていたコンピューティングモジュールを組み込むとき、ロックステップフォルトトレラントコンピュータは、組み込みを行うコンピューティングモジュールのメモリに他のコンピューティングモジュールのメモリの内容をコピーする。それ以降、新たに組み込まれたコンピューティングモジュールは他のコンピューティングモジュールと同じ動作をする。
【００１０】
【発明が解決しようとする課題】
従来のロックステップフォルトトレラントコンピュータは、運用状態から切り離されたコンピューティングモジュールを組み込むとき、全てのコンピューティングモジュールを停止させて、メモリ内容のコピーを行っていた。これは、全てのコンピューティングモジュールの内部の状態を完全に一致させるためである。
【００１１】
しかし、処理性能や記憶能力を向上させるために、近年、ロックステップフォルトトレラントコンピュータのコンピューティングモジュール内のメモリ容量は増大している。そして、現在、コンピューティングモジュール内のメモリの容量は数ギガバイトにも及んでいる。そのため、コンピューティングモジュール内のメモリの内容を全てコピーすることは長時間を要する。
【００１２】
そのため、従来のロックステップフォルトトレラントコンピュータは、運用状態から切り離されたコンピューティングモジュールを組み込むために、運用を長時間停止していた。
【００１３】
本発明の目的は、運用状態から切り離されたコンピューティングモジュールを組み込むときの停止時間の短いフォルトトレラントコンピュータを提供することである。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明の情報処理装置は、プロセッサをそれぞれ備えた複数のモジュールを含み、前記各モジュールの前記プロセッサが同じ命令を同時に実行する情報処理装置であって、
前記各モジュールに含まれ、該モジュール内のプロセッサからリードアクセスおよびライトアクセスが可能な第１の記憶手段と、
前記各モジュールに含まれ、該モジュール内のプロセッサからはリードアクセスおよびライトアクセスが可能であり、他のモジュール内のプロセッサからはライトアクセスが可能な第２の記憶手段と、
前記各モジュールに含まれ、該モジュールが通常の運用中には、前記プロセッサが同じモジュール内の前記第１の記憶手段を用いて動作し、前記第２の記憶手段のデータが他のモジュール内のプロセッサにより更新されるように、通常の運用から一旦外れた前記モジュールが再び通常の運用に戻るまでは、該モジュール内の前記プロセッサが該モジュール内の前記第２の記憶手段を用いて動作するように、前記第１の記憶手段および前記第２の記憶手段と同じモジュール内のプロセッサおよび前記他のモジュール内のプロセッサとの接続を制御する制御手段とを有している。
【００１５】
したがって、本発明の情報処理装置によれば、通常運用中、プロセッサは同じモジュール内の第１の記憶手段を用いて命令を実行し、第２の記憶手段は他のモジュールのプロセッサにより更新されており、故障など何らかの要因で通常運用から一旦外れたモジュールが再び通常運用に戻るとき、故障などが発生したモジュールのプロセッサにより用いられ、更新されてきた第１の記憶手段の代わりに、故障などが発生していない他のモジュールのプロセッサにより更新されてきた第２の記憶手段を用いる。
【００１６】
本発明の一態様によれば、前記制御手段は、前記モジュールが通常の運用中には、自身と同じモジュール内の前記プロセッサのリードアクセスが自身と同じモジュール内の前記第１の記憶手段に対して行われ、ライトアクセスが自身と同じモジュール内の前記第１の記憶手段に加えて前記他のモジュール内の前記第２の記憶手段に対しても行われ、前記他のモジュール内の前記プロセッサのライトアクセスが自身と同じモジュール内の前記第２の記憶手段に対して行われるように、通常の運用から一旦外れた後、再び通常の運用に戻るまでの間は、自身と同じモジュール内の前記プロセッサのリードアクセスが自身と同じモジュール内の前記第２の記憶手段に対して行われ、ライトアクセスが自身と同じモジュール内の前記第１の記憶手段および前記第２の記憶手段と前記他のモジュール内の前記第２の記憶手段に対して行われるように前記接続を切り替える。
【００１７】
また、本発明の情報処理装置は、通常の運用から外れた前記モジュールが再び通常の運用に戻るまでの間、自身と同じモジュール内の前記プロセッサからの前記第２の記憶手段へのアクセスの合間に、前記第２の記憶手段内のデータを前記第１の記憶手段にコピーするデータコピー手段をさらに有してもよい。
【００１８】
したがって、通常運用から外れたモジュールは、第２の記憶手段を用いると共に、プロセッサによるアクセスの合間に、データコピー手段により第２の記憶手段のデータが第１の記憶手段にコピーされる。
【００１９】
本発明の一態様によれば、前記データコピー手段は、ダイレクトメモリアクセスにより前記第２の記憶手段のデータを前記第１の記憶手段にコピーする。
【００２０】
また、本発明の情報装置は、前記第２の記憶手段の全てのデータが前記第１の記憶手段にコピーされると通常の運用に戻ることとしてもよい。
【００２１】
本発明の一態様によれば、前記複数のモジュールがリング状になるように前記制御部が他のモジュール内の前記第２の記憶手段に接続されている。
【００２２】
本発明の一態様によれば、いずれかのモジュールが故障しても他のモジュールにより処理が継続されるフォルトトレラントコンピュータである。
【００２３】
本発明の一態様によれば、複数の前記モジュールの前記プロセッサは互いにクロック同期しており、同じ命令を同時に実行するロックステップ型のフォルトトレラントコンピュータである。
【００２４】
【発明の実施の形態】
従来技術として述べたように、ロックステップが外れる要因には、コンピューティングモジュールの固定的な故障と、そうでないものがある。固定的な故障が生じたコンピューティングモジュールは交換する必要がある。しかし、固定的な故障でない要因によりロックステップが外れたコンピューティングモジュールは、通常、交換されずそのまま組み込みが行われる。つまり、コンピューティングモジュールのロックステップが外れたとき、そのコンピューティングモジュールが交換されずにそのまま組み込まれることは少なくない。
【００２５】
本発明は、ロックステップの外れたコンピューティングモジュールを交換せずに組み込むときの、ロックステップフォルトトレラントコンピュータの停止時間を短縮するものである。
【００２６】
本発明の一実施形態について図面を参照して詳細に説明する。
【００２７】
図１は、本発明による一実施形態のロックステップフォルトトレラントコンピュータの構成を示すブロック図である。
【００２８】
図１を参照すると、ロックステップフォルトトレラントコンピュータは、コンピューティングモジュール３００，３０１を有している。コンピューティングモジュール３００とコンピューティングモジュール３０１は同じ構成である。
【００２９】
コンピューティングモジュール３００はプロセッサ１０１，１０２、メモリ１１１，１１２およびメモリ制御部１２１を有している。
【００３０】
プロセッサ１０１とプロセッサ１０２は同じ構成でありバス２００を共有している。プロセッサ１０１，１０２のバス２００にメモリ制御部１２１が接続されている。
【００３１】
メモリ１１１とメモリ１１２は同じ構成である。メモリ１１１は信号線２０１でメモリ制御部１２１と接続されている。メモリ１１２は信号線２０３でメモリ制御部１２１と接続されている。
【００３２】
コンピューティングモジュール３０１は、コンピューティングモジュール３００と同様に、プロセッサ１０３，１０４、メモリ１１３，１１４およびメモリ制御部１２２を有している。
【００３３】
プロセッサ１０３，１０４はコンピューティングモジュール３００のプロセッサ１０１，１０２と同じものである。メモリ制御部１２２はコンピューティングモジュール３００のメモリ制御部１２１と同じものである。メモリ１１３、１４はコンピューティングモジュール３００のメモリ１１１，１１２と同じものである。
【００３４】
コンピューティングモジュール３００のメモリ制御部１２１とコンピューティングモジュール３０１のメモリ制御部１２２は信号線２０２，２０５で接続されている。
【００３５】
以下、コンピューティングモジュール３００に着目して説明する。
【００３６】
プロセッサ１０１，１０２はロックステップフォルトトレラントコンピュータに与えられた命令を実行する。プロセッサ１０１，１０２は他のコンピューティングモジュール３０１のプロセッサ１０３，１０４とクロック同期して同じ命令を同時に実行する。命令列を実行するとき、プロセッサ１０１，１０２はメモリに対してライトアクセスまたはリードアクセスを行う。
【００３７】
メモリ制御部１２１は、プロセッサ１０１，１０２からのメモリアクセスおよびコンピューティングモジュール３０１からの信号線２０５を介したメモリアクセスのリクエストを切り替えてメモリ１１１，１１２に伝える。また、メモリ制御部１２１は、メモリアクセスのリクエストに対するメモリからのレスポンスをプロセッサ１０１，１０２に伝える。
【００３８】
リクエストはライトアクセスおよびリードアクセスのときにプロセッサからメモリに送られる。ライトアクセスのリクエストには書き込みデータが含まれる。また、レスポンスはリードアクセスのときにメモリからプロセッサに送られる。レスポンスには読出しデータが含まれる。
【００３９】
図２は、本実施形態のメモリ制御部の詳細な構成を示すブロック図である。図２を参照すると、メモリ制御部１２１は、切替回路４００，４０１，４０２，４０３およびＤＭＡ回路４０４を有している。
【００４０】
切替回路４００は、いずれかのメモリからレスポンスが来ると、信号線２０７を信号線２０６に接続し、レスポンスを信号線２０６に伝える。信号線２０６はバス２００に等しい信号線であり、レスポンスはプロセッサ１０１，１０２に伝えられる。また、切り替え回路４００は、プロセッサ１０１，１０２からいずれかのメモリへのリクエストがあるとき信号線２０６を信号線２０２に接続する。
【００４１】
切替回路４０１は、組み込み処理中にメモリ１１２からのレスポンスが来ると、信号線２０３を信号線２０７に接続してメモリ１１２からのレスポンスを選択する。また、切替回路４０１は、通常時にメモリ１１１からのレスポンスが来ると、信号線２０１を信号線２０７に接続してメモリ１１１からのレスポンスを選択する。なお、通常時とは、コンピューティングモジュール３００が他のコンピューティングモジュール３０１と同期して動作している状態をいう。また、組み込み処理中とは、コンピューティングモジュール３００の組み込みの処理が開始され、その処理が終了していない状態をいう。
【００４２】
切替回路４０２は、信号線２０２を介してプロセッサ１０１，１０２からのリクエストが来ると、必ず信号線２０２を信号線２０１に接続して、リクエストをメモリ１１１に伝える。また、切替回路４０２は、組み込み処理中に信号線２０３を介してＤＭＡ転送（コピー）によるライトアクセスのリクエストが来ると、信号線２０３を信号線２０１に接続し、リクエストをメモリ１１１に伝える。
【００４３】
切替回路４０３は、組み込み処理中に信号線２０２を介してリクエストが来ると、信号線２０２を信号線２０３に接続し、リクエストをメモリ１１２に伝える。また、切替回路４０３は、通常時に信号線２０５を介してコンピューティングモジュール３０１からのリクエストが来ると、信号線２０５を信号線２０３に接続しリクエストをメモリ１１２に伝える。また、切替回路４０３は、組み込み処理中であり信号線２０２からのリクエストが来ていないとき、信号線２０８を信号線２０３に接続し、ＤＭＡ回路４０４からのＤＭＡ転送（コピー）によるリードアクセスのリクエストをメモリ１１２に伝える。
【００４４】
ＤＭＡ回路４０４は、組み込み処理中であり信号線２０２からのリクエストが来ていないとき信号線２０８を介して、メモリ１１２からメモリ１１１へのＤＭＡ転送を行う。ＤＭＡ転送において、ＤＭＡ回路４０４は、メモリ１１２の全メモリ領域に対して、順次、データを読出してメモリ１１１に書き込む。ＤＭＡ転送の途中にプロセッサ１０１，１０２から信号線２０２を介してメモリ１１１，１１２へのリクエストがあれば、ＤＭＡ回路４０４はＤＭＡ転送を中断する。
【００４５】
本実施形態のロックステップフォルトトレラントコンピュータの通常時の動作について説明する。通常時には、全てのコンピューティングモジュール３００，３０１が同じ動作をする。
【００４６】
まず、通常時のリードアクセスのリクエストについて説明する。
【００４７】
図３は、通常時におけるコンピューティングモジュールのリードアクセス動作を説明するための図である。
【００４８】
プロセッサ１０１，１０２によるリードアクセスのリクエストは、信号線２０６（すなわちバス２００）を介して切替回路４００に送られる。信号線２０６からのリクエストは切替回路４００により信号線２０２に伝達される。
【００４９】
リクエストは信号線２０２を介してコンピューティングモジュール３０１に送られる。このリクエストは、メモリ１１４に到達するが、メモリ１１４からのレスポンスがコンピューティングモジュール３０１内の切替回路で止まる。
【００５０】
また、リクエストは信号線２０２を介して切替回路４０３に送られるが、そこで止まりメモリ１１２に到達しない。
【００５１】
また、リクエストは信号線２０２を介して切替回路４０２に送られる。リクエストは切替回路４０２により信号線２０１に伝達され、メモリ１１１に到達する。また、リクエストは信号線２０１を介して切替回路４０１にも到達するが、そこで止まる。
【００５２】
プロセッサ１０１，１０２からのリクエストによってメモリ１１１から読み出されたデータを含むレスポンスは信号線２０１を介して切替回路４０１に送られる。メモリ１１１からのレスポンスは、切替回路４０１により信号線２０７に伝達され、切替回路４００に到達する。そして、読出しデータを含むこのレスポンスは切替回路４００により信号線２０６に伝達され、プロセッサ１０１，１０２に到達する。
【００５３】
このように、通常時には、図３に示したようにメモリ１１１からデータが読み出される。
【００５４】
次に、通常時のライトアクセスのリクエストについて説明する。
【００５５】
図４は、通常時におけるコンピューティングモジュールのライトアクセス動作を説明するための図である。
【００５６】
プロセッサ１０１，１０２によるライトアクセスのリクエストは、信号線２０６（すなわちバス２００）を介して切替回路４００に送られる。信号線２０６からのリクエストは切替回路４００により信号線２０２に伝達される。
【００５７】
リクエストは信号線２０２を介してコンピューティングモジュール３０１に送られる。このリクエストは、コンピューティングモジュール３０１内のメモリ１１４に到達する。これによりメモリ１１４にデータが書き込まれる。
【００５８】
また、リクエストは信号線２０２を介して切替回路４０３に送られるが、そこで止まりメモリ１１２に到達しない。
【００５９】
また、リクエストは信号線２０２を介して切替回路４０２に送られる。リクエストは切替回路４０２により信号線２０１に伝達され、メモリ１１１に到達する。これによりメモリ１１１にデータが書き込まれる。
【００６０】
このように、通常時には、図４に示したようにメモリ１１１にデータが書き込まれる。また、図示されていないが、コンピューティングモジュール３０１のメモリ１１４にもプロセッサ１０１，１０２により同じデータが書き込まれる。さらに、コンピューティングモジュール３０１のプロセッサ１０３，１０４もプロセッサ１０１，１０２と同じ動作をしているので、図４に示したように、メモリ１１２にも同じデータが書き込まれる。
【００６１】
本実施形態のロックステップフォルトトレラントコンピュータにおいて、いずれかのコンピューティングモジュールのロックステップが外れてから、組み込み処理中を経て、組み込みが完了するまでの動作について説明する。
【００６２】
ロックステップが外れると、ロックステップフォルトトレラントコンピュータは全てのコンピューティングモジュール３００，３０１を一旦停止させる。次に、ロックステップフォルトトレラントコンピュータは、その時点でプロセッサ１０１，１０２，１０３，１０４上で動作していたプロセスのコンテキストをメモリに格納する。
【００６３】
次に、ロックステップフォルトトレラントコンピュータは、メモリに格納したプロセスのコンテキストを全てのコンピューティングモジュールのプロセッサにロードする。
【００６４】
次に、ロックステップの外れていないコンピューティングモジュールは、通常時の動作を再開する。また、ロックステップの外れたコンピューティングモジュールは、組み込み処理を開始する。
【００６５】
組み込み処理中のコンピューティングモジュールの動作について説明する。
【００６６】
まず、組み込み処理中のリードアクセスについて説明する。
【００６７】
図５は、組み込み処理中におけるコンピューティングモジュールのリードアクセスの動作を説明するための図である。ここでロックステップが外れたのはコンピューティングモジュール３００であるとする。
【００６８】
プロセッサ１０１，１０２によるリードアクセスのリクエストは、信号線２０６（すなわちパス２００）を介して切替回路４００に送られる。信号線２０６からのリクエストは切替回路４００により信号線２０２に伝達される。
【００６９】
リクエストは信号線２０２を介してコンピューティングモジュール３０１に送られる。このリクエストは、メモリ１１４に到達するが、メモリ１１４からのレスポンスがコンピューティングモジュール３０１内の切替回路で止まる。
【００７０】
また、リクエストは信号線２０２を介して切替回路４０２に送られる。このリクエストはメモリ１１１に到達するが、メモリ１１１からのレスポンスが切替回路４０１で止まる。
【００７１】
また、リクエストは信号線２０２を介して切替回路４０３に送られる。コノリクエストは切替回路４０３により信号線２０３に伝達され、メモリ１１２に到達する。
【００７２】
プロセッサ１０１，１０２からのリクエストによってメモリ１１２から読み出されたデータを含むレスポンスは信号線２０３を介して切替回路４０１に到達する。また、このレスポンスは切替回路４０２にも到達するが、そこで止まる。
【００７３】
そして、このレスポンスは、切替回路４０１により信号線２０７に伝達され、切替回路４００に到達する。メモリ１１２からの読出しデータを含むこのレスポンスは切替回路４００により信号線２０６に伝達され、プロセッサ１０１、１０２に到達する。
【００７４】
このように、組み込み処理中には、図５に示したようにメモリ１１２からのデータが読み出される。
【００７５】
次に、組み込み処理中のライトアクセスのリクエストについて説明する。
【００７６】
図６は、組み込み処理中におけるコンピューティングモジュールのライトアクセス動作を説明するための図である。
【００７７】
プロセッサ１０１，１０２によるライトアクセスのリクエストは、信号線２０６（すなわち２００）を介して切替回路４００に送られる。信号線２０６からのリクエストは切替回路４００により信号線２０２に伝達される。
【００７８】
リクエストは信号線２０２を介してコンピューティングモジュール３０１に送られる。コノリクエストは、コンピューティングモジュール３０１内のメモリ１１４に到達する。これによりメモリ１１４にデータが書き込まれる。
【００７９】
また、リクエストは信号線２０２を介して切替回路４０２に送られる。リクエストは切替回路４０２により信号線２０１に伝達され、メモリ１１１に到達する。これによりメモリ１１１にデータが書き込まれる。
また、リクエストは信号線２０２を介して切替回路４０３に送られる。リクエストは切替回路４０３により信号線２０３に伝達され、メモリ１１２に到達する。これによりメモリ１１２にデータが書き込まれる。
【００８０】
このように、組み込み処理中には、図６に示したようにメモリ１１１、１１２にデータが書き込まれる。また、図示されていないが、コンピューティングモジュール３０１のメモリ１１４にもプロセッサ１０１，１０２により同じデータが書き込まれる。
【００８１】
組み込み処理中には、コンピューティングモジュールは上述したプロセッサ１０１，１０２からのリードアクセスおよびライトアクセスと並行して、ＤＭＡ回路４０４によりメモリ内容のコピーを行う。
【００８２】
図７は、組み込み処理中におけるコンピューティングモジュールのメモリコピー動作を説明するための図である。
【００８３】
組み込み処理中に、信号線２０２からメモリ１１２へのアクセスが無いことを検出すると、ＤＭＡ回路４０４は、信号線２０８を介してメモリ１１２の全メモリ領域に対するリードリクエストを、順次、切替回路４０３に入力する。
【００８４】
このリクエストは、切替回路４０３により信号線２０３に伝達される。これにより、メモリ１１２のデータが、順次、読み出される。
【００８５】
そして、読み出されたデータを含むレスポンスは切替回路４０１に到達するが、ここで止まる。
また、このレスポンスは、メモリ１１１に対するライトアクセスのリクエストとして切替回路４０２に到達する。このリクエストは、切替回路４０２により信号線２０１に伝達され、メモリ１１１に到達する。これにより、順次、メモリ１１２から読み出されたデータがメモリ１１１に書き込まれる。これにより、メモリ内容のコピーが行われる。
【００８６】
なお、メモリコピーの途中に、プロセッサ１０１，１０２から信号線２０２を介してメモリ１１１，１１２へのリクエストがあると、ロックステップフォルトトレラントコンピュータはメモリコピーを中断し、プロセッサ１０１，１０２からのリクエストを処理する。リクエストがライトアクセスのものならメモリ１１１とメモリ１１２に同じデータが書き込まれる。
【００８７】
これにより、メモリーコピーだけでなく、プロセッサ１０１，１０２による演算結果についてもメモリ１０１，１０２に同じデータが書き込まれる。
【００８８】
メモリコピーが全メモリ領域について完了すると、ロックステップフォルトトレラントコンピュータはコンピューティングモジュール３００を通常状態に遷移させる。
【００８９】
固定的な故障でなくロックステップが外れたコンピューティングモジュールは、交換されなければ、メモリ１１１，１１２の内容を保持している。そして、メモリ１１２の内容はロックステップの外れていないコンピューティングモジュールによって書き込まれたものなので、ロックステップの外れていないコンピューティングモジュールの内容と同様に正常である。
【００９０】
本実施形態によれば、ロックステップの外れたコンピューティングモジュールをそのまま運用に組み込む場合、通常時には他のコンピューティングモジュールによってデータが書き込まれていたメモリ１１２を用いて、組み込み処理中のコンピューティングモジュールは命令列を実行する処理を開始するこができる。
【００９１】
そのため、そのコンピューティングモジュールが即座に他のコンピューティングモジュールと同じ動作を開始することができる。また、組み込み処理中のコンピューティングモジュールは、命令列を実行する処理と並行してメモリコピーを行うので、従来のようにメモリコピー中にロックステップフォルトトレラントコンピュータを停止しておく必要が無い。したがって、本実施形態のロックステップフォルトトレラントコンピュータは短い停止時間で動作を再開することができる。
【００９２】
なお、本実施形態では、ロックステップフォルトトレラントコンピュータが２つのコンピューティングモジュール３００，３０１を有する構成を例示したが、本発明はそれに限定されない。コンピューティングモジュールは複数であればよい。コンピューティングモジュールが３つ以上の場合、各コンピューティングモジュールのメモリ制御部はリング状に接続されてもよい。また、コンピューティングモジュールの数が偶数であれば、２つづつで対をなし、対をなすコンピューティングモジュールのメモリ制御部が本実施形態の例と同様に相互に接続されてもよい。
【００９３】
また、本実施形態ではロックステップフォルトトレラントコンピュータを例示したが、本発明はそれに限定されない。プロセッサとメモリを含む回路が複数存在し、それらの内部状態を一致させることのある装置であれば、本発明が適用可能である。
【００９４】
【発明の効果】
本発明の情報処理装置によれば、通常運用中、プロセッサは同じモジュール内の第１の記憶手段を用いて命令を実行し、第２の記憶手段は他のモジュールのプロセッサにより更新されており、故障など何らかの要因で通常運用から一旦外れたモジュールが再び通常運用に戻るとき、故障などが発生したモジュールのプロセッサにより用いられ、更新されてきた第１の記憶手段の代わりに、故障などが発生していない他のモジュールのプロセッサにより更新されてきた第２の記憶手段を用いることにより、短い時間で正常な動作を開始することができる。
【００９５】
また、通常運用から外れたモジュールは、第２の記憶手段を用いると共に、プロセッサによるアクセスの合間に、データコピー手段により第２の記憶手段のデータが第１の記憶手段にコピーされるので、通常運用に戻るためのメモリコピーを完了する前に、短時間で正常な動作を再開することができる。
【図面の簡単な説明】
【図１】本発明による一実施形態のロックステップフォルトトレラントコンピュータの構成を示すブロック図である。
【図２】本実施形態のメモリ制御部の詳細な構成を示すブロック図である。
【図３】通常時におけるコンピューティングモジュールのリードアクセス動作を説明するための図である。
【図４】通常時におけるコンピューティングモジュールのライトアクセス動作を説明するための図である。
【図５】組み込み処理中におけるコンピューティングモジュールのリードアクセスの動作を説明するための図である。
【図６】組み込み処理中におけるコンピューティングモジュールのライトアクセス動作を説明するための図である。
【図７】組み込み処理中におけるコンピューティングモジュールのメモリコピー動作を説明するための図である。
【符号の説明】
１０１，１０２ プロセッサ
１１１，１１２ メモリ
１２１，１２２ メモリ制御部
２００ バス
２０１〜２０８ 信号線
３００，３０１ コンピューティングモジュール
４００〜４０３ 切替回路
４０４ ＤＭＡ回路
Claims (8)
- プロセッサをそれぞれ備えた複数のモジュールを含み、前記各モジュールの前記プロセッサが同じ命令を同時に実行する情報処理装置であって、
前記各モジュールに含まれ、該モジュール内のプロセッサからリードアクセスおよびライトアクセスが可能な第１の記憶手段と、
前記各モジュールに含まれ、該モジュール内のプロセッサからはリードアクセスおよびライトアクセスが可能であり、他のモジュール内のプロセッサからはライトアクセスが可能な第２の記憶手段と、
前記各モジュールに含まれ、該モジュールが通常の運用中には、前記プロセッサが同じモジュール内の前記第１の記憶手段を用いて動作し、前記第２の記憶手段のデータが他のモジュール内のプロセッサにより更新されるように、通常の運用から一旦外れた前記モジュールが再び通常の運用に戻るまでは、該モジュール内の前記プロセッサが該モジュール内の前記第２の記憶手段を用いて動作するように、前記第１の記憶手段および前記第２の記憶手段と同じモジュール内のプロセッサおよび前記他のモジュール内のプロセッサとの接続を制御する制御手段とを有する情報処理装置。 - 前記制御手段は、前記モジュールが通常の運用中には、自身と同じモジュール内の前記プロセッサのリードアクセスが自身と同じモジュール内の前記第１の記憶手段に対して行われ、ライトアクセスが自身と同じモジュール内の前記第１の記憶手段に加えて前記他のモジュール内の前記第２の記憶手段に対しても行われ、前記他のモジュール内の前記プロセッサのライトアクセスが自身と同じモジュール内の前記第２の記憶手段に対して行われるように、通常の運用から一旦外れた後、再び通常の運用に戻るまでの間は、自身と同じモジュール内の前記プロセッサのリードアクセスが自身と同じモジュール内の前記第２の記憶手段に対して行われ、ライトアクセスが自身と同じモジュール内の前記第１の記憶手段および前記第２の記憶手段と前記他のモジュール内の前記第２の記憶手段に対して行われるように前記接続を切り替える、請求項１記載の情報処理装置。
- 通常の運用から外れた前記モジュールが再び通常の運用に戻るまでの間、自身と同じモジュール内の前記プロセッサからの前記第２の記憶手段へのアクセスの合間に、前記第２の記憶手段内のデータを前記第１の記憶手段にコピーするデータコピー手段をさらに有する、請求項２記載の情報処理装置。
- 前記データコピー手段は、ダイレクトメモリアクセスにより前記第２の記憶手段のデータを前記第１の記憶手段にコピーする、請求項３記載の情報処理装置。
- 前記第２の記憶手段の全てのデータが前記第１の記憶手段にコピーされると通常の運用に戻る、請求項３または４記載の情報処理装置。
- 前記複数のモジュールがリング状になるように前記制御部が他のモジュール内の前記第２の記憶手段に接続されている、請求項１〜５のいずれか１項に記載の情報処理装置。
- いずれかのモジュールが故障しても他のモジュールにより処理が継続されるフォルトトレラントコンピュータである、請求項１〜６のいずれか１項に記載の情報処理装置。
- 複数の前記モジュールの前記プロセッサは互いにクロック同期しており、同じ命令を同時に実行するロックステップ型のフォルトトレラントコンピュータである、請求項７記載の情報処理装置。
Priority Applications (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002202558A JP3774826B2 (ja) | 2002-07-11 | 2002-07-11 | 情報処理装置 |
| TW092118158A TWI224256B (en) | 2002-07-11 | 2003-07-03 | Information processing apparatus |
| CA002434292A CA2434292C (en) | 2002-07-11 | 2003-07-04 | Information processing apparatus |
| US10/612,929 US7418626B2 (en) | 2002-07-11 | 2003-07-07 | Information processing apparatus |
| CNB031453619A CN1269039C (zh) | 2002-07-11 | 2003-07-08 | 信息处理设备 |
| AU2003212014A AU2003212014A1 (en) | 2002-07-11 | 2003-07-09 | Information Processing Apparatus |
| DE60300233T DE60300233T2 (de) | 2002-07-11 | 2003-07-10 | Fehlertolerante Vorrichtung zur informationsverarbeitung |
| EP03015795A EP1380951B1 (en) | 2002-07-11 | 2003-07-10 | Fault tolerant information processing apparatus |
| KR1020030046814A KR100583214B1 (ko) | 2002-07-11 | 2003-07-10 | 정보 처리 장치 |
| ES03015795T ES2231750T3 (es) | 2002-07-11 | 2003-07-10 | Aparato tolerante a fallos para el tratamiento de informacion. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002202558A JP3774826B2 (ja) | 2002-07-11 | 2002-07-11 | 情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004046507A JP2004046507A (ja) | 2004-02-12 |
| JP3774826B2 true JP3774826B2 (ja) | 2006-05-17 |
Family
ID=29728500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002202558A Expired - Fee Related JP3774826B2 (ja) | 2002-07-11 | 2002-07-11 | 情報処理装置 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US7418626B2 (ja) |
| EP (1) | EP1380951B1 (ja) |
| JP (1) | JP3774826B2 (ja) |
| KR (1) | KR100583214B1 (ja) |
| CN (1) | CN1269039C (ja) |
| AU (1) | AU2003212014A1 (ja) |
| CA (1) | CA2434292C (ja) |
| DE (1) | DE60300233T2 (ja) |
| ES (1) | ES2231750T3 (ja) |
| TW (1) | TWI224256B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009140424A (ja) * | 2007-12-10 | 2009-06-25 | Hitachi Ltd | フォールトトレラントコンピュータシステム、並びに再同期稼働化処理方法、及びプログラム |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9213609B2 (en) * | 2003-12-16 | 2015-12-15 | Hewlett-Packard Development Company, L.P. | Persistent memory device for backup process checkpoint states |
| US20050216552A1 (en) * | 2004-03-24 | 2005-09-29 | Samuel Fineberg | Communication-link-attached persistent memory system |
| DE102004036261A1 (de) * | 2004-07-26 | 2006-03-23 | Siemens Ag | Verfahren und Anordnung zum Synchronisieren des Speicherinhalts zwischen zwei redundanten Einrichtungen im laufenden Betrieb |
| JP2006178636A (ja) * | 2004-12-21 | 2006-07-06 | Nec Corp | フォールトトレラントコンピュータ、およびその制御方法 |
| JP2006178550A (ja) | 2004-12-21 | 2006-07-06 | Nec Corp | 二重化同期システム、及び二重化同期システムの動作方法 |
| JP4831599B2 (ja) | 2005-06-28 | 2011-12-07 | ルネサスエレクトロニクス株式会社 | 処理装置 |
| US7496786B2 (en) * | 2006-01-10 | 2009-02-24 | Stratus Technologies Bermuda Ltd. | Systems and methods for maintaining lock step operation |
| JP2010198131A (ja) * | 2009-02-23 | 2010-09-09 | Renesas Electronics Corp | プロセッサシステム、及びプロセッサシステムの動作モード切り替え方法 |
| US9983953B2 (en) | 2012-12-20 | 2018-05-29 | Intel Corporation | Multiple computer system processing write data outside of checkpointing |
| US9811345B2 (en) * | 2015-04-16 | 2017-11-07 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Utilizing computing resources under a disabled processor node without fully enabling the disabled processor node |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4823256A (en) * | 1984-06-22 | 1989-04-18 | American Telephone And Telegraph Company, At&T Bell Laboratories | Reconfigurable dual processor system |
| CA2003338A1 (en) * | 1987-11-09 | 1990-06-09 | Richard W. Cutts, Jr. | Synchronization of fault-tolerant computer system having multiple processors |
| US5287484A (en) * | 1989-06-21 | 1994-02-15 | Hitachi, Ltd. | Multi-processor system for invalidating hierarchical cache |
| ATE144058T1 (de) | 1989-08-01 | 1996-10-15 | Digital Equipment Corp | Massenspeicherübertragung während der neusynchronisierung |
| US5091847A (en) * | 1989-10-03 | 1992-02-25 | Grumman Aerospace Corporation | Fault tolerant interface station |
| US5295258A (en) * | 1989-12-22 | 1994-03-15 | Tandem Computers Incorporated | Fault-tolerant computer system with online recovery and reintegration of redundant components |
| JPH03219333A (ja) | 1990-01-24 | 1991-09-26 | Nippon Signal Co Ltd:The | 待機二重系装置 |
| US5155845A (en) * | 1990-06-15 | 1992-10-13 | Storage Technology Corporation | Data storage system for providing redundant copies of data on different disk drives |
| US5398331A (en) * | 1992-07-08 | 1995-03-14 | International Business Machines Corporation | Shared storage controller for dual copy shared data |
| US5751932A (en) * | 1992-12-17 | 1998-05-12 | Tandem Computers Incorporated | Fail-fast, fail-functional, fault-tolerant multiprocessor system |
| US5574849A (en) * | 1992-12-17 | 1996-11-12 | Tandem Computers Incorporated | Synchronized data transmission between elements of a processing system |
| US5953742A (en) * | 1996-07-01 | 1999-09-14 | Sun Microsystems, Inc. | Memory management in fault tolerant computer systems utilizing a first and second recording mechanism and a reintegration mechanism |
| US5903717A (en) * | 1997-04-02 | 1999-05-11 | General Dynamics Information Systems, Inc. | Fault tolerant computer system |
| KR100258079B1 (ko) * | 1997-12-17 | 2000-06-01 | 이계철 | 밀결합 결함 허용 시스템에서 메모리 버스 확장에 의한 동시 쓰기 이중화 장치 |
| US6138198A (en) * | 1998-06-15 | 2000-10-24 | Sun Microsystems, Inc. | Processor bridge with dissimilar data registers which is operable to disregard data differences for dissimilar data write accesses |
| DE19836347C2 (de) * | 1998-08-11 | 2001-11-15 | Ericsson Telefon Ab L M | Fehlertolerantes Computersystem |
| AU4195900A (en) | 1999-04-05 | 2000-10-23 | Marathon Technologies Corporation | Background synchronization for fault-tolerant systems |
| GB2369692B (en) | 2000-11-29 | 2002-10-16 | Sun Microsystems Inc | Processor state reintegration |
| US7003691B2 (en) * | 2002-06-28 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Method and apparatus for seeding differences in lock-stepped processors |
| US7178088B2 (en) * | 2002-11-18 | 2007-02-13 | Matsushita Electric Industrial Co., Ltd. | Method and circuit for error correction, error correction encoding, data reproduction, or data recording |
| JP2006178636A (ja) * | 2004-12-21 | 2006-07-06 | Nec Corp | フォールトトレラントコンピュータ、およびその制御方法 |
| US20060150010A1 (en) * | 2005-01-03 | 2006-07-06 | Stiffler Jack J | Memory-controller-embedded apparatus and procedure for achieving system-directed checkpointing without operating-system kernel support |
| US7444541B2 (en) * | 2006-06-30 | 2008-10-28 | Seagate Technology Llc | Failover and failback of write cache data in dual active controllers |
-
2002
- 2002-07-11 JP JP2002202558A patent/JP3774826B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-03 TW TW092118158A patent/TWI224256B/zh active
- 2003-07-04 CA CA002434292A patent/CA2434292C/en not_active Expired - Fee Related
- 2003-07-07 US US10/612,929 patent/US7418626B2/en not_active Expired - Fee Related
- 2003-07-08 CN CNB031453619A patent/CN1269039C/zh not_active Expired - Fee Related
- 2003-07-09 AU AU2003212014A patent/AU2003212014A1/en not_active Abandoned
- 2003-07-10 EP EP03015795A patent/EP1380951B1/en not_active Expired - Fee Related
- 2003-07-10 DE DE60300233T patent/DE60300233T2/de not_active Expired - Fee Related
- 2003-07-10 KR KR1020030046814A patent/KR100583214B1/ko not_active IP Right Cessation
- 2003-07-10 ES ES03015795T patent/ES2231750T3/es not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009140424A (ja) * | 2007-12-10 | 2009-06-25 | Hitachi Ltd | フォールトトレラントコンピュータシステム、並びに再同期稼働化処理方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2434292C (en) | 2006-11-14 |
| AU2003212014A1 (en) | 2004-01-29 |
| DE60300233T2 (de) | 2005-12-29 |
| CA2434292A1 (en) | 2004-01-11 |
| CN1472649A (zh) | 2004-02-04 |
| KR100583214B1 (ko) | 2006-05-24 |
| TWI224256B (en) | 2004-11-21 |
| US7418626B2 (en) | 2008-08-26 |
| EP1380951B1 (en) | 2004-12-22 |
| DE60300233D1 (de) | 2005-01-27 |
| US20040153750A1 (en) | 2004-08-05 |
| JP2004046507A (ja) | 2004-02-12 |
| ES2231750T3 (es) | 2005-05-16 |
| TW200404200A (en) | 2004-03-16 |
| EP1380951A1 (en) | 2004-01-14 |
| KR20040007310A (ko) | 2004-01-24 |
| CN1269039C (zh) | 2006-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3982353B2 (ja) | フォルトトレラントコンピュータ装置、その再同期化方法及び再同期化プログラム | |
| US6622263B1 (en) | Method and apparatus for achieving system-directed checkpointing without specialized hardware assistance | |
| EP0864126B1 (en) | Remote checkpoint memory system and method for fault-tolerant computer system | |
| US5864657A (en) | Main memory system and checkpointing protocol for fault-tolerant computer system | |
| US4941087A (en) | System for bumpless changeover between active units and backup units by establishing rollback points and logging write and read operations | |
| US7493517B2 (en) | Fault tolerant computer system and a synchronization method for the same | |
| KR20080068710A (ko) | 레지스터를 포함하는 적어도 2개의 실행 유닛을 구비한시스템에서 오류를 제거하기 위한 장치 및 방법 | |
| JP4341571B2 (ja) | 記憶装置システムおよびその制御方法、制御プログラム | |
| JP2006178616A (ja) | フォールトトレラントシステム、これで用いる制御装置、動作方法、及び動作プログラム | |
| JP3774826B2 (ja) | 情報処理装置 | |
| CA2530913A1 (en) | Fault tolerant computer system and interrupt control method for the same | |
| JP5287974B2 (ja) | 演算処理システム、再同期方法、およびファームプログラム | |
| JP2004046455A (ja) | 情報処理装置 | |
| JP6083480B1 (ja) | 監視装置、フォールトトレラントシステムおよび方法 | |
| JP3253473B2 (ja) | 二重化された共用メモリの等価性回復処理方法および装置 | |
| JP2000298594A (ja) | フォールトトレラント制御方法および冗長コンピュータシステム | |
| JP5748214B2 (ja) | 二重化情報処理システム | |
| JP3696689B2 (ja) | 情報処理システムのメモリコピー装置 | |
| JP4494263B2 (ja) | サービスシステムの冗長化方式 | |
| JPH06124242A (ja) | 二重化共有メモリ等価性保証方式 | |
| KR19990053243A (ko) | 개방형 내장 시스템에서의 순환 이중화 방법 | |
| JPH04195646A (ja) | 多重化システム | |
| JPH06348604A (ja) | メモリコピー方式 | |
| JPH06139091A (ja) | 高信頼度化情報処理装置 | |
| JPS6349849A (ja) | デ−タ処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040427 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041220 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050706 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060125 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060207 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110303 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140303 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |