JPH03266011A - フォールト・トレラント・システム及びその冗長系間の同期方法並びに多重化クロツク発振器 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、複数の冗長系からなるフォールト・トレラン
ト・システム及び、その冗長系間の同期方法並びにフォ
ールト・トレラント・システムの同期に好適な多重化ク
ロック発振器に関する。

〔従来の技術〕

コンピュータの利用分野の拡大に伴い、高い信頼性、安
全性を有する分野でのコンピュータの使用が必要になっ
てきている。コンピュータの信頼性を損なう要因として
、ハードウェアの永久故障や電気的雑音や放射線による
一時的なデータエラーなどが挙げられる。

コンピュータ・システムの信頼性を高めるために、シス
テムを構成するコンピュータ・モジュールを多重化して
一部のモジュールで不具合が発生してもシステム全体と
しては正常なモジュールにより動作を継続させる冗長化
の技術、いわゆるフォールト・トレラント技術が広く用
いられている。

（ここで、コンピュータ・モジュールのうち多重化した
一部のモジュールを以下、冗長系と呼ぶ。）フォールト
・トレラント・コンピュータの同期の方法に関して従来
の公知例として、■疎結合方式と、■密結合方式とがあ
る。

■疎結合方式は、文献１　プロシーデインゲス・オブ・
ジ・アイ・イー・イー・イー、ｖＯＱ、６６゜Ｎ１１ｌ
　Ｏ，０ｃｔｏｂｅｒ　１９７８　　第１２２１頁から
第１２３９頁（＾１ｂｅｒｔ　Ｌ、　Ｈｏｐｋｉｎｓ、
　Ｊｒ、　ｅｔ　ａｌ。

“ＦＴＭＰ−Ａ　Ｈｉｇｈｌｙ　Ｒｅ１ｉａｂｌｅ　Ｆ
ａｕｌｔ−ＴｏｌｅｒａｎｔＭｕｌｔｉｐｒｏｃｅｓｓ
ｏｒ　ｆｏｔ　Ａｉｒｃｒａｆｔ″Ｐｒｏｃ、　ｏｆ　
ＩＥＥＥ。

Ｖｏｌ、６６、　Ｎｏ、１０．　ｐｐ、１２２１−１２
３９　（Ｏｃｔ、　１９７Ｂ））で述べられており、第
３４図のようにそれぞれの冗長系が独立したクロックで
動作する方式で、冗長系間の同期はソフトウェアにより
タスクレベルで採られることが多い。

■密結合方式は、文献２　プロシーデインゲス・オブ・
ジ・アイ・イー・イー・イー、ＶｏΩ、６６゜ｋｌｏ、
　０ｃｔｏｂｅｒ　１９７８　　第１２４０頁から第１
２５５頁（Ｊｏｈｎ　Ｈ，Ｖｅｎｓｌｅｙ　ｅｔ　ａｌ
、　”５ＩＦＴ：Ｄｅｓｉｇｎ　ａｎｄ　Ａｎａｌｙｓ
ｉｓ　ｏｆ　ａ　Ｆａｕｌｔ−ＴｏｌｅｒａｎｔＣｏｍ
ｐｕｔｅｒ　ｆｏｒ　Ａｉｒｃｒａｆｔ　Ｃｏｎｔｒｉ
ｏｌ、”Ｐｒｏｃ、　ｏｆＩＥＥＥ、　Ｖｏｌ、６６、
　Ｎｏ、１０．　ｐｐ、１２４０−１２５５（Ｏｃｔ、
　　１９７８））で述べられており、第３５図のように
それぞれの冗長系が共通のクロックで動作する方式で、
クロックレベルで同期が採られている。

また■密結合方式では、共通クロックが故障した場合に
システム全体が停止してしまうために文献１．Ｆｉｇ、
４（ｐ、１２２６）及び１文献３米国特許第４，６４４
，４９８号Ｆｉｇ、２ａのようにクロックを多重化する
方法が用いられていた。

〔発明が解決しようとする課題〕

上記従来技術のうち、■疎結合方式は冗長系間の同期は
タスクレベルで採られ、冗長系の内部状態は必ずしも同
一である必要はないために、いくつかの冗長系で障害（
故障、−時的データエラー等）が発生した場合には、障
害が発生した冗長系のみをリセットし、他の正常な冗長
系からのデータをもとに正常動作に戻すことができる。

しかしこの方法では出力をハードウェアにより多数決す
るためには、冗長系間の同期を採るための処理が必要と
なり、同期のためのオーバーヘッドがかかってしまい、
処理性能を低下させてしまうといった問題点があった。

一方、■密結合方式は既にクロックレベルで同期してお
り、同期のための特別な処理は必要としないために、同
期のためのオーバーヘッドによる処理性能の低下という
問題は生じない。しかし、いくつかの冗長系で障害が発
生した場合のシステム再構成の際には、すべての冗長系
の内部状態を同一にするために、すべての冗長系をリセ
ットしなければならず、その結果処理が一時中断してし
まうという問題点があった。

また、■密結合方式に用いられる多重化クロックは文献
１　、　Ｆｉｇ、４　（Ｐ、　１２２６）に示すように
クロック発振器間の位相を一致させるためにＰＬＬ（Ｐ
ｈａｓｅ　Ｌｏｃｋｅｄ　Ｌｏｏｐ）を使用しており、
回路規模が大きくなり、部品点数′の増加により故障率
の増加を招いてしまう。

また、文献３では、発振器を多重化し、各々の発振出力
の多数決をとったものを増幅器の入力にフィードバック
して、同一の位相の発振出力を得ている、しかし、多数
決回路の全回路規模が大きくなる欠点があった。

本発明の目的は、同期のためのオーバーヘッドがかから
ず、しかもシステム再構成時にも処理が中断することの
ないフォールト・トレラント・システム及びその冗長系
間の同期方法を提供することにある。

また、本発明の他の目的は、簡単な構成で故障の影響の
少ない多重化クロック発振器を提供することにある。

【課題を解決するための手段〕

上記目的を達成するために本発明では、個々の冗長系を
それぞれ独立したクロックで動作させ、インタフェース
部のみを共通クロックで動作させるシステム構成を採用
する。

また、個々の冗長系での処理のタイミングのずれを共通
クロック間隔以内に揃えるために、ランデブ一方式と名
付けたソフトウェアによるタスクレベルでの同期の方法
をとる。

更に共通クロックに耐故障性を持たせるために、共通ク
ロック発振器を冗長化し、個々のクロック発振器の発振
出力の多数決を採ったものを個々のクロック発振器に正
帰還させて、同一の周波数、位相の発振出力を得る。こ
れらの発振出力の多数決を採ることによって、一部の発
振器が故障した場合でも正常な発振出力が得られる。本
発明では、上記多重化クロック発振器の構成に必要な多
数決を、抵抗器で入力信号の平均値を採り、平均値をし
きい値で２値化することにより実現する。

〔作用〕

本発明では、第１図のように個々の冗長系１−１〜１−
Ｎのインタフェース部３−１〜３−Ｎ以外の部分をそれ
ぞれ独立のクロック発振器２−１〜２−Ｎからのクロッ
クで動作させ、外部に出力をするためのインタフェース
部３−１〜３−Ｎのみを共通クロック発振器４からの共
通クロックで動作させる。上記システム構成により、出
力インタフェースがクロックレベルで同期しているため
に、出力に際し同期のためのオーバーヘッドが無く高速
のデータ出力が可能となる。さらに、個々の冗長系１−
１〜１−Ｎのインタフェース部３−１〜３−Ｎ以外の部
分はタスクレベルで同期しているため、プロセッサ内部
のレジスター値などの内部状態を一致させる必要が無く
、システム再構成時に全部の冗長系をリセットする必要
が無い。

そのため、他の冗長系の処理を継続したまま障害が発生
した冗長系を通常動作に戻すことができ、処理の連続性
を保つことが可能となる。

次に本発明におけるタスクレベルでの同期の方法（以下
ランデブ一方式と称する）について説明する。

処理が終了次第、処理結果を出力する場合には、処理の
進行のバラツキをなくすために、先に処理の終了した冗
長系は他の冗長系での処理が終了するまで待たなければ
ならない。そのために、先に処理の終了した冗長系はマ
スタとなって同期の主導権を握り、データ８力要求（リ
クエスト、以下Ｒｅｑと記す）を他の冗長系に送り、他
の冗長系からの承諾（アクナレッジメント、以下Ａｃｋ
と記す）を待って処理結果の出力に移る（処理結果出力
開始の合意成立）方法を本発明では提供する。

また、他の冗長系はスレーブとなってこれに従う。スレ
ーブとなった冗長系はマスタから送られたＲｅｑに対し
てＡｃｋを他の全ての冗長系に返送する。

この方法は、処理結果の出力だけでなく次の処理を同期
して開始する場合にも応用できる。

また、この方法は、マルチタスク処理に関して特に有効
である。

タイミングによっては、複数の冗長系がＲｅｑを同時に
出すことも考えられるが、ある冗長系において受け取る
Ｒｅｑの数とＡｃｋの数との間には以下に示すような関
係が有る。この関係を用いれば、受け取ったＲｅｑの数
から合意成立のためのＡｃｋの数を求めることができる
。つまり、所定の数のＡｅｋを受け取るまで待てば、合
意が成立し、冗長系間の同期が採れた状態で、処理結果
の出力や次の処理に移ることが可能となる。

上記Ｒｅｑの数とＡｃｋの数の関係は次の通りである。

複数の冗長系がマスタとなった場合、マスタが他のマス
タからのＲｅｑを受け取った場合の動作によって、Ｒｅ
ｑの数とＡｃｋの数の間の関係はは以下のように異なっ
てくる。

（１）マスタ（先に処理を終えた冗長系）はＲｅｑに対
してＡｃｋを返さない場合 （ａ）　　自分がマスタのとき 自分自身は、自分以外のマスタが出したリクエストを受
け取るから、受け取るリクエストの数Ｎ　ｒｅｑは。

Ｎｒｅｑ＝Ｎｍ−□　　　　　　　　　　川（１）ただ
し、Ｎ、：マスタの数 となる。

それぞれのスレーブ（マスタにならなかった冗長系）は
、マスタから受け取ったリクエストの数だけアクナレッ
ジを出すから、受け取るアクナレッジの数は、 Ｎａｃｋ＝　Ｎｓ−Ｎｍ　　　　　　　　　　　・・・
（２）ただし、Ｎｓニスレープの数 となる。マスタ以外の冗長系はスレーブであるから、 Ｎ５＝Ｎ−Ｎ、　　　　　　　　　　　　　　　　・・
・（３）となる。

二二で、式（１）、　（２）、　（３）から、Ｎａｃｋ
＝（Ｎ−Ｎｒｅｑ−１）（Ｎｒｅｑ＋１）　　−（４）
となる。

（ｂ）　　自分がスレーブのとき 自分自身は全てのマスタの出したリクエストを受け取る
から、 Ｎｒｅｑ＝　Ｎｍ　　　　　　　　　　　　　　−（５
）となる。

自分自身は、自分以外のスレーブの出したアクナレッジ
を受け取り、それぞれのスレーブ（マスタにならなかっ
た冗長系）は、マスタから受け取ったリクエストの数だ
けアクナレッジを出すから、受け取るアクナレッジの数
は、Ｎａｅｋ＝　（Ｎｓ　−１）・Ｎ、　　　　　　　
　　−（６）となる。ここで１式（３）、　（５）、　
（６）から。

Ｎａｃｋ＝　（Ｎ　−Ｎｒｅｑ　−１）Ｎｒｅｑ　　　
　　−（７）となる。

（２）マスタ（先に処理を終えた冗長系）はＲｅｑに対
してＡｃｋを返す場合 （ａ）　　自分がマスタのとき それぞれの冗長系は、マスタがら受け取った、リクエス
トの数だけアクナレッジを出すがら、受け取るアクナレ
ッジの数は、 Ｎａｃｋ＝　Ｎａ−Ｎ、＋　（Ｎ、−１）（Ｎ、　−１
）　”・（８）となる。

ここで、式（１）、　（３）、　（８）から。

Ｎａｃｋ＝（Ｎ　−２）（Ｎｒｅｑ＋　１）＋　１　　
　−（９）となる。

（ｂ）　　自分がスレーブのとき 自分自身は、自分以外のスレーブの出したアクナレッジ
を受け取り、それぞれの冗長系は、マスタから受け取っ
たリクエストの数だけアクナレッジを出すから、受け取
るアクナレッジの数は、 Ｎａｃｋ＝　（Ｎｓ　−１）・Ｎｍ＋　Ｎ−（Ｎ、　−
１）−（１０）となる。ここで９式（３）、　（５）、
　（１０）がら。

Ｎａｃｋ＝　（Ｎ　−２）Ｎｒｅｑ　　　　　　　　−
（１１）となる。

次に、本発明におけるクロックの多重化について説明す
る。

一般にクロック発振器は第２８図のように表現すること
ができる。

ここで、Ｇ（ｊω）、Ｈ（ｊω）はそれぞれ増幅器４０
１、フィードバック要素４０２の伝達関数を表わす。

第２８図に於いて以下の発振条件を満足すれば、発振を
継続させることができる。

ＩＧ（ｊω。）・Ｈ（ｊωＤ）１≧１　　　　　・・・
（１２）ｌ　Ｇ　（ｊｋ　ｅ　）・Ｈ（ｊω。）＝０°
　　　　　　・・・（１３）ただし、　ｊ：虚数単位 ω。＝２πｆ、、　　ｆｅ：発振周波数本発明は、複数
の発振器に於いて、各々同一の発振周波数で上記発振条
件を満足させ、かつ同じ信号をフィードバックすること
により、周波数、位相ともに一致した発振出力を得るも
のである。

そこで、これらの発振出力の多数決をとれば、耐故障性
のある発振出力を得ることができる。

各々の発振器に於いて、同一の信号をフィードバックす
るためには、文献３のように各々の発振出力の多数決を
とったものを増幅器の入力にフィードバックすれば良い
。ここで、第２９図のように入力信号を抵抗４２０−１
−１〜４２０−Ｎ−Ｎによって一点に結合した場合、結
合点の電位はただし、■Ｈ： ＮＨ： ｖＬ　： ＮＬ　＝ Ｈレベルの電位 Ｈレベルである入力の数 Ｌレベルの電位 Ｌレベルである入力の数 となる。

ここで、 ＮＨ＞Ｎ／２ ならば、 Ｖ　＞　（ＶＨ＋ＶＬ）　／　２ ＮＨ＜Ｎ／２ ならば、 Ｖ　＜　（ＶＨ＋ＶＬ）　／　２、 ・・・（１５） ・・・（１６） ・・・（１７） ・・・（１８） となり、（ＶＨ＋ＶＬ）／２をしきい値として２値化す
れば、多数決が実現できる。

〔実施例〕

以下本発明の実施例を図に従って説明する。

第１図は本発明の基本的な実施例である。それぞれの冗
長系１−１〜１−Ｎの出力インタフェース３−１〜３−
Ｎ以外の部分は、冗長系毎に独立したクロック発振器２
−１〜２−Ｎからのクロックにより動作し、出力インタ
フェース３−１〜３−Ｎは共通クロック発振器からの共
通クロックにより動作している。そのために出力６−１
〜６−Ｎは同期した信号が得られ、多数決回路５で出力
の多数決を採ることができ、多数決の結果をシステムの
最終比カフとすることができるわ本実施例によれば、出
力インタフェースがクロックレベルで同期しているため
に、出力に際し同期のためのオーバーヘットが無く高速
のデータ出力が可能となる。さらに、個々の冗長系１−
１〜１−Ｎのインタフェース部３−１〜３−Ｎ以外の部
分はタスクレベルで同期しているため、プロセッサ内部
のレジスター値などの内部状態を一致させる必要が無く
、システム再構成時に全部の冗長系をリセットする必要
が無い。そのため、他の冗長系の処理を継続したまま障
害が発生した冗長系を通常動作に戻すことができ、処理
の連続性を保つことが可能となる。

以下、出力インターフェースが共通クロックにより動作
する実施例について説明するが、アナログ信号をＡＤ変
換器にとり込む場合のように、入力信号の同期をとる必
要のあるときに、共通クロックで入力インターフェース
を動作させてもよい。

第２図、第３図は出力インタフェース３−１の実施例で
ある。第２図は出力６−１がパラレル信号である場合の
実施例である。本実施例のタイミングを第４図に示す。

ラッチ３０１へのデータ書き込みはタスクレベルで同期
して実行される。書き込みタイミングはアドレスデコー
ダ３００によりアドレスデータ及びデータストローブ信
号から生成され、ラッチ３０１のＣＫ端子へ入力される
。

ラッチ３０１はＣＫ大入力立上りエツジでデータをラッ
チし、ラッチ３０２へと出力する。ラッチ３０２では、
ラッチ３０１からの信号を共通クロック発振器４からの
信号の立上りエツジでラッチし出力６−１とする。本実
施例により、タスクレベルで同期してラッチ３０１へ書
き込まれたデータを、共通クロック発振器４からの共通
クロックに同期して出力６−１へ出力することができる
。

第３図は出力６−１がシリアル信号である場合の実施例
である。本実施例のタイミングを第５図に示す。本実施
例では、ラッチ３０１ヘデータを書き込むまでの動作は
第２図に実施例と同一である。シフトレジスタ３０３は
、ＬＤ端子の入力信号の立上りでラッチ３０１からの信
号をラッチし、ＣＫ端子の入力信号の立上りでラッチし
たデータを１ビツトづつシフトし、出力６−１に出力す
る。

シフトレジスタ３０３のＬＤ大入力共通クロック発振器
４からの共通クロックを１／Ｎ（Ｎ：自然数）分局回路
３０４で分周しており、Ｎをランチ３０１でラッチする
データのビット幅と同一にすることにより、タスクレベ
ルで同期してランチ３０１へ書き込まれたＮビット幅の
パラレルデータをシリアルデータに変換して、共通クロ
ック発振器４からの共通クロックに同期して出力６−１
に出力することができる。

第６図、第７図、第８図はそれぞれの冗長系の中での処
理の進行を示したものである。第６図。

第７図は出力周期に比べ、アプリケーションタスク処理
（コンピュータ本来の目的の為の処理）が短時間で終了
する場合の処理の進行の例である。

共通クロック４に同期して作られた出力のタイミングを
示すフレームパルス（第２図の実施例のラッチ３０２の
ＣＫ大入力第３図の実施例のシフトレジスタ３０３のＬ
Ｄ大入力相当する）に同期して開始されたアプリケーシ
ョンタスク処理で、作成されたデータは次のフレームパ
ルスの前にラッチ３０１へ書き込まれ、次のフレームパ
ルスによって出力される。

第７図は更に多数決処理をソフトウェアにより実施して
いる実施例である。通常、ソフトウェアによる多数決処
理は、冗長系間を結ぶ通信路を介して交換するデータを
比較して行われる。またソフトウェアによる多数決処理
の方法として、単純な多数決だけではなく、冗長系の自
己診断結果なども考慮したデータ選択の方法なども考え
られる。

第８図は出力周期に比べ、アプリケーションタスク処理
に時間がかかり、処理終了までに複数のフレームパルス
が到来する場合である。この場合には、後の実施例に述
べるランデブ一方式を用いて、冗長系間で出力の合意を
採った後に出力すべきデータをラッチ３０１へ書き込ま
なければならない。

第９図〜第２０図は、ランデブ一方式の実施例に関する
ものである。

第９図は、マスタはＲｅｑに対してＡｃｋを返さない実
施例の冗長系間の信号のやり取りを示したものである。

ここで、処理Ａ、処理Ｂは別々の処理を一般的に表した
もので、第６図〜第８図の実施例では、処理Ａはアプリ
ケーションタスク処理、処理Ｂは出力すべきデータのラ
ッチ３０１への書き込みにそれぞれ相当する。第９図で
は、まず冗長系１−１が先に処理Ａを終了しマスタとな
り、他のスレーブとなった冗長系１−２．冗長系１−３
にＲｅｑを送り、所定の数のＡｃｋを受け取った後処理
Ｂに移る。この場合、処理Ｂ開始合意成立に必要なＡｃ
ｋの数は式（４）及び（７）で示されている。尚、Ｒｅ
ｑ、Ａｃｋ信号は冗長系の間を結ぶ冗長系間通信路を介
して交換される。また、各冗長系での処理Ｂ開始合意成
立のタイミングのずれは、冗長系間の通信に必要な時間
以内となる。

第１０図は冗長系１−１と冗長系１−２が同時に処理Ａ
を終了した場合である。この場合、冗長系１−１と冗長
系１−２がスレーブとなった冗長系１−３にＲｅｑを送
り、所定の数のＡｃｋを受け取った後処理Ｂに移る。、
この場合においても、処理Ｂ開始合意成立に必要なＡｃ
ｋの数は式（４）及び（７）で示されている通りである
。

第１１図に第９図、第１０図の実施例のフローチャート
を示す、自分自身がマスタになるがスレーブになるかは
、合意開始時点ですでに他の冗長系からＲｅｑが到着し
ているがどうがで判断できる。自分自身がマスタとなっ
た場合には、まず他の冗長系にＲｅｑを送り、Ｒｅｑま
たはＡｃｋの到着を待ち、式（４）で求められる所定の
数のＡｃｋを受け取った後に合意成立となる。また、自
分自身がスレーブとなった場合にはＲｅｑまたはＡｃｋ
の到着を待ち、式（７）で示される所定の数のＡｃｋを
受け取った後に合意成立となる。

第１２図に冗長系１−３がシステムダウンした場合の冗
長系間の信号のやり取りの様子を示す。

冗長系ｌ−１，冗長系１−２では、冗長系１−３からの
Ａｃ、ｋを受け取ることができないために、このままで
は処理Ｂ開始合意成立に至ることができない。第１１図
のｒＲｅｑ　ｏｒ　Ａｃｋ待ち」にタイムアウト機能（
所定の時間が経過したら、Ｒｅ　ｑ。

Ａｃｋが到着しなくとも待ち状態をやめ、次のステップ
へ進む機能）を持たせることにより、タイムアウトのた
めの所定の時間経過した後に処理Ｂ開始合意成立に至る
ことができる。

第１３図はマスタとなった冗長系もＲｅｑを受け取った
場合にＡｃｋを返信する場合の冗長系間の信号のやり取
りである。この実施例のためのフローチャートを第１４
図に示す。この場合の合意成立に必要なＲｅ　ｑ、Ａｃ
ｋの数の関係は式（９）。

（１１）の通りである。

第９図〜第１４図の実施例によりランデブーを行ったば
あいでも、冗長系間に合意成立のタイミングのずれが有
るために第１５図に示すようにずれたタイミングの間に
フレームパルスが入った場合には、同期した出力を得る
ことはできない。第１５図の場合には、冗長系１−１、
冗長系１−３が到来したフレームパルスに同期して出力
することができるが、冗長系１−２はフレームパルス到
来までに合意成立にいたっていないために、フレームパ
ルスに同期して出力することはできない。

このような問題を解決するために、第１６図のようにフ
レームパルスの直前の所定の時間だけ合意開始禁止期間
を設け、この間はＲｅｑを送ることを禁止すれば、第１
５図に示すような際疾いタイミングを避けることができ
る。合意開始禁止期間の長さは、Ｒｅｑを送ってから合
意が成立するまでにかかる時間にマージンを加えたもの
となり、冗長系間の通信に要する時間及び条件分岐処理
に要する時間から定められる。

第１７図は第１６図の実施例を実現するためのフローチ
ャートである。自分自身がマスタとなった場合には、合
意開始禁止期間外であるときのみ、Ｒｅｑを送る。

第１８図、第１９図は、それぞれ第１１図、第１４図の
実施例において、Ｒｅｑ禁止期間（合意開始禁止期間）
の他にＡｃｋ禁止期間を設けた実施例である。自分自身
がマスタになりＲｅｑを送るときだけでなく、Ｒｅｑを
受け取るときにもＡ　ｃ　ｋ禁止期間内では受け採った
Ｒｅｑを無視する。Ａｃｋ禁止期間の長さは、最初のＲ
ｅｑをスレーブが受け取ってから合意成立に致すまでの
時間にマージンを加えた時間とすれば良い。本実施例に
より、暴走した冗長系が誤ったＲｅｑを出した場合でも
、誤った合意成立に導かれることを防止することができ
る。

第２０図、第２１図に本実施例を実現するためのインタ
フェース３−１の構成を示す。Ｍ進カウンタ３０５は共
通クロックをカウントすることにより、フレームパルス
の時間間隔をＭ等分した時間間隔を単位とする時計を構
成することができる。

それぞれの冗長系ではこのＭ進カウンタの値を参照する
ことにより得た次のフレームパルスまでの時間間隔と予
め定められた合意開始禁止期間、Ａｃｋ禁止期間とを比
較することにより、第１８図、第１９図に示す処理が可
能となる。

第２２図に本発明を実施するための冗長系１−１の例を
示す。Ｍ　Ｐ　Ｕ　（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｏｒ
　ＩＪｎｉｔ）１０２、　ＲＯＭ　（Ｒｅａｄ　０ｎｌ
ｙ　Ｍｅｍｏｒｙ）　１０３゜ＲＡＭ　（Ｒａｎｄｏｉ
＊　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）　　１０４、出力イ
ンタフェース３−１、冗長系間インタフェース１０５は
データバス１００、アドレスバス及びコントロールバス
１０１で相互に接続されており、ＭＰＵ　１０２はＲＯ
Ｍ１０３またはＲＡＭ１０４に格納されている命令に従
ってデータバス１００を通じて、ＲＯＭ　１０３、ＲＡ
Ｍ１０４、出力インタフェース３−１、冗長系間インタ
フェース１０５にデータを書き込んだり読みだしたりし
て必要な処理を行う。

ＭＰＵ　１０２には独立したクロック２−１が供給され
、クロック発振器２−１からのクロックに同期してアド
レスバス及びコントロールバス１０１へ信号を入出力す
る。

出力インタフェース３−１には、共通クロック発振器４
からの共通クロックが供給され、その共通クロックに同
期して出力６−１を出す。

冗長系間インタフェース１０５は冗長系間通信路１０６
を通じて他の冗長系との間で各種の信号をやり取りする
。タスクレベルでの同期に必要なＲｅ　ｑ＋　Ａ　ｃ　
ｋといった信号は、冗長系間インタフェース１０５を通
じて交換する。また、第７図に示すようなソフトウェア
により多数決を採る場合には、多数決を採るデータも冗
長系間インタフェース１０５を通じて交換する。

タスクレベルでの同期に必要なＲｅ　ｑ、　Ａｃ　ｋと
いった信号を交換する方法には、 ■　他のデータ（例えば、多数決を採るデータ）と同様
にデータとして交換する方法 ■　個別の信号線を用いて交換する方法の２通りの方法
がある。

■の方法では、予め例えば第２３図のように交換するデ
ータの形式を最初の１６ビツトはデータ１別、次の１６
ビツトはデータ長、データ部は可変長（但し１６ビツト
の倍数）、最後の１６ビツトはチエツクサムと定めてお
く。タスクレベルでの同期に必要なＲｅ　ｑｔ　Ａ　ｃ
　ｋといった信号を交換する場合には、データ種別コー
ドはＦＦＦＦ（１６進）、とし、ＲｅｑならばＡＡＡＡ
　（１６進）を、Ａｃｋならば５５５５　（１６進）を
データとして交換すればよい。

それぞれの冗長系１−２〜１−Ｎとを結ぶためには、第
２４図のように送受信部１１０を１つ設け、切り換えス
イッチ１１１で、切り換える方法と、第２５図のように
冗長系１−２〜１−Ｎごとに個別に送受信部１１０−２
〜１１０−Ｎを設ける方法がある。後者の方法の方が同
時に複数の冗長系とデータを交換することができる。

第２６図は送受信部１１０の構成の一例である。

ＭＰｔＪ　Ｉ　Ｏ２がアドレスバス１０１を介して送受
信部１１０のアドレスを選択し、データバス１００を通
じて交換すべきデータを出力する。アドレスデコーダ１
１２では、送受信部１１０に割り当てられたアドレスの
値がアドレスバス１０１から入力されることにより送受
信部１１０が選択されたことを検出し、データバス１０
０に出力されたデータを３ステートバツフア１１３を介
して冗長系間通信路１０６に出力する。

データを受け取る方の送受信部１１０′では、送受信部
１１０から送られたストローブ信号に従い、送られたデ
ータをラッチ１１５によりラッチする。データを受け取
る側の図示しないＭＰｔＪはアドレスバス１０１′に送
受信部１１０′のアドレス値を出力することにより、ラ
ッチ１１５によりラッチされていたデータを３ステート
バツフア１１６を介してデータバス１００′に出力させ
、データを読み込むことができる。必要に応じて、割込
み信号１１７によりラッチ１１５にデータがラッチされ
たことをＭＰＵに知らせることも可能である。

なお、送受信部１１０，１１０’　には送信部と受信部
が含まれているが、図中送受信部１１０の受信部、送受
信部１１０′の送信部は省略している。

■個別の信号線を用いて交換する方法のための冗長系間
インタフェース１０５の構成を第２７図に示す、ＭＰＵ
１０２がアドレスバス１０１にＲｅｑ、Ａｃｋに割り当
てられたアドレス値を出力することにより他の冗長系に
Ｒｅｑ、Ａｃｋを送ることができる。アドレスデコーダ
１２２゜１２４はＭＰＵ１０２によりアドレスバス１０
１にＲｅｑ、Ａｃｋ送信に割り当てられたアドレス値が
出力された場合にそれぞれＲｅ　ｑ、Ａｃｋの信号線を
アクティブにし、Ｒｅｑ、Ａｃｋの信号線は冗長系１−
２〜１−Ｎに接続されている。

冗長系１−２〜１−Ｎから送られたＲｅｑ。

Ａｃｋ信号はＲＳフリップフロップ１２５により保持さ
れる。ＲＳフリップフロップ１２５により保持されてい
るデータは、ＭＰＵ１０２がアドレスバス１０１にＲｅ
ｑ、Ａｃｋ受信に割り当てられたアドレス値を出力する
ことにより、アドレスデコーダ１２１，１２３により出
力モードにされた３ステートバツフア１２６を介してデ
ータバス１００に出力され、読み込むことができる。

必要に応じて、割込み信号１１７によりＲＳフリップフ
ロップ１２５にデータが保持されていることをＭＰｔＪ
に知らせることも可能である。

次に、今まで説明してきたフォールト・トレラント・シ
ステムの同期に好適な多重化クロック発振器について説
明する。

第２９図は、共通クロック発振器４の内部構成を示して
おり、発振器４００−１〜４００−Ｎ中の増幅器４１０
−１〜４１０−Ｎとフィードバック要１Ｒ４３０−１〜
４３０−Ｎ（７）？１１１ＬｎＩｌｌｋ決回１１＆を挿
入し、多重化した発振器の出力の多数決をとり増幅器４
１０−１〜４１０−Ｎの入力にフィードバックさせる実
施例である。増幅器４１０−１から出た出力は発振器４
００−１，４００−２゜・・・・・・、４００−Ｎ全て
の多数決回路へ入力される。

増幅器４１０−２〜４１０−Ｎの出力も、同様に全ての
発振器の多数決回路４２０−１〜４２〇−Ｎに入力され
る。多数決回路４２０−１〜４２〇−Ｎでは、全ての発
振器の増幅器出力の多数決をとり、それらの出力は各々
フィードバック要素４３０−１〜４３０−Ｎを介して増
幅器４１０−１〜４１０−Ｎに入力される。本実施例の
発振器４００−１〜４００−Ｎは、全て同一の発振周波
数で式（１２）、　（１３）の発振条件を満足する。ま
た、多数決をとった出力４４０−１〜４４０−Ｎは、す
べて同位相であるため、同期のとれた信号が増幅器４１
０−１〜４１０−３の入力にフィードバックされること
になり、各発振器の同期が実現する。本実施例により位
相、周波数ともに同一の発振出力４０４−１〜４０４−
Ｎ、４０４’　−１〜４０４’　−Ｎを得ることができ
る。

第３０図は、発振器を構成する増幅器を２段に分割し、
その間に多数決回路を挿入した実施例である。ここで発
振器は全て同一の発振周波数で式（１２Ｌ　（１３）の
発振条件を満足させる。図中、増幅器前段部４５０−１
〜４５０−Ｎからでた出力を、多数決回路４２０−１〜
４２０−Ｎにて多数決をとった後、増幅器後段部４６０
−１〜４６０−Ｎとフィードバック要素４３０−１〜４
３０−Ｎを通って増幅器前段部４５０−１〜４５０−Ｈ
にフィードバックされる。多数決回路４２０−１〜４２
０−Ｎの出力４７０−１〜４７０−Ｎは、同位相であり
、同じ増幅器後段部４６０−１〜４６０−Ｎとフィード
バック要素４３０−１〜４３０−Ｎを経て、同位相で増
幅器前段部４５０−１〜４５０−Ｎに入力される結果、
各発振器出力の同期がとれることになる。

第３１図は、第３０図の他の回路例である。ここで発振
器４００−１〜４００−Ｎは同一の発振周波数で式（１
２）、　（１３）の発振条件を満足する。第３１図は発
振器４００−１〜４００−Ｎの途中出力の多数決を多数
決回路４２０−１〜４２０−Ｎでとっている。各発振器
中の水晶発振子４３〇−１−１〜４３０−Ｎ−１は、フ
ィードバック要素４３０−１〜４３０−Ｎを構成する。

各発振器中の増幅器は多数決回路４２０−１〜４２０−
Ｎをはさんで前段部４５０−１〜４５０−Ｎと後段部４
６０−１〜４６０−Ｎに分かれている。各発振器中の増
幅器前段部４５０−１〜４５０−Ｎからの出力は、多数
決回路４２０−１〜４２０−Ｎにより多数決がとられた
のち、同位相の信号となって増幅器後段部４６０−１〜
４６０−Ｎへ入力される。増幅器後段部４６０−１〜４
６０−Ｎからの出力は、各々フィードバック要素である
水晶発振子４８０−１〜４８０−Ｎを介して増幅器前段
部４５０−１〜４５０−Ｎヘフィードバックされる。結
果として、同位相の信号がフィードバックされることに
なるため、各発振器出力の同期が実現する。

第３２図は、第２８図に於ける多数決回路４２０−１〜
４２０−Ｎを抵抗４２０−１−１〜４２０−Ｎ−Ｈによ
って実現したものである。ここでは抵抗を用いているが
、他のインピーダンス性素子を用いてもよい。

多数決回路４２０−１〜４２０−Ｎでは、抵抗４２０　
１　１〜４２０　　Ｎ　−Ｎ　ニヨッテ、全てのフィー
ドバック要素４３０−１〜４３０−Ｎからの出力の平均
値をとっている。出力の平均値は、常にデータのＬレベ
ルとＨレベルの間にある。この平均値をインバータのし
きい値（ｔｈｒｅｓｈｏｌｄｌｅｖｅｌ）で切ったとき
、どちらのレベルをとるかは、過半数の増幅器前段４５
０−１〜４５０−Ｎが出力しているレベルによって決ま
る。例えば、Ｌレベルを出力している増幅器前段の数の
ほうが多い場合は、インバータ４６０−１−１〜４６０
−１−Ｎの出力には、Ｈレベルの出力が得られる。以上
のようにして、多数決回路４２０−１〜４２０−Ｎは多
数決を実現している。

本実施例によれば、多数決回路を抵抗のみで構成できる
ため１回路が非常に簡単になり、故障率の低い回路が実
現できる。

第３３図は第１図の実施例において、第３２図の実施例
を用いて、共通クロック発振器４を多重化した実施例で
ある。冗長系１−１〜１−Ｎでは多数決回路８−１〜８
−Ｈにより、多重化した測値の発振器４００−１〜４０
０−Ｎの発振出力４０４−１〜４０４−Ｎの多数決を採
り、インタフェース３−１〜３−Ｎに入力し、出力６−
１〜６−Ｎを作り出している。本実施例により、第１図
の実施例の特徴である処理の高速性化と、連続性のほか
に、クロック発振器の耐故障性も兼ね備えることができ
る。

以上の実施例においては、フォールト・トレラント・シ
ステムの冗長系間の同期について説明したが、本発明は
、多重システムを構成して並列処理を行う複数の装置間
の同期についても応用し得る。

〔発明の効果〕

本発明により、同期のオーバーヘッドがかからず、しか
もシステム再構成時にも処理が中断することのないフォ
ールト・トレラント・システムを実現することができる
。

また本発明によれば、簡単な構成で故障の影響の少ない
多重化クロック発振器を゛実現することができる。

【図面の簡単な説明】

第１図は本発明に係るシステム構成図、第２図。 第３図は出力インタフェース部のブロック図、第４図、
第５図は出力インタフェース部の動作タイミングを表す
図、第６図〜第８図は冗長系の処理の流れを表す図、第
９図、第１０図はランデブー時の冗長系間のデータのや
り取りを表す図、第１１図はランデブ一方式のフローチ
ャート、第１２図、第１３図はランデブー時の冗長系間
のデータのやり取りを表す図、第１４図はランデブー方
式のフローチャート、第１５図、第１６図はランデブー
時の冗長系間のデータのやり取りを表す図、第１７図〜
第１９図はランデブ一方式のフローチャート、第２０図
、第２１図は出力インターフェース部のブロック図、第
２２図は冗長系の構成図、第２３図は交換するデータの
形式を表す図、第２４図〜第２７図は冗長系間インタフ
ェースの構成例を表す図、第２８図は発振器のブロック
図、第２９図〜第３２図は多重化発振器の回路図、第３
３図は本発明に係るシステム構成図、第３４図。 第３５図は従来例を表す図である。 １−１〜１−Ｎ・・・冗長系、２−１〜２−Ｎ・・・発
振器、３−１〜３−Ｎ・・・出力インタフェース、４・
・・第１図 −Ｎ ７３− 第 ２ 図 第 図 第 図 第 図 フレームパルス フレームパルス 第 ９ 第 ０ 図 図 ！処理ＢＩＳｌｌ始合意成立 第 １ 図 第１２図 第１３図 第１５図 第１６図 第１４図 第 ７ 図 第１８図 第 ０ 図 第 ９ 図 第 ２ 図 第 ２６ 図 第 ４ 図 第 ５ 図 箪 ７ 図 第 ２８ 図 ４ｏ２：フィートハック要素 第 ０ 図 第 ９ 図 第 １ 図 第 ３２ 図 第 ４ 図 −Ｎ 第 ３ 図 第 ５ 図 ３−Ｎ／

Claims (1)

1. 【特許請求の範囲】 １、複数の冗長系からなるフォールト・トレラント・シ
   ステムにおいて、前記複数の冗長系毎に独立したクロッ
   ク発振器及び、全冗長系に共通したクロック発振器を備
   え、前記共通したクロック発振器からの共通クロックを
   前記全冗長系の同期に使用することを特徴とするフォー
   ルト・トレラント・システム。 ２、複数の冗長系からなり、前記複数の冗長系毎に独立
   したクロック発振器を備えたフォールト・トレラント・
   システムにおいて、前記複数の冗長系に共通したクロッ
   クにより動作するインタフェース部を前記複数の冗長系
   毎に備えたことを特徴とするフォールトトレラントシス
   テム。 ３、複数の冗長系からなるフォールト・トレラント・シ
   ステムの冗長系間の同期方法において、前記複数の冗長
   系は、冗長系毎に独立したクロック及び、全冗長系に共
   通したクロック双方で動作することを特徴とするフォー
   ルト・トレラント・システムの冗長系間の同期方法。 ４、複数の冗長系からなるフォールト・トレラント・シ
   ステムの冗長系間の同期方法において、前記複数の冗長
   系のインタフェース部を全冗長系に共通したクロックで
   動作させ、前記複数の冗長系のインタフェース部以外の
   部分を冗長系毎に独立したクロックで動作させることを
   特徴とするフォールト・トレラント・システムの冗長系
   間の同期方法。 ５、請求項第４項において、前記インタフェース部は出
   力インタフェース部としたことを特徴とするフォールト
   ・トレラント・システムの冗長系間の同期方法。 ６、多重システムを構成して並列処理を行う複数の装置
   間の同期方法において、前記複数の装置は、各装置毎に
   独立したクロック及び、各装置に共通したクロック双方
   で動作することを特徴とする装置間の同期方法。 ７、複数の冗長系からなるフォールト・トレラント・シ
   ステムの冗長系間の同期方法において、前記複数の冗長
   系のうち、最先に同期処理の前の処理を終えて同期処理
   に入った冗長系（以下マスタと記す）が、他の冗長系（
   以下スレーブと記す）に要求を出し、 スレーブは、同期処理の前の処理を終え次第、マスタか
   らの要求に対して承諾を、他の全ての冗長系に送り、 全ての冗長系では、受け取った要求の数と承諾の数の間
   に定められた関係が成立した時点を同期の基準点とする
   ことを特徴とするフォールト・トレラント・システムの
   冗長系間の同期方法。 ８、請求項第７項記載のフォールト・トレラント・シス
   テムの冗長系間の同期方法において、受け取った要求の
   数と承諾の数の間の関係が、（１）マスタは他のマスタ
   からの要求に対して承諾を返さない場合 （ａ）自分がマスタのとき Ｎａｃｋ＝（Ｎ−Ｎｒｅｑ−１）（Ｎｒｅｑ＋１）（ｂ
   ）自分がスレーブのとき Ｎａｃｋ＝（Ｎ−Ｎｒｅｑ−１）Ｎｒｅｑ （２）マスタは他のマスタからの要求に対して承諾を返
   さない場合 （ａ）自分がマスタのとき Ｎａｃｋ＝（Ｎ−２）（Ｎｒｅｑ＋１）＋１（ｂ）自分
   がスレーブのとき Ｎａｃｋ＝（Ｎ−２）Ｎｒｅｑ ただし、Ｎｒｅｑ：要求の数 Ｎａｃｋ：承諾の数 Ｎ：冗長系の数 であることを特徴とするフォールト・トレラント・シス
   テムの冗長系間の同期方法。 ９、請求項第７項記載のフォールト・トレラント・シス
   テムの冗長系間の同期方法において、全冗長系に共通し
   たクロックにより出力を出力するタイミングの直前の一
   定時間は、マスタは要求を送らないことを特徴とするフ
   ォールト・トレラント・システムの冗長系間の同期方法
   。 １０、請求項第７項記載のフォールト・トレラント・シ
   ステムの冗長系間の同期方法において、直前の要求を受
   け取ってから一定時間の間に、受け取った要求の数と承
   諾の数の間に定められた関係が成立しない場合には、前
   記一定時間経過した時点を同期の基準点とすることを特
   徴とするフォールト・トレラント・システムの冗長系間
   の同期方法。 １１、請求項第４項記載のフォールト・トレラント・シ
   ステムの冗長系間の同期方法において、前記複数の冗長
   系のインタフェース部を除く部分の同期に、 マスタがスレーブに要求を出し、スレーブは、同期処理
   の前の処理を終え次第、マスタからの要求に対して承諾
   を、他の全ての冗長系に送り、全ての冗長系では、受け
   取った要求の数と承諾の数の間に定められた関係が成立
   した時点を同期の基準点とする同期方法を用いることを
   特徴とするフォールト・トレラント・システムの冗長系
   間の同期方法。 １２、複数の発振器からの発信出力の多数決をとる多数
   決回路を備えた多重化クロック発振器において、前記多
   数決回路はインピーダンス性素子からなり、インピーダ
   ンス性素子で入力信号の平均値をとって多数決を行う多
   数決回路を備えたことを特徴とする多重化クロック発振
   器。 １３、請求項第１２項において、前記インピーダンス性
   素子は、抵抗器としたことを特徴とする多重化クロック
   発振器。 １４、請求項第１項記載のフォールト・トレラント・シ
   ステムにおいて、前記全冗長系に共通したクロック発振
   器は、 複数の発振器からの発信出力の多数決をとる多数決回路
   を備えた多重化クロック発振器であり、 前記多数決回路はインピーダンス性素子からなることを
   特徴とするフォールト・トレラント・システム。