JPH03136533A

JPH03136533A - 分散システムの構成制御方式

Info

Publication number: JPH03136533A
Application number: JP27552189A
Authority: JP
Inventors: Hiroshi Sunaga; 宏須永; Nobuaki Kurihara; 伸明栗原; Nobuo Araki; 荒木　伸夫; Hiromichi Ono; 小野　博通
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1989-10-23
Filing date: 1989-10-23
Publication date: 1991-06-11

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、冗長構成を持つ分散システムの構成制御方式
に係り、詳しくは、障害発生時、システムを構成する各
モジュールおよび該モジュール間を接続する装置の系構
成を、システム全体の系構成を統括的に制御するモジュ
ールの存在無しに、各モジュールが自律的に制御してシ
ステムの運転を継続させる自律的モジュール系構成制御
方式に関するものである。

〔従来の技術〕

従来、冗長構成を持つ分散システムの構成制御方式とし
ては、第９図に示すように、システム全体を統合的に管
理する制御モジュール（以下、管理モジュールと称す）
による方式が知られている。

第９図は、システム全体の系構成制御を司どる管理モジ
ュール１と他の系構成制御機能を持たない一般のモジュ
ール２１〜２Ｎが、チャネル１００゜１０１．３１０〜
３ＮＯおよび３１１〜３Ｎｌを通してモジュール間結合
装置４により接続しており、それぞれ現用系、予備系と
して、管理モジュールは１０と１１、一般モジュールは
２１０〜２Ｎｏと２１１〜２Ｎｌ、および、モジュール
間結合装置は４０．４１を備えているとともに、管理モ
ジュール１内にはシステム全体の接続状態を示ず系構成
情報［２が１１″ｉかれていることを示している。

第９図において、障害発生時、各部分が障害から回復す
る際の系構成制御を以下に説明する。

第１０図は、上記システムのうち管理モジュール１以外
のモジュール２１の現用系２ｉ０が障害になった状態を
示したものである。該モジュール２１αの障害を管理モ
ジュール１からの定期的な監視や布線などにより検出す
ると、検出した障害がハードウェア障害である場合には
、管理モジュール１が系構成情報１２にもとづいてモジ
ュール２ｉ１に対して系構成指示を行い、モジュール２
１１はこの指示に従い現用系と予備系を切り替えて通信
を再開する。また、検出した障害がソフトウェア障害で
ある場合には、管理モジュール１がモジュール２ｉ０に
対してプログラムを送り、プログラム初期設定をするか
、あるいは、モジュール２１にバックアップファイル２
ｉ００を持つ場合は、管理モジュール１からの指示によ
りモジュール２ｉ０自身でプログラム初期設定を行い、
通信を再開する。モジュール２１〜２Ｎの現用系２１０
〜２ＮＯの１つ以上の障害についてもこれと同様な処理
を行う、また、モジュール間結合装置４の現用系４０の
障害については、管理モジュール１の指示により、全モ
ジュールは予備系のモジュール間結合装置４１を新しい
現用系として使用して運転再開する。

〔発明が解決しようとする課題〕

上記従来方式は、管理モジュール１が障害にならない限
り、障害モジュール以外のモジュールの運転は途切れる
ことなく継続されるが、管理モジュール１が障害になり
、システム全体の系構成端＠！１２を失うと、たとえ配
下モジュール２１〜２Ｎが正常であっても、現在の系構
成と異なる系構成情報１２の初期値として再設定される
ので、モジュール２１〜２Ｎの運転を一旦中止して系を
再構成することとなり、信頼性、およびシステム全体の
系の再構成に伴う再開時間の点で問題があった。また、
管理モジュールを配置することにより、経済性が悪いと
いう欠点があった。

本発明の目的は、このような従来方式の欠点を解決する
ため、二重化以上の冗長構成を持つ複数のモジュール、
及び該モジュール間を接続する結合装置からなるシステ
ムにおいて、系全体の構成を管理するモジュールを持つ
ことをやめ、障害発生時、システムの系、構成を各モジ
ュールの自律的な制御により実現する方式を提供するこ
とにある。

〔課題を解決するための手段〕

上記目的を達成するために、請求項（１）では、二重化
以上の冗長構成を持つ複数のモジュール及び該モジュー
ル間を結合する冗長構成の複数の結合装置からなる分散
システムにおいて、上記各モジュールは障害発生時に自
分自身で正常な系を構成するための手段を備え、障害発
生時に障害から回復して通信を継続することを特徴とす
る請求項（２）では、各モジュールは他モジュールと、
任意の１本の通信路でモジュール間の通信を行い、該通
信路の通信異常時には他の通信路に切り替えて通信を継
続することを特徴とする請求項（３）では、各モジュー
ルは他モジュールと、複数の通信路を使用し、負荷分散
してモジュール間の通信を行い、ある通信路の通信異常
時には残りの正常な通信路により通信を継続することを
特徴とする請求項（４）では、各モジュールは他のモジュールと、
？Ｍ数の通信路を使用し、送信側では各通信路に同一デ
ータを複製して送信し、受信側ではその任意のデータを
有効としてモジュール間の通信を行い、ある通信路の通
信異常時には残りの正常な通信路の任意のデータに有効
として通信を継続することを特徴とする。

〔作　用〕

本発明では、各モジュールは、障害発生時に自分自身で
正常な系を構成するための機能を備え。

常に他モジュールとのモジュール間通信を実行可能なよ
うに、他の全モジュールとの間に例えば２本ずつ通信路
を設定し、通常１本のみの通信路でモジュール間の通信
を行うが、該通信路の通信異常時に他の通４ａ路に切り
替えデータを転送する方式、または、他の全モジュール
との間に複数本ずつの通信路を設定し、複数本の通信路
に、データを分散して送付し、特定の通信路障害時には
他の通信路により転送する方式、または、他の全モジュ
ールとの間に同じく複数本ずつの通信路を設定し、各通
信路に同じ内容のデータを複製して送出し、受信側のモ
ジュ、−ルでは例えば最初に到着したデータのみを受信
し、特定の通信路障害時には他の通信路により転送する
方式、のいずれかにより情報転送を実現する。これによ
り、系全体の構成を管理するモジュールを持つことなく
、システムの系構成を各モジュールの自律的な制御によ
り実現できる。

〔実施例〕

以下、本発明の一実施例について図面により説明する。

第１図は本発明の一実施例の構成図であり、第９図にお
けるシステム全体の系構成を制御する管理モジュールｌ
は存在しない、ここでは、モジュール５１が他のモジュ
ール５ｊとの間でモジュール間結合袋Ｗｉ７を通して、
情報の交換、および障害からの回復を図る例について説
明する。

モジュール５１とモジュール５ｊは、それぞれ、障害検
出機構とバックアップファイルとプログラム初期設定機
能と系切替え機能からなる自律的に正常な系を構成する
ための機能を有する。

第２図に、この自律的に正常な系を構成するための機能
のブロック図を示す、障害検出部２０１は、障害を検出
し、発生した障害がプログラム障害である場合には、プ
ログラム初期設定部２０２にプログラム初期設定を命令
する０発生した障害がハードウェア障害もしくは通信の
手順上の障害である場合には、系切替え部２０４に対し
て系切替えを命令する。この系切替え部２０４に対して
の系切替え命令には、発生した障害がモジュール間結合
装置もしくはチャネル部の障害であるのかモジュール内
の障害であるのかを識別するためのパラメータを付与す
る。プログラム初期設定部２０２は、プログラム初期設
定を命令されると、障害が発生したプログラムを、バッ
クアップファイル蓄積部２０３のバックアップファイル
で尊き換え、該バックアップファイルで置き換えたプロ
グラムを初期設定し、実行する。系切替え部２０４は、
系切替えを命令されると、パラメータに応じた切替え処
理を行う、パラメータが、障害がモジュール内の障害で
あることを表す場合には、系切替え機能部はモジュール
の現用系と予備系とを切り換える。パラメータが、障害
がモジュール間結合装厄もしくはチャネル部の障害であ
ることを表す場合には、後述の第４図、第６図及び第８
図のフローチャートに基づき処理を行う。

モジュール間結合袋ｗ７は、冗長構成として２系統のモ
ジュール間結合装置７０．７１からなり、相手モジュー
ルの宛先を示す物理的あるいは論理的アドレスを付与さ
れたある特定の長さ以下のデータ単位９０によって通信
が行われるものであり、物理的にはバスでもリングでも
ネットワークでもポイント・ツー・ポイント結合でもか
まわない。

モジュールは冗長構成をとっており、５ｉ０〜５ｋＯ１
５ｉ１〜５ｋｌの装置からなり、モジュール間結合装置
７にアクセスするためにチャネル６１０〜６ｋＯ１６ｉ
１〜６ｋｌに交絡をもって接続している。ここで、モジ
ュール５１と他のモジュール５ｊとの間の通信および障
害回復処理の観点からは第３図、第５図及び第７図のよ
うに論理化できる。

第１図のシステムにおいて障害が発生した場合について
述べる。モジュール内に障害が発生した場合には、障害
が発生したモジュールの障害検出部２０１が該障害を検
出し、検出した障害がハードウェア障害であれば、系切
替え部２０４により現用系と予備系を切り換えることに
より障害から回復し、また、該障害がソフトウェア障害
であれば、プログラム初期設定部２０２により、バック
アップファイルを使用し、プログラムを初期設定するこ
とにより障害から回復することができる。

モジュール間結合装置もしくはチャネル部に障害が発生
した場合には、下記（１）〜（３）の実施例に示す制御
方法により障害から回復できる。

（１）第３図及び第４図の制御方法第４図においては、ある時点でのモジュールＳｉｉ側の
現用系装置を５ｉ０．５Ｊ側の現用系装置を５　、ｊ　
Ｏとした場合、モジュール５１側のチャネル６ｉ０．６
ｉ１、モジュール５ｊ側のチャネル６ｊ０，６ｊ１、お
よびモジュール間結合装置７０．７１は活性化をしてお
き、常時データ単位を転送可能としておく。送信側の現
用系モジュールは、どちらか片側のチャネルのみにデー
タ単位を送出する。本実施例においては、両系の通信路
、チャネル６ｉ０〜モジユール間結合装置７０〜チャネ
ル６ｊＯおよびチャネル６ｉ１〜モジユール間結合装置
７１〜チャネル６ｊｌのうちのチャネル６ｉ０〜モジユ
ール間結合装＠７０〜チャネル６ｊＯの経路でデータ単
位９０，９１，９２がこの順で転送されるものとする。

データ単位の転送については、ＨＤＬＣ手順のように、
データ単位に送出順に番号を付与し、送達確認、確認の
タイマ監視による再送、再送りトライアウトによる障害
報告ができるモジュール間通信手順８に従って論理的な
通信路８０を設定することによって行われる。

現在使用している通信路８０から、手順上の障害、ある
いはハードウェア上の異常が検出された場合、発着の両
モジュールは、他のモジュール間結合装置を用いて論理
的な通信路８１を設定することにより、通信を再開する
。この時、再設定が失敗した場合は、元のモジュール間
結合装置７０で上記の論理を繰り返し１通信が再開でき
るまでこれを続ける。モジュールに障害が起こり、自律
的に正常な系を構成するための機能により再開があった
場合でも同様であり、正常なモジュール５１０は相手側
５ｊＯまたは５ｊｌの再開処理中、通信が可能になるま
で上記処理を繰り返し、再開したモジュールは、再開処
理の一環として、適当なモジュール間結合装置を選択し
、上記と同様の論理的な通信路を再設定し、成功したら
正常運転に戻る。

なお、２系ある通（Ｎ路、即ちチャネル６ｉ０〜モジユ
ール間結合装置７０〜チャネル６ｊＯおよびチャネル６
ｉ１〜モジユール間結合装置７１〜チャネル６ｊｌを両
モジュールから同一周期で切替え、論理的な通信路の再
設定を試みると、常に両モジュールが互いに異なる通信
路上で再設定を試み、論理的な通信路の再設定が不可能
な場合が有りうるので、各県の再設定を繰り返すタイミ
ングとして１両モジュール双方が独立に通信路を切り換
えても、モジュール間結合装置７０．７１のそれぞれに
ついて、両モジュール双方が同時にその１つを選択する
場合が必ず存在し、その時間が論理パスが設定できる時
間よりは大きいような切替えパターンを作り、各モジュ
ールが各々この一つのバタンにしたがって再設定を行う
などの処置をとるとよい。また、無通信時間が長く、ハ
ードウェアからの異常も報告されない場合のために、通
信手順として、一定時間毎に通信路正常性チエツク用の
信号を双方でやりとりすることにより通信路障害を検出
する（例えば、ＨＤＬＣ手順を用いれば、一定周期でポ
ールビットにＰを立てたレシーブレデイフレームをやり
とりする）。

第４図は以上の処理手順を示したものである。

この処理をシステム内全モジュールすべての組合せで行
うことにより、通信路上の任意の部分に障害が発生して
も自律的に回復できる制御方式が実現できる。

（２）第５図及び第６図の制御方法第５図においては、ある時点でのモジュール５ｉ側の現
用系袋Ｖｉ５ｉ０．５ｊ側の現用系装置を５ｊＯとした
場合、モジュール５１側のチャネル６ｉ０．６ｉ１、モ
ジュール５ｊ側のチャネル６ｊ０．６ｊ１．およびモジ
ュール間結合装Ｗｔ７０゜７１を活性化しておき、常時
データ単位を転送可能としておく。受信側の現用系モジ
ュールは常に両系チャネルからデータ単位を受信できる
状態にしておく。この両系の通信路、即ちチャネル６１
０〜モジユール間結合装ｈ１７０〜チャネル６ｊＯおよ
びチャネル６ｉ１〜モジユール間結合装置７１〜チャネ
ル６、ｊｌのそれぞれに、上記（１）で述べたのと同一
の手順８に従う論理的な通信路８０゜８１を設定し、さ
らにその両方の論理的な通信路を用いて、手順８で付与
したのとは別の新たな番号を付与したデータ単位をモジ
ュール間通信路の両系を用いる任意の選択論理で振り分
けて、番号管理を行いつつ転送するという手順８２にて
、相手モジュールとの間で通信を行う、この例では、デ
ータ単位９０，９１．９２を交互にモジュール間結合装
置７０．７１を送出している。このレベルで送達確認を
行ってもよいし、下位の手順８の送達確認を信用して送
達確認を行わなくてもよい。

通信路上に障害が発生した場合は、その通信路に対しデ
ータ単位を送信することを中止し、修復を試みる。修復
が完了した場合には再度系に組み込み、データ転送に供
する。障害を検出した時点で、−その通信路に送出すべ
く待ち合せていたデータ単位については、正常系の方に
つなぎ替え１通信を続ける。相手モジュールが障害の場
合には、通信路が両系とも異常になるが、各通信路の再
設定を繰り返し、相手側が再開して通信路の再設定を始
め通信が可能になるまでこれを続ける。また上記（１）
と同様に、無通信状態でかつハードウェアから報告の上
がらないような障害のために、各論理的な通信路８０，
８１、または手順８２にて送達確認を行う場合は、この
手順中にて、チエツク用の信号を流して障害の検出を行
う。

なお、本実施例では通信路は２系であるが、スループッ
ト、信頼度の要求に応じて、同様の論理を複数の通信路
に当てはめてよい。

第６図は以上の処理手順を示したものである。

（３）第７図及び第８図の制御方法第７図においては、ある時点でのモジュール５１側の現
用系装置を５１０，５ｊ側の現用系装置を５ｊＯとした
場合、モジュール５１側のチャネル６ｉ０．６ｉ１、モ
ジュール５ｊ側のチャネル６ｊ０．６ｊｌ、およびモジ
ュール間結合装置７０．７１は活性化をしておき、常時
データ単位を転送可能としておく、受信側の現用系モジ
ュールは常に両系チャネルからデータ単位を受信できる
状態にしておく。この両系の通信路、即ちチャネル６ｉ
０〜モジユール間結合装置７０〜チャネル６ｊＯおよび
チャネル６ｉ１〜モジユール間結合装百７１〜チャネル
６ｊｌのそれぞれに、上記（１）で述べたのと同一の手
順８に従う論理的な通信路８０．８１を設定し、さらに
その両方の論理的な通信路を用いて１手順８で付与した
のとは別の新たな番号をデータ単位に付与したうえで該
データ単位を複製して、両方の通信路を用いて転送し、
受信側では先着したデータ単位を受けとり、残りは廃棄
するという手順８３にて、相手モジュールとの間で通信
を行う、この例では、データ単位９Ｑ、９１．９２を複
製して両モジュール間結合装置ｉ！７０．７１の両方に
送出している。このレベルで送達確認を行ってもよいし
、下位の手順８の送達確認を信用して送達確認を行わな
くてもよい。

通信路上に障害が発生した場合は、その通信路に対しデ
ータ単位を送信することを中止し、修復を試みる。修復
が完了した場合には再度系に組み込み、データ転送に供
する。障害を検出した時点で１片側のみの転送でモジュ
ール間通信が継続される。相手モジュールが障害の場合
には、通信路が両系とも異常になるが、各通信路の再設
定を繰り返し、相手側が再開して通信路の再設定を始め
通信が可能になるまでこれを続ける。また上記の（１）
と同様に、無通信状態でかつハードウェアから報告の上
がらないような障害のため、各論理通信路ｓｏ、ｓｉ、
または手［８３にて送達確認を行う場合はこの手順中に
て、チエツク用の信号を流して障害の検出を行う。

なお、本実施例では、この通信路は２系であるが、信頼
度の要求に応じて、同様の論理を複数の通信路に当ては
めてよい。

第８図は以上の処理手順を示したものである。

この処理をシステム内全モジュールすべての組合せを行
うことにより、通信路上の任意の部分に障害が発生して
も自律的に回復できる制御方式が実現できる。

〔発明の効果〕

以上説明したように１本発明によれば、分散システムの
系構成を各モジュールの自律的な制御により実現するこ
とが可能になり、従来の方式のように、管理モジュール
が障害になり、システム全体の系構成情報を失い、正常
な配下モジュールまで初期設定することがなくなるので
、信頼性が高くなり、また、管理モジュールを省略でき
るという経済性の面の効用もある。

【図面の簡単な説明】

第１図は本発明の一実施例の全体構成図、第２図は各モ
ジュールが具備する正常な系を構成するための機能のブ
ロック図、第３図及び第４図は本発明の第１の制御方式
を説明するための図、第５図及び第６図は本発明の第２
の制御方式を説明するための図、第７図及び第８図は本
発明の第３の制御方式を説明するための図、第９図は従
来方式の全体楕成図、第１０図は第９図による障害回復
手続を説明するための図である。５１〜５ｋ・・・一般モジュール、５ｉ０〜５ｋＯ・・・一般モジュールの現用系、５ｉ１
〜５ｋｌ・・・一般モジュールの予備系。５ｉ００〜５ｋＯＯ・・・自律的系構成手段、６ｉ０〜
６ｋＯ・・・チャネルの現用系。６ｉ１〜６ｋｌ・・・チャネルの予備系、７・・・モジ
ュール間結合装置。７０・・・モジュール間結合装置の現用系、７１・・・
モジュール間結合装置の予備系。９０・・・データ単位。第３図第５図第７図３第８図

Claims

【特許請求の範囲】

（１）二重化以上の冗長構成を持つ複数のモジュール及
び該モジュール間を結合する冗長構成の複数の結合装置
からなる分散システムにおいて、上記各モジュールは障
害発生時に自分自身で正常な系を構成するための手段を
備え、障害発生時に障害から回復して通信を継続するこ
とを特徴とする分散システムの構成制御方式。
（２）各モジュールは他モジュールと、任意の１本の通
信路でモジュール間の通信を行い、該通信路の通信異常
時には他の通信路に切り替えて通信を継続することを特
徴とする請求項（１）記載の分散システムの構成制御方
式。
（３）各モジュールは他モジュールと、複数の通信路を
使用し、負荷分散してモジュール間の通信を行い、ある
通信路の通信異常時には残りの正常な通信路により通信
を継続することを特徴とする請求項（１）記載の分散シ
ステムの構成制御方式。
（４）各モジュールは他のモジュールと、複数の通信路
を使用し、送信側では各通信路に同一データを複製して
送信し、受信側ではその任意のデータを有効として、モ
ジュール間の通信を行い、ある通信路の通信異常時には
残りの正常な通信路の任意のデータを有効として通信を
継続することを特徴とする請求項（１）記載の分散シス
テムの構成制御方式。