JP4487260B2

JP4487260B2 - 多重系システム

Info

Publication number: JP4487260B2
Application number: JP2005245319A
Authority: JP
Inventors: 俊一加賀屋; 英樹遅野井; 一弘日向; 剛武林; 信行於曽能
Original assignee: Hitachi Ltd; Hitachi Information and Control Solutions Ltd
Current assignee: Hitachi Ltd; Hitachi Information and Control Solutions Ltd
Priority date: 2005-08-26
Filing date: 2005-08-26
Publication date: 2010-06-23
Anticipated expiration: 2025-08-26
Also published as: JP2007058708A

Description

本発明は、汎用ネットワークに接続された複数の汎用計算機を稼働系および待機系として組み合わせた多重系システムに係り、特に、障害が発生した計算機の復旧および障害情報の収集処理と計算機の相互監視のための構成に関する。

鉄道運行管理，電力系統制御，プラント制御などの高信頼性が要求される用途では、稼働系計算機に障害が発生した場合に、その稼働系計算機の処理を引き継ぐ待機系計算機を備えた多重系システムが用いられている。

従来の計算機システムでは、専用ネットワークと専用機能拡張ボードとを用いて、多重系システムを構築してきた。

専用機能拡張ボードを搭載した計算機を用いる多重系システムにおいて、障害発生時に障害が発生した稼働系計算機が、本来の処理を停止して障害情報を保存し、待機系計算機が自律的に処理を引き継ぐ方法が提案されている(例えば、特許文献１参照)。

また、保守作業者が計算機の設定場所まで出向かなくても、ネットワークを介して障害を検出し、障害が発生した第１計算機からの復旧処理要求電文を受信した第２計算機によって復旧処理制御回路がＣＰＵを復旧処理し、障害から復旧する方法も提案されている(例えば、特許文献２参照)。

ＷＯ９９／２６１３８号公報(第６〜１１頁図１，図２) 特開２００３−６７２１９号公報(第３〜５頁図１〜図４)

特許文献１の多重系システムにおいては、障害検出や復旧処理に、専用ネットワークと専用機能拡張ボードとが必要なので、ソフトウェアも含めて開発にそれなりの期間を要し、システムの構築コストが高くなってしまう。

特許文献２に記載の計算機は、１つのネットワークによって接続されているので、他周辺機器から大量の電文が到達してネットワーク負荷が大きくなったときに、正常動作の計算機１から送信されるべき生存通知電文を所定のタイミングで送信できない場合があり、計算機２が障害と判断し、正常動作の計算機１を再起動(リセット)してしまうという問題がある。

本発明の課題は、汎用ネットワークや汎用計算機などの汎用技術を利用し、計算機間のネットワークの負荷にかかわらず、障害を相互監視し迅速に復旧できる高信頼多重系システムを短期間で安価に構築することである。

本発明は、上記課題を解決するために、以下に示す５つの手段を適宜組み合わせて用いる。
(１)ネットワークの二重化
複数の計算機が相互監視するための通信経路は、互いに独立した２つの汎用ネットワークからなる二重構成とする。
(２)ネットワークドライバの二重化
複数の計算機を相互監視するために独立した２つのネットワークを制御するネットワークドライバ(ネットワーク制御プログラム)も、それぞれの経路に対応するように２つに分離する。
(３)内部バスの二重化
内部バスを管理バスと拡張バスとに分離し、二重化する。
(４)系切換え制御(ＬＸＰ)ドライバのポーリング
分離された系切換え制御(ＬＸＰ)ドライバは、割込み処理をすることなく、系切換え制御(ＬＸＰ)ボードに対して送信要求または処理要求がないかを定期的にポーリングし、他周辺機器からの電文量の影響を受けないで、障害情報信号のみを送受信する。
(５)ＣＰＵ再起動(リセット)／停止
障害発生が発生すると、それを検出した計算機が、障害系にＣＰＵ再起動(リセット)要求電文を送信する。ＣＰＵ再起動(リセット)要求電文を受信した障害系の系切換え制御(ＬＸＰ)ボードが、ＯＳに対してマスク不可能割込み信号を発生させる。マスク不可能割込み信号に応じて当該時点におけるメインメモリの内容をディスク装置に保存するメモリダンプを開始する。メモリダンプ終了後にシステム停止または再起動(リセット)を実行する。
具体的には、本発明は、複数の計算機が稼働系または待機系として組み合わされ、各計算機に備えられた他系監視プログラムにより相互監視して稼働系計算機の障害発生時に当該計算機が実行している処理を待機系計算機が引き継ぐ多重系システムにおいて、前記複数の計算機は、それぞれ、前記他系監視プログラムが他計算機と生存通知電文を送受信するＬＡＮ制御装置と、前記他系監視プログラムが他計算機と系切換えに関連する情報を送受信する系切換え制御ボードとを備え、各計算機の前記ＬＡＮ制御装置は、インタフェース層および汎用通信プロトコル層を経由して前記他系監視プログラムと通信する汎用ドライバを介して第1の汎用ネットワークに互いに通信可能に接続され、各計算機の前記系切換え制御ボードは、前記インタフェース層および前記汎用通信プロトコル層を経由しないで前記他系監視プログラムと直接通信する系切換え制御ドライバを介して、第１の汎用ネットワークから独立した第２の汎用ネットワークに互いに通信可能に接続されてなることを特徴とする。

マスク不可能割込み信号によっても障害系がメモリダンプを実行しないデッドロック状態では、障害発生を検出した計算機が、障害系にＣＰＵ停止要求電文を送信する。ＣＰＵ停止要求電文を受信した障害系の系切換え制御(ＬＸＰ)ボードが、障害系をＣＰＵ停止状態とする。

本発明によれば、汎用ネットワークなどの汎用技術を利用し、計算機間のネットワークの負荷にかかわらず、障害を相互監視し迅速に復旧できる高信頼多重系システムを構築することができる。

次に、図１〜図８を参照して、本発明による多重系システムの実施例を説明する。

図１は、本発明による多重系システムの一実施例の系統構成を示すブロック図である。

図１の多重系システムは、説明を単純にするために、２台の計算機を含む二重系システムとしてある。本発明の多重系システムは、３台以上の計算機で構成してもよい。

図１は、稼働系計算機１００と、待機系計算機１０１を示している。系切換えをすると、稼働系計算機１００は、待機系計算機となり、待機系計算機１０１は、稼働系計算機として動作する。

各計算機１００，１０１は、ＣＰＵ１１０と、メインメモリ１１１と、入出力制御装置(Ｉ／Ｏ)１１２とを備えている。入出力制御装置(Ｉ／Ｏ)１１２には、ディスク装置１１３，管理バス１２０，拡張バス１２１が接続されている。本実施例の入出力制御装置(Ｉ／Ｏ)１１２には、拡張管理バス１２２により、ＬＡＮ制御装置１１４も接続されている。

拡張バス１２１には、計算機の機能を拡張する回路が接続される。一般的には、回路が実装された拡張ボードをスロットコネクタに挿入すると、拡張バス１２１に接続できる。ただし、一部の機能は、計算機本体内に実装され、拡張バスに内部で直接接続されている場合もある。

本実施例の計算機１００，１０１は、拡張ボードとして、ＬＡＮボード１１５と、系切換え制御(ＬＸＰ)ボード１１６とを備える。系切換え制御(ＬＸＰ)ボード１１６は、管理バス１２０を介しても、入出力制御装置(Ｉ／Ｏ)１１２に接続されている。

計算機１００内のＬＡＮ制御装置１１４は、汎用ネットワークであるＬＡＮ１・１０２に接続され、このＬＡＮ１・１０２に接続された計算機１０１内のＬＡＮ制御装置１１４と通信する。ここでは、主に生存通知電文を送受信する。汎用ネットワークＬＡＮ１・１０２としては、広く普及しているEthernetなどがある。

ＬＡＮボード１１５は、汎用ネットワーク１０４，１０５に接続され、この汎用ネットワーク１０４，１０５に接続された他の計算機などと通信する。

系切換え制御(ＬＸＰ)ボード１１６は、計算機の系切換え制御(ＬＸＰ)のための機能拡張ボードであり、汎用ネットワークであるＬＡＮ２・１０３を介して接続される。系切換え制御(ＬＸＰ)ボード１１６は、計算機１００，１０１相互間で、相手計算機の生存を監視し、系切換えに必要な強制割込み，動作停止，計算機再起動(リセット)の各指示電文を送信し、各指示電文受信時には自計算機でその指示内容を実行する。

図２は、メインメモリ１１１内に格納しているソフトウェア１１７の階層構造の一例を示す図である。

稼働系計算機１００のメインメモリ１１１には、ＯＳ１３０，アプリケーション１３１，管理プログラム１３２，他系監視プログラム１３３が読み出され、アプリケーション１３１，管理プログラム１３２，他系監視プログラム１３３が、ＯＳ１３０上で実行される。待機系計算機１０１のソフトウェアの構成も、同様であり、こちらのアプリケーション１３１は、待機系として動いている。

管理プログラム１３２は、稼働系計算機と待機系計算機とを切換えるプログラムである。管理プログラム１３２は、系切換え制御(ＬＸＰ)ボード１１６に対して電文送受信を要求し、動作を指示し、他系監視プログラム１３３に対して生存通知電文の送受信を要求する。

他系監視プログラム１３３は、ＬＡＮ制御装置１１４を使い、ＬＡＮ１・１０２を介して、他計算機と生存通知電文を送受信する。電文送受信は、汎用通信プロトコルを使って実行する。他系監視プログラム１３３は、汎用通信プロトコルでデータを送受信するために予め決められたアドレスすなわちポートで、他計算機からの接続を待ち、接続された場合には電文を受信して本プログラム内で内容を保持し、管理プログラム１３２からの読み出し要求に対して保持している内容を返す。他系監視プログラム１３３は、管理プログラム１３２からの生存確認電文送信要求を受け、二重系を構成している他計算機上の管理プログラム１３２が待機しているポートに電文を送信する。

割込み処理プログラム１１８は、ＣＰＵ１１０に対してマスク不可能割込み(Non-Maskable InterruptＮＭＩ)信号が入力されたときに起動され、障害が発生してＮＭＩ信号が入力されたときに、障害情報の保存などの処理を実行する。

汎用ネットワーク１０４，１０５のための汎用のEthernetドライバ１４１は、Ｉ／Ｆ層１４４およびUser Datagram Protocol／Internet ProtocolＵＤＰ／ＩＰ層を介して、他系監視プログラム１３３と通信する。

本発明の特徴は、汎用ネットワークであるＬＡＮ２・１０３を介して接続される切換え制御(ＬＸＰ)ボード１１６の動作を、同じく汎用ネットワーク１０４，１０５に接続されるＬＡＮボード１１５系の動作から分離するために、専用のＬＸＰドライバを備えたことである。

その他に、管理バス１２０を駆動する管理バス用ドライバ１４３も備えている。

図３は、系切換え制御(ＬＸＰ)ボード１１６の内部構成の一例を示すブロック図である。

系切換え制御(ＬＸＰ)ボード１１６は、ネットワークインタフェース２００と、再起動(リセット)制御装置２０１と、電文比較回路２０２とからなり、管理バス１２０および拡張バス１２１に接続されている。

系切換え制御(ＬＸＰ)ボード１１６は、ＬＡＮ２・１０３を介して他系と信号２１１を送受信する。電文比較回路２０２は、他系からＣＰＵ再起動(リセット)要求電文を受信すると、ＣＰＵ再起動(リセット)要求であると判断し、再起動(リセット)制御装置２０１が、拡張バス１２１を介して、ＣＰＵ１１０に割込み信号２０８を出力する。

その後、電文比較回路２０２は、他系からＣＰＵ停止要求電文を受信すると、ＣＰＵ停止要求であると判断し、再起動(リセット)制御装置２０１が、ＣＰＵ停止信号２０９を送信し、自系のＣＰＵを停止させる。また、管理バス１２０経由で自系のＣＰＵ再起動(リセット)信号２１０を受信した再起動(リセット)制御装置２０１は、ＣＰＵ停止信号２０９を送信し、自系のＣＰＵを停止させる。

続いて、５つの解決手段を詳細に説明する。
(１)ネットワークの二重化
計算機間で相互に監視する際に、それぞれが汎用ネットワークであるＬＡＮ１・１０２、ＬＡＮ２・１０３という物理的に独立した２つの経路を用いる。

ＬＡＮ１・１０２は、計算機１００，計算機１０１のＬＡＮ制御装置１１４に接続される。ＬＡＮ２・１０３は、計算機１００，計算機１０１の系切換え制御ボード１１６に接続され、拡張バス１２１を介して、入出力装置１１２に接続されている。ＬＡＮ１・１０２とＬＡＮ２・１０３とは、接続先のバス線が異なるので、片系のネットワークに障害が発生した場合でも、相手を監視でき、全体の信頼性が高められる。
(２)ネットワークドライバの二重化
汎用ネットワークの二重化に伴い、ＯＳ１３０内の汎用ドライバについても二重化する。ＯＳ１３０内の汎用ドライバは、通常の汎用ドライバ(Ethernetドライバ)１４１と系切換え制御(ＬＸＰ)ドライバ１４２とに二重化する。

ＬＡＮ１１０２，ＬＡＮ２・１０３は、ともに汎用ネットワークなので、通常の汎用ドライバ１４１では、インタフェース層１４４，汎用通信プロトコル層１４５などの共通部分があり、スプリットブレイン状態が発生する。

これに対して、系切換え制御(ＬＸＰ)ドライバ１４２は、インタフェース層１４４，汎用通信プロトコル層１４５を経由せずに、他系監視プログラム１３３と直接通信し、スプリットブレイン状態を回避している。

図４は、ＬＡＮ２がスプリットブレイン状態を回避する様子を示すタイムチャートである。

ＬＡＮ１・１０２が高負荷状態１５２となり、相互の計算機の状態を把握できない状態(スプリットブレイン状態)１５１で、計算機１０１の他系監視プログラム１３３から送信された生存通知電文１５０が、計算機１００内のＬＡＮ１・１０２に達したときに、他にＬＡＮ１・１０２を介して通信している周辺機器からの電文に埋もれ、計算機１００内の他系監視プログラム１３３に達するまでに非常に長い時間がかかってしまう。

一方、ＬＡＮ２・１０３から送信された生存通知電文１５０は、ＯＳ１３０内のインタフェース層１４４と汎用通信プロトコル層１４５を介さずに、他系監視プログラム１３３と直接接続できるので、ＬＡＮ１・１０２が高負荷状態でも、障害監視できる。
(３)内部バスの分離
内部バスを管理バス１２０と拡張バス１２１とに分離する。１つの計算機の内部で、系切換え制御ボード１１６は、ＣＰＵ１１０の制御に管理バス１２０を用い、ＣＰＵ１１０との通信に拡張バス１２１を用いる。拡張バス１２１は、ＳＣＳＩボード等の機能拡張ボードと通信するので、バス上の電文量が変動する。これに対して、管理バス１２０は、バス上の電文流量が固定であるため、ＣＰＵ１１０の再起動要求実行時などに障害要因が少ない。また、相互の障害監視に用いると、相手系に発生した障害を検知できる。
(４)系切換え制御(ＬＸＰ)ドライバのポーリング
系切換え制御(ＬＸＰ)ドライバ１４２は、割込み処理プログラム１１８を使用せずに、ポーリングによって送受信する。

図５は、割込みの処理手順を示すフローチャート、および、割込みが多発したときのキューを示す図である。

割込みを使用した場合、ＦＩＦＯ方式でデータが送られるので、他の拡張バス上の拡張ボードから割込みが多発すると、系切換え制御(ＬＸＰ)ドライバ１４２に生存通知電文が届かない場合がある。

図６は、ポーリングの処理手順を示すフローチャート、および、ポーリング時のキューを示す図である。

本発明においては、ポーリングを用いて、生存通知電文が届かないという問題を回避している。系切換え制御(ＬＸＰ)ドライバ１４２は、電文を１００ｍｓ間隔で受信し、送られてくる電文を受信周期の半分の５０ｍｓ間隔で常に読み出しに行くので、生存通知電文が埋もれるということがない。
(５)ＣＰＵ再起動(リセット)／停止機能
系切換え制御(ＬＸＰ)ボード１１６は、他系からのＣＰＵ再起動(リセット)機能，他系からのＣＰＵ停止機能，自系のＣＰＵ停止機能を備えている。
ａ．他系からのＣＰＵ再起動(リセット)／停止機能
図７は、他系監視プログラムにより、障害情報を収集して、ＣＰＵを停止する処理手順を示すタイムチャートである。

他系監視プログラム１３３は、系切換え制御(ＬＸＰ)ボード１１６をＣＰＵ再起動(リセット)要求許可状態とする。他系監視プログラム１３３による二重系オンライン状態において、障害発生計算機１６９からの生存通知電文１６１が正常動作計算機１７０に届かなくなると、正常動作計算機１７０からのＣＰＵ再起動(リセット)要求１６４を受信する。

障害発生計算機１６９の系切換え制御(ＬＸＰ)ボード１１６は、受信データがＣＰＵ再起動(リセット)要求と認識すると、ＮＭＩ信号１７１を発生させる。

ＮＭＩ信号１７１を受け付けた他系監視プログラム１３３は、障害情報収集１６５を実行する。正常動作計算機１７０からのＣＰＵ再起動(リセット)１６４またはＣＰＵ停止要求１６７を無視１６６する。

障害情報を収集し終えると、障害発生計算機は停止１６８する。
ｂ．他系からのＣＰＵ再起動(リセット)／停止機能
図８は、他系監視プログラムにより、障害情報を収集しないで、ＣＰＵを停止する処理手順を示すタイムチャートである。

ＮＭＩ信号１７１を受け付けた他系監視プログラム１３３は、マスク不可能割込み信号によっても障害系がメモリダンプを実行しないデッドロック状態１７２が続くと、正常動作計算機１７０からのＣＰＵ再起動(リセット)１６４またはＣＰＵ停止要求１６７を無視１７３し続け、障害情報を収集することなく、障害発生計算機を停止１７４する。

これ以降、障害発生計算機１６９は、ＣＰＵ停止状態となる。
ｃ．自系のＣＰＵ停止機能
再起動(リセット)制御装置２０１は、自系のＣＰＵ停止要求信号を受信すると、拡張バス１２１に対して障害通知信号を発生させ、ＮＭＩ割込みを発生させる。

以降、障害情報収集終了後の再起動(リセット)まで、他系からのＣＰＵ再起動(リセット)／ＣＰＵ停止要求は、無視する。

本発明による多重系システムの一実施例の系統構成を示すブロック図である。メインメモリ１１１内に格納しているソフトウェア１１７の階層構造の一例を示す図である。系切換え制御(ＬＸＰ)ボード１１６の内部構成の一例を示すブロック図である。ＬＡＮ２がスプリットブレイン状態を回避する様子を示すタイムチャートである。割込みの処理手順を示すフローチャート、および、割込みが多発したときのキューを示す図である。ポーリングの処理手順を示すフローチャート、および、ポーリング時のキューを示す図である。他系監視プログラムにより、障害情報を収集して、ＣＰＵを停止するする処理手順を示すタイムチャートである。他系監視プログラムにより、障害情報を収集しないで、ＣＰＵを停止する処理手順を示すタイムチャートである。

符号の説明

１００，１０１計算機
１０２ＬＡＮ１
１０３ＬＡＮ２
１０４，１０５汎用ネットワーク
１１１メインメモリ
１１２入出力制御装置(Ｉ／Ｏ)
１１３ディスク装置
１１４ＬＡＮ制御装置
１１５ＬＡＮボード
１１６系切換え制御(ＬＸＰ)ボード
１１７ソフトウェア
１１８割込処理プログラム
１２０管理バス
１２１拡張バス
１２２拡張管理バス
１３０ＯＳ
１３１アプリケーション
１３２管理プログラム
１３３他系監視プログラム
１４１ Ethernetドライバ
１４２ＬＸＰドライバ
１４３管理バス用ドライバ
１４４Ｉ／Ｆ層
１４５ＵＤＰ／ＩＰ層
１５０生存通知電文
１５１スプリットブレイン状態
１５２高負荷状態(輻輳状態)
２００ネットワークインタフェース
２０１再起動(リセット)制御装置
２０２電文比較回路
２０９ＣＰＵリセット停止信号

Claims

複数の計算機が稼働系または待機系として組み合わされ、各計算機に備えられた他系監視プログラムにより相互監視して稼働系計算機の障害発生時に当該計算機が実行している処理を待機系計算機が引き継ぐ多重系システムにおいて、
前記複数の計算機は、それぞれ、前記他系監視プログラムが他計算機と生存通知電文を送受信するＬＡＮ制御装置と、前記他系監視プログラムが他計算機と系切換えに関連する情報を送受信する系切換え制御ボードとを備え、
各計算機の前記ＬＡＮ制御装置は、インタフェース層および汎用通信プロトコル層を経由して前記他系監視プログラムと通信する汎用ドライバを介して第1の汎用ネットワークに互いに通信可能に接続され、
各計算機の前記系切換え制御ボードは、前記インタフェース層および前記汎用通信プロトコル層を経由しないで前記他系監視プログラムと直接通信する系切換え制御ドライバを介して、第１の汎用ネットワークから独立した第２の汎用ネットワークに互いに通信可能に接続されてなることを特徴とする多重系システム。
請求項１に記載の多重系システムにおいて、
前記各計算機は、バス上の電文流量が固定である管理バスとバス上の電文量が変動する拡張バスとに分離された内部バスを備え、
前記系切換え制御ボードは、前記管理バスと前記拡張バスの両方を介して前記計算機のＣＰＵに通信可能に接続され、自己の計算機のＣＰＵの制御に前記管理バスを用い、自己のＣＰＵと他系のＣＰＵとの間で系切換えに関連する情報の通信に前記拡張バスを用いることを特徴とする多重系システム。
請求項１または２に記載の多重系システムにおいて、
前記系切換え制御ボードは、他系からの電文がＣＰＵ再起動要求電文かＣＰＵ停止要求電文かを判断する電文比較回路と、該電文比較回路の判断がＣＰＵ再起動要求である場合は自己の計算機のＣＰＵに割込み信号を出力し、ＣＰＵ停止要求である場合は自己の計算機のＣＰＵにＣＰＵ停止信号を出力する再起動制御装置とが搭載されてなることを特徴とする多重系システム。
請求項１ないし３のいずれか１項に記載の多重系システムにおいて、
前記系切換え制御ドライバは、割込み処理をすることなく、自己の前記系切換え制御ボードに対して送信要求または処理要求がないかを定期的にポーリングし、障害情報信号のみを送受信するポーリングプログラムを含むことを特徴とする多重系システム。
請求項１ないし４のいずれか１項に記載の多重系システムの再起動および停止方法において、
障害発生を検出した計算機は、障害系の計算機にＣＰＵ再起動要求電文を送信し、
該ＣＰＵ再起動要求電文を受信した障害系の系切換え制御ボードは、マスク不可能割込み信号を発生させ、
該マスク不可能割込み信号に応じて当該時点におけるメインメモリの内容をディスク装置に保存するメモリダンプを開始し、
メモリダンプ終了後にシステム停止または再起動を実行し、
マスク不可能割込み信号によっても障害系がメモリダンプを実行しないデッドロック状態では、障害発生を検出した計算機が、障害系にＣＰＵ停止要求電文を送信し、
ＣＰＵ停止要求電文を受信した障害系の系切換え制御ボードが、障害系をＣＰＵ停止状態とすることを特徴とする多重系システムの再起動および停止方法。