JPH08263455A - マルチ・プロセッサ・システムにおける故障プロセッサのデグレード方式 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】プロセッサが故障し動作不能または異常動作に
なっても、他の正常なプロセッサが故障プロセッサをデ
グレードし初期化動作を完了させ、システムの故障に対
する信頼性の向上を図る。 【構成】システム・バス６に接続され、ＣＰＵ１を制御
するＣＰＵ制御部２内にＣＰＵとシステム・バス間のア
クセスを完全に停止させるデグレード・レジスタ３と、
初期診断の結果を格納する診断結果レジスタ４を備え、
システム・バスを介して他ＣＰＵからアクセス可能にす
る。システム立ち上げ時の初期診断結果を自ＣＰＵだけ
でなく全ての他ＣＰＵのレジスタへ書き込み、故障と判
断されたＣＰＵは正常なＣＰＵによってデグレード処理
が行われる。これにより初期診断時にＣＰＵの故障が検
出された場合でも、システムを縮退して立ち上げること
が可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のプロセッサ
（「ＣＰＵ」という）間でメモリを共有するマルチ・プ
ロセッサを有するコンピューティング・システムに関
し、特にシステム立ち上げ時の耐故障システムが重要視
される高信頼性の中小規模サーバ・コンピューティング
・システムのデグレード方式に関する。

【０００２】

【従来の技術】従来、複数個のＣＰＵを有するマルチ・
プロセッサ・システムにおいては、システムの立ち上げ
時に故障したＣＰＵが存在していた場合、故障ＣＰＵを
切り離してシステムを縮退して立ち上げを続行する（す
なわち「デグレード」を行う）ように構成される。

【０００３】このため、大規模なシステムにおいては全
ＣＰＵが電源投入直後より共通に使用可能な共用の記憶
装置を設け、記憶装置部に各ＣＰＵの初期診断結果を書
き込み、故障ＣＰＵが存在する場合にはシステム診断装
置（「ＤＧＵ」という）が該故障ＣＰＵをシステム・バ
スから切り離すか、もしくは各ＣＰＵ制御部内にＣＰＵ
の初期診断結果を格納するレジスタを設け、システム診
断装置が各ＣＰＵの該レジスタをリードし、故障したＣ
ＰＵが存在する場合にはシステム診断装置が該ＣＰＵを
切り離し、デグレード処理を行うという方式が用いられ
ている。

【０００４】また、小中規模のマルチ・プロセッサ・シ
ステムにおいては上記システム診断装置のような特別な
診断装置を廉価に設けることが困難であることから、全
ＣＰＵからアクセス可能なローカル・バス上に共通記憶
装置を設け、各ＣＰＵの初期診断結果を書き込み、故障
ＣＰＵが存在する場合には故障ＣＰＵ自らデグレードを
行うという方式が用いられている。

【０００５】さらに、特開平4-178871号公報には、複数
のプロセッサにより共有されるマスタ指定ＩＤ格納手段
を備え、システム立ち上げ時の初期化処理においてマス
タ指定ＩＤと自プロセッサＩＤを比較し、比較結果によ
りマスタとして動作するプロセッサを特定するデグレー
ド技術が記載されている。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来のデグレード技術の第１の問題点は、システム規模が
大きくなり高価である、ということである。システム規
模、コストとも大きくなり、廉価な小規模システムに適
用することもできない。

【０００７】これは、従来のマルチ・プロセッサ・シス
テムにおいては、システムの立ち上げ時に故障したＣＰ
Ｕが存在していた場合、故障ＣＰＵを切り離して立ち上
げを続行する（すなわちデグレード処理を行う）ため
に、大規模なシステムでは通常「ＤＧＵ」と称呼される
システム診断装置が用いられ、非常に高価なシステムで
しか利用できないことに由る。また中小規模なシステム
においても、全ＣＰＵからアクセス可能な共通の記憶装
置を必要とし、外部回路の実装面積が増えることも上記
第１の問題点の原因とされる。

【０００８】次に、第２の問題点は、ＣＰＵのデグレー
ド処理を故障ＣＰＵ自ら行うことにある。すなわち、初
期診断において故障ＣＰＵ自らが異常を検出し、さらに
故障ＣＰＵ自らがデグレード処理を行うため、デグレー
ド処理に対する故障ＣＰＵの動作が保証されず信頼性に
問題がある。

【０００９】これは、故障ＣＰＵのデグレード処理制御
部へ、他の正常なＣＰＵがアクセスすることが出来ない
ことに由る。

【００１０】第３の問題点は、電源投入直後からＣＰＵ
がストール状態にあっても、該故障ＣＰＵとシステム・
バスの間にあるＣＰＵ制御部が、システム・バスからの
データ要求に応答する可能性があり、システム全体の動
作の信頼性の上で問題がある。

【００１１】この第３の問題点の発生理由は、第２の問
題点と重なるが、故障ＣＰＵ自らでしかデグレードでき
ないため、電源投入直後からＣＰＵがストールしている
場合はＣＰＵ制御部の動作を停止させることが出来ない
ことによる。

【００１２】従って、本発明は、上記従来技術の問題点
を解消し、プロセッサが故障し動作不能または異常動作
になっても、他の正常なプロセッサが故障プロセッサを
デグレードし初期化動作を完了させ、システムの故障に
対する信頼性の向上を図るマルチ・プロセッサ・システ
ムにおける故障プロセッサのデグレード方式を提供する
ことにある。

【００１３】

【課題を解決するための手段】前記目的を達成するた
め、本発明は、複数の中央演算処理装置（「ＣＰＵ」と
いう）と、前記複数のＣＰＵのそれぞれに対応して設け
られ前記ＣＰＵの制御を行うＣＰＵ制御部と、前記複数
のＣＰＵにより共有されるメモリと、を備え、前記ＣＰ
Ｕ制御部がシステム・バスを介して結合されるマルチ・
プロセッサ・システムにおいて、前記ＣＰＵ制御部が、
少なくとも、前記ＣＰＵの初期診断結果を格納するレジ
スタ（「ＩＴＦ結果格納レジスタ」という）と、前記シ
ステム・バスから自ＣＰＵを切り離し制御するための制
御レジスタ（「デグレード・レジスタ」という）と、前
記システム・バスを介して自ＣＰＵから、他のＣＰＵの
前記ＣＰＵ制御部のレジスタに対し一斉に書き込む手段
（「ブロードキャスト・ライト」という）と、を備え、
前記複数ＣＰＵの各々が初期診断終了時に、前記ブロー
ドキャスト・ライトにより自ＣＰＵの初期診断結果を他
のＣＰＵの前記ＣＰＵ制御部の前記ＩＴＦ結果格納レジ
スタへ格納し、故障したＣＰＵが存在する場合には、正
常なＣＰＵが前記故障ＣＰＵの前記デグレード・レジス
タへの書込みを行い、前記故障ＣＰＵをシステム・バス
から切り離すように制御することを特徴とするマルチ・
プロセッサ・システムにおける故障プロセッサのデグレ
ード方式を提供する。

【００１４】本発明においては、好ましくは、前記ＣＰ
Ｕ制御部が、ＣＰＵ番号を格納するレジスタ（「ＣＰＵ
番号格納レジスタ」という）と、他ＣＰＵの接続状況を
格納するレジスタ（「コネクト・レジスタ」という）
と、を更に備え、マスタＣＰＵを決定する際、前記ＣＰ
Ｕの初期診断が開始する前に前記ブロードキャスト・ラ
イトにより、自ＣＰＵの接続状況を他のＣＰＵの前記Ｃ
ＰＵ制御部の前記コネクト・レジスタへ書き込み、前記
初期診断終了後は自ＣＰＵの診断結果を前記ブロードキ
ャスト・ライトにより他のＣＰＵの前記ＣＰＵ制御部の
前記ＩＴＦ結果格納レジスタへ書き込み、正常終了した
ＣＰＵは一定期間待ち合わせを行った後、自ＣＰＵ制御
部の前記コネクト・レジスタと前記ＩＴＦ結果格納レジ
スタの内容を比較し、コネクト状態にあり、かつ初期診
断が正常終了したＣＰＵのうちＣＰＵ番号が最小のもの
をマスタＣＰＵとして決定するように制御することを特
徴とする。

【００１５】

【作用】本発明によれば、システムの立ち上げ時におい
て故障ＣＰＵが存在する場合、該故障ＣＰＵの切り離し
を行いＣＰＵ数を減少させた縮退運用による立ち上げの
続行を行なうものであり、全ＣＰＵが電源投入直後より
共通に使用可能な共用の記憶装置部や、ＣＰＵの切り離
しを行うためのシステム診断装置（ＤＧＵ）を用いるこ
となく、廉価で高い耐故障性を得ることが可能となる。
また、本発明においては、デグレード処理に関しても、
常に正常なＣＰＵがシステム・バスからの切り離しを行
うため高い信頼性を得ることが可能である。

【００１６】さらに、本発明によれば、マスタＣＰＵが
動的に且つ高い信頼性の上での切り替え可能なように構
成されており、従来の中小規模のマルチ・プロセッサ・
システムにおける故障ＣＰＵまたはＣＰＵ制御部のデグ
レードの失敗により、他のＣＰＵが正常でもシステムの
立ち上げが出来ないという問題点、あるいはその後の動
作に信頼性がない等の問題点を解消し、コストの上昇を
抑止しながらシステム全体の信頼性を特段に向上してい
る。

【００１７】

【発明の好適な態様】図面を参照して本発明の好適な態
様を基に本発明の原理及びその基本構成を詳細に説明す
る。

【００１８】図１は本発明の好適な態様を説明する図で
ある。図１を参照して、複数のＣＰＵ１が設けられ、各
ＣＰＵ１に対応してＣＰＵ１とシステム・バス６間の制
御を行うＣＰＵ制御部２が複数設けられ、複数のＣＰＵ
１により共有されるメモリ３とがシステム・バス６で結
合されるマルチ・プロセッサ・システムとして構成され
ている。

【００１９】本発明によれば、図２に示すように、ＣＰ
Ｕ制御部２はＣＰＵ１の内部初期診断結果を格納するレ
ジスタとしてＩＴＦ（Initial Firmware Test；初期フ
ァームウェア試験）結果格納レジスタ200と、自ＣＰＵ
をシステム・バス６から切り離すための制御レジスタと
してデグレード・レジスタ201を備え、システム・バス
６を介して自ＣＰＵから、他の全てのＣＰＵ制御部２内
のレジスタ群に対し、一斉に任意の値を書き込む（「ブ
ロードキャスト・ライト」という）ための手段を備えて
いる。

【００２０】各ＣＰＵ１の内部初期診断結果をブロード
キャスト・ライトにより全ＣＰＵ制御部に通知し、故障
したＣＰＵが存在する場合には、正常ＣＰＵが該故障Ｃ
ＰＵに接続されているＣＰＵ制御部２のデグレード・レ
ジスタ201に該ＣＰＵ切り離し指示を行うことにより、
システム・バス６から該故障ＣＰＵ１を切り離す。

【００２１】さらに、マスタＣＰＵの決定においては、
図２に示すように、ＣＰＵ制御部２内にＣＰＵ番号を格
納するＣＰＵ番号格納レジスタ202と他ＣＰＵの接続状
況を格納するコネクト・レジスタ203と、を備え、シス
テム・バス６を介して他ＣＰＵからアクセス可能として
いる。

【００２２】電源投入直後において、ＣＰＵ制御部２は
システム・バス６と論理的に切り離しておき、内部初期
診断を開始する直前にＣＰＵ１が動作可能状態であれば
システム・バス６に論理的に接続する。

【００２３】一定時間の後、ブロードキャスト・ライト
により、自ＣＰＵ１の接続を他ＣＰＵ制御部２のコネク
ト・レジスタ203へ書き込み、内部初期診断終了後は自
ＣＰＵ１の診断結果をブロードキャスト・ライトによ
り、自ＣＰＵの診断結果を他ＣＰＵ制御部２のＩＴＦ結
果格納レジスタ200へ書き込む。

【００２４】正常終了したＣＰＵ１は一定期間のポーリ
ング後、自ＣＰＵ制御部２のコネクト・レジスタ203と
ＩＴＦ結果格納レジスタ200の内容を比較し、コネクト
状態にあり、かつＩＴＦが正常終了しているＣＰＵ１の
うちＣＰＵ番号が最小のものがマスタＣＰＵとなる。

【００２５】さらに、マスタＣＰＵはＣＰＵ制御部２の
コネクト・レジスタ203とＩＴＦ結果格納レジスタ200の
内容の比較により、コネクト状態にあり、かつＩＴＦを
正常終了していない故障ＣＰＵをシステム・バス６から
切り離す。

【００２６】

【実施例】図３は本発明の一実施例の構成を示す図であ
る。図３を参照して、ＥＰＵ60〜63はＣＰＵ10〜13とＣ
ＰＵ制御部20〜23とから構成され、システム・バス６と
ローカル・バス７に接続される。ＲＯＭ（読み出し専用
メモリ）４には全プロセッサ共通の初期診断ファームウ
ェアが格納されており、各ＥＰＵからローカル・バス７
を介してアクセスされる。なお、図３に示すＥＰＵの数
はあくまで参考のためのものであり、本発明を何等限定
するものではない。

【００２７】ＣＰＵ制御部20〜23は、図２に示したとお
り、ＩＴＦ結果格納レジスタ200、デグレード・レジス
タ201、ＣＰＵ番号格納レジスタ202、コネクト・レジス
タ203を含み、デグレード・レジスタ201はＣＰＵとシス
テム・バス６を切り離す手段として用いられ、デグレー
ド・レジスタ201にライトすることにより自ＥＰＵとシ
ステム・バス６間のアクセスを完全に停止させる機能を
備えている。また、ＣＰＵ番号格納レジスタ202にはＥ
ＰＵ固有の番号がストアされており、ハード的に設定さ
れる。

【００２８】各ＣＰＵ制御部20〜23は電源投入直後はシ
ステム・バス６とのアクセスを停止させており、システ
ム・バス６から論理的に切り離されている。したがっ
て、電源投入直後、システム・バス６にはＥＰＵ60〜63
は論理的に１つも接続されていない。

【００２９】図４は本実施例の処理フローを示す流れ図
である。

【００３０】まず、電源が投入されると各ＥＰＵ60〜63
はローカル・バス７を介して初期診断ファームウェアが
格納されているＲＯＭ４の内容を読み出し（ステップ10
1）、ＲＯＭ４に書かれた命令を実行する。

【００３１】ＲＯＭ４の内容を読み出すことができた場
合（ステップ102）、ＥＰＵはシステム・バス６へのア
クセスを開始し（ステップ103）、一定時間の後、全Ｅ
ＰＵのコネクト・レジスタ203に対するブロードキャス
ト・ライトを行う（ステップ104）。

【００３２】また、各ＥＰＵはシステム・バス６からコ
ネクト・レジスタ203に対するブロードキャスト・ライ
トを受信した場合、自ＥＰＵのコネクト・レジスタ203
の予め割り当てられた所定ビットに“１”を立てる。こ
の一連の処理によりコネクト・レジスタ203の値は全Ｅ
ＰＵ60〜63に共通して等しい値となる。

【００３３】ＲＯＭ内容を読み出すことの出来なかった
故障ＥＰＵ（ステップ112）はシステム・バス６へのア
クセスを開始されないため、システム全体には最初から
存在しないものとして認識される（ステップ115）。

【００３４】正常にシステム・バス６に接続されたＥＰ
Ｕは次に内部初期診断処理を行い（ステップ105）、自
ＥＰＵの診断結果を全ＥＰＵのＩＴＦ結果格納レジスタ
200に対するブロードキャスト・ライトを行う（ステッ
プ106）。

【００３５】また、各ＥＰＵはシステム・バス６からＩ
ＴＦ結果格納レジスタ200に対するブロードキャスト・
ライトを受信した場合、自ＥＰＵのＩＴＦ結果格納レジ
スタ200の所定の領域（ビットフィールド）に診断結果
を書き込む。この一連の処理によりＩＴＦ結果格納レジ
スタ200の値は全ＥＰＵとも等しくなる。

【００３６】ここで、異常終了したＥＰＵは異常終了用
のポーリング・ルーチンへ飛び（ステップ113）、後に
決定されるマスタＥＰＵによってデグレードされること
を待つ。

【００３７】正常終了したＥＰＵは、全ＥＰＵが初期診
断処理が終了するのを一定時間待ち合わせた後、自ＥＰ
Ｕ内のＩＴＦ結果格納レジスタ200とコネクト・レジス
タ203の内容を読み出し、システム・バス６とコネクト
状態にあり、なおかつ初期診断を正常終了し、最も小さ
い番号を持つＥＰＵを調べ（ステップ108）、自己のＥ
ＰＵ番号に等しい場合マスタＥＰＵとなる（ステップ10
9）。

【００３８】それ以外の場合スレーブＥＰＵとなり、専
用のポーリング・ルーチンへ移る（ステップ114）。

【００３９】マスタとなったＥＰＵは自ＥＰＵ内のＩＴ
Ｆ結果格納レジスタ200とコネクト・レジスタ203の内容
を再度読み出し、システム・バス６とコネクト状態にあ
り、かつ初期診断を異常終了した故障ＥＰＵのデグレー
ド・レジスタ201にライトを行い、故障ＥＰＵのシステ
ム・バス６からの切り離し（デグレード処理）を行い
（ステップ110）、システムの初期化、デグレード処理
を完了する（ステップ111）。

【００４０】このように、本実施例によれば、デグレー
ド処理に関しても正常なＣＰＵがシステム・バスから故
障ＣＰＵを切り離すため高い信頼性を得ると共に、マス
タＣＰＵが高い信頼性の上で動的に切り替え可能とされ
ている。以上、本発明を上記実施例に即して説明した
が、本発明は上記態様にのみ限定されず、本発明の原理
に準ずる各種態様を含むことは勿論である。

【００４１】

【発明の効果】以上説明したように、本発明によれば、
システムの立ち上げ時において故障ＣＰＵが存在する場
合、該故障ＣＰＵの切り離しを行いＣＰＵ数を減少させ
た縮退運用による立ち上げの続行を、全ＣＰＵが電源投
入直後より共通に使用可能な共用の記憶装置部や、ＣＰ
Ｕの切り離しを行うためのシステム診断装置（ＤＧＵ）
を用いることなく、廉価で高い耐故障性を得ることが可
能となる。

【００４２】また、本発明によれば、デグレード処理に
関しても、正常なＣＰＵがシステム・バスからの切り離
しを行うため高い信頼性を得ることが可能である。

【００４３】さらに、本発明によれば、マスタＣＰＵが
ダイナミックに、しかも高い信頼性の上での切り替え可
能であるため、従来の中小規模のマルチ・プロセッサ・
システムにおける故障ＣＰＵまたはＣＰＵ制御部のデグ
レードの失敗により、他のＣＰＵが正常でもシステムの
立ち上げが出来ないという問題点、あるいはその後の動
作に信頼性がない等の問題点を解消し、コストの上昇を
抑止しながらシステム全体の信頼性を特段に向上してい
る。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】ＣＰＵ制御部内の構成を説明する図である。

【図３】本発明の一実施例の構成を示す図である。

【図４】本発明の一実施例の動作を説明する流れ図であ
る。

【符号の説明】

１ 中央演算処理装置（ＣＰＵ） ２ ＣＰＵ制御部 ３ メモリ ４ ＲＯＭ ５ 入出力（Ｉ／Ｏ）制御装置 ６ システム・バス ７ ローカル・バス 60、61、62、63 ＥＰＵ（ＣＰＵ＋ＣＰＵ制御部）

Claims (3)

【特許請求の範囲】
1. 【請求項１】複数の中央演算処理装置（「ＣＰＵ」とい
   う）と、 前記複数のＣＰＵのそれぞれに対応して設けられ前記Ｃ
   ＰＵの制御を行うＣＰＵ制御部と、 前記複数のＣＰＵにより共有されるメモリと、を備え、 前記ＣＰＵ制御部がシステム・バスを介して結合される
   マルチ・プロセッサ・システムにおいて、 前記ＣＰＵ制御部が、少なくとも、 前記ＣＰＵの初期診断結果を格納するレジスタ（「ＩＴ
   Ｆ結果格納レジスタ」という）と、 前記システム・バスから自ＣＰＵを切り離し制御するた
   めの制御レジスタ（「デグレード・レジスタ」という）
   と、 前記システム・バスを介して自ＣＰＵから、他のＣＰＵ
   の前記ＣＰＵ制御部のレジスタに対し一斉に書き込む手
   段（「ブロードキャスト・ライト」という）と、 を備え、 前記複数ＣＰＵの各々が初期診断終了時に、前記ブロー
   ドキャスト・ライトにより自ＣＰＵの初期診断結果を他
   のＣＰＵの前記ＣＰＵ制御部の前記ＩＴＦ結果格納レジ
   スタへ格納し、 故障したＣＰＵが存在する場合には、正常なＣＰＵが前
   記故障ＣＰＵの前記デグレード・レジスタへの書込みを
   行い、前記故障ＣＰＵをシステム・バスから切り離すよ
   うに制御することを特徴とするマルチ・プロセッサ・シ
   ステムにおける故障プロセッサのデグレード方式。
2. 【請求項２】前記ＣＰＵ制御部が、ＣＰＵ番号を格納す
   るレジスタ（「ＣＰＵ番号格納レジスタ」という）と、 他ＣＰＵの接続状況を格納するレジスタ（「コネクト・
   レジスタ」という）と、 を更に備え、 マスタＣＰＵを決定する際、 前記ＣＰＵの初期診断が開始する前に前記ブロードキャ
   スト・ライトにより、自ＣＰＵの接続状況を他のＣＰＵ
   の前記ＣＰＵ制御部の前記コネクト・レジスタへ書き込
   み、 前記初期診断終了後は自ＣＰＵの診断結果を前記ブロー
   ドキャスト・ライトにより他のＣＰＵの前記ＣＰＵ制御
   部の前記ＩＴＦ結果格納レジスタへ書き込み、 正常終了したＣＰＵは所定期間待ち合わせを行った後、
   自ＣＰＵ制御部の前記コネクト・レジスタと前記ＩＴＦ
   結果格納レジスタの内容を比較し、 コネクト状態にあり、かつ初期診断が正常終了したＣＰ
   ＵのうちＣＰＵ番号が最小のものをマスタＣＰＵとして
   決定するように制御することを特徴とする請求項１記載
   のマルチ・プロセッサ・システムにおける故障プロセッ
   サのデグレード方式。
3. 【請求項３】初期診断プログラムを格納したメモリを備
   え、 電源投入等のリセット時において、 (a)前記複数のＣＰＵは前記メモリから前記初期診断プ
   ログラムを読み出し、 (b)前記ＣＰＵは前記システム・バスへのアクセスを開
   始し、所定時間の後、前記複数のＣＰＵの前記ＣＰＵ制
   御部のコネクト・レジスタに対するブロードキャスト・
   ライトを行い、前記複数のＣＰＵの前記ＣＰＵ制御部に
   ついて前記コネクト・レジスタを互いに等しい値とし、 (c)正常に前記システム・バスに接続されたＣＰＵは初
   期診断処理を行い、自ＣＰＵの初期診断結果を他のＣＰ
   Ｕの前記ＣＰＵ制御部の前記ＩＴＦ結果格納レジスタに
   対してブロードキャスト・ライトを行い、前記複数のＣ
   ＰＵの前記ＣＰＵ制御部について前記ＩＴＦ結果格納レ
   ジスタを互いに等しい値とし、 (d)自ＣＰＵの前記ＣＰＵ制御部のＩＴＦ結果格納レジ
   スタと前記コネクト・レジスタの内容を読み出し、前記
   システム・バスとコネクト状態にあり、且つ初期診断を
   正常終了し、最も小さい番号を持つＣＰＵを調べ、自己
   のＣＰＵ番号に等しい場合マスタＣＰＵとなり、 (e)マスタとなったＣＰＵが自ＣＰＵ制御部の前記ＩＴ
   Ｆ結果格納レジスタと前記コネクト・レジスタの内容を
   読み出し、前記システム・バスとコネクト状態にあり、
   且つ初期診断を異常終了した故障ＣＰＵの前記ＣＰＵ制
   御部のデグレード・レジスタにライトを行い、前記故障
   ＣＰＵを前記システム・バスから切り離すように制御す
   ることを特徴とする請求項１記載のマルチ・プロセッサ
   ・システムにおける故障プロセッサのデグレード方式。