JP3640187B2 - マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード - Google Patents
マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード Download PDFInfo
- Publication number
- JP3640187B2 JP3640187B2 JP2002220125A JP2002220125A JP3640187B2 JP 3640187 B2 JP3640187 B2 JP 3640187B2 JP 2002220125 A JP2002220125 A JP 2002220125A JP 2002220125 A JP2002220125 A JP 2002220125A JP 3640187 B2 JP3640187 B2 JP 3640187B2
- Authority
- JP
- Japan
- Prior art keywords
- failure
- node
- service processor
- nodes
- multiprocessor system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1479—Generic software techniques for error detection or fault masking
- G06F11/1482—Generic software techniques for error detection or fault masking by means of middleware or OS functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/2028—Failover techniques eliminating a faulty processor or activating a spare
Description
【０００１】
【発明の属する技術分野】
本発明は、マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノードに関する。
【０００２】
【従来の技術】
近年、マルチプロセッサシステム、特にＷｉｎｄｏｗｓ（登録商標）やＵＮＩＸ（登録商標）等のオープンシステムにおいて、プラットフォームがＯＳ（Operating System）、ドライバ、アプリケーションと協力して、システムの構成制御、電源制御、エラーロギング、障害処理等をおこなうＲＡＳ（Remote Access Service）機能を強化する傾向にある。
【０００３】
また、システム基盤であるプラットフォームは、ユーザニーズの多様化に対応するため大規模化しており、特に、複数のプロセッサを有するマルチプロセッサシステムを独立して運用可能なシステム（パーティション）に分割して、複数のＯＳを運用可能とする機能が要求されている。
【０００４】
このような状況から今後、大規模プラットフォームを複数のパーティションに分割し、それぞれのパーティションの負荷状態に応じて柔軟にリソースの追加又は削除をおこなう機能、予備リソースを用意しておき障害発生時に即座に自動リプレースする機能等への要求に応えることができ、また、システム統合によるコスト削減を実現できる、統合プラットフォームへのニーズが高まることが予想される。
【０００５】
ところで、マルチプロセッサシステムを用いた場合は、システム障害に対する復旧処理を的確におこなうことが重要となる。例えば、複数のノードを１つのサービスプロセッサで制御しておこなうマルチプロセッサシステムに対しての障害処理方法が開示されている（特開２００１−１３４５４６公報）。
【０００６】
【発明が解決しようとする課題】
しかし、複数のノードをサービスプロセッサで制御してなるノード群が複数集まって構成されたシステムで、異なるノード群に属する複数のノードを選択して独立のシステムとして運用するマルチプロセッサシステムにおいては、障害が複数のノード群に渡って発生する可能性があり、上記の障害処理手段では的確に障害処理をおこなうことができない。
【０００７】
本発明はこのような問題点に鑑みて提案されたものであり、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって形成された大規模プラットフォームを用いたマルチプロセッサシステムにおいて、障害処理を迅速かつ的確におこなうことができる障害処理方法、マルチプロセッサシステム及びノードを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、複数のノードと前記複数のノードを制御するサービスプロセッサとを有するノード群が複数集まって構成され、前記複数のノード群からなる複数の前記ノードは相互接続網により相互に接続され、複数の前記サービスプロセッサは該サービスプロセッサを制御するサービスプロセッサマネージャに接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムにおける障害処理方法であって、いずれかの前記ノードで障害が発生した場合に、その障害ノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する工程と、前記障害ノードは、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達する工程と、前記障害ノードと同一のパーティションに属する他のノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する工程と、前記サービスプロセッサマネージャは、前記障害情報に基づいて前記それぞれのサービスプロセッサに障害処理を指示し、この指示を受けた前記サービスプロセッサは、該指示に従って障害処理をおこなう工程と、を含むことを特徴とする。
【０００９】
請求項１に記載の発明によれば、障害ノードと同一パーティション内のノードから各ノードの障害情報を入手して、それに基づいて障害処理をおこなうので、被疑部の特定を迅速かつ的確におこなえ、ひいては障害処理を迅速かつ的確におこなうことができる。なお、パーティションとはシステムの一部分であり、独立して運用可能ものをいう。また、障害情報とは障害がある旨の情報、または、エラーログなどの障害内容を示す情報をいう。
【００１０】
請求項２に記載の発明は、請求項１に記載のマルチプロセッサシステムにおける障害処理方法において、前記障害ノードは、前記相互接続網を用いて障害通知パケットを他のノードに送信して、前記障害ノードと同一のパーティションに属する他のノードに前記他のノードに障害情報を伝達することを特徴とする。
【００１１】
請求項２に記載の発明によれば、障害情報を障害パケットの送信でおこなうので、通常のトランザクションにおけるパケット送信と同じ環境を用いて障害処理が可能となる。
【００１２】
請求項３に記載の発明は、請求項１に記載のマルチプロセッサシステムにおける障害処理方法において、前記障害ノードは、前記相互通信網を用いて障害通知パケットを前記障害ノードと同一のパーティションに属する他のノードを宛先として送信して、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とする。
【００１３】
請求項３に記載の発明によれば、障害パケットを前記障害ノードと同一のパーティションに属する他のノードを宛先として送信するので、不要なパケットを相互接続網に送信せずに済み、効率的な障害処理が可能となる。
【００１４】
請求項４に記載の発明は、請求項１に記載のマルチプロセッサシステムにおける障害処理方法において、前記障害ノードは、前記相互通信網を用いて障害通知パケットをブロードキャストで送信し、障害通知パケットを受信したノードが前記障害ノードと同一パーティションに属する場合のみ前記障害情報を該ノードに取り込むことで前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とする。
【００１５】
請求項４に記載の発明によれば、障害ノードで障害通知パケットの宛先を特定しないので障害ノードでの処理負荷を低減でき、障害ノードの処理負荷が大きいときに有利である。
【００１６】
請求項５に記載の発明は、請求項２乃至４のいずれかに記載のマルチプロセッサシステムにおける障害処理方法において、
前記障害ノードは、前記相互接続網を用いて障害通知パケットを送信する際に、通常のトランザクションで用いるチャンネルとは異なるチャンネルを用いて障害通知パケットを送信して、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とする。
【００１７】
請求項５に記載の発明によれば、障害の影響等で通常のトランザクションに用いられるチャンネルが渋滞していたり、性能が低下していたりしても迅速、かつ、確実に障害通知パケットを送信することが可能となる。
【００１８】
請求項６に記載の発明は、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって構成され、複数の前記ノードは相互接続網により相互に接続され、前記サービスプロセッサおよびサービスプロセッサを制御するサービスプロセッサマネージャが専用線で接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムであって、いずれかの前記ノードで障害が発生した場合に、その障害ノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する障害ノード通知手段と、前記障害ノードは、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達するパーティション内通知手段と、前記障害ノードと同一のパーティションに属する他のノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する他ノード通知手段と、前記サービスプロセッサマネージャは、前記障害情報に基づいて前記サービスプロセッサに障害処理を指示し、この指示を受けた前記サービスプロセッサは、該指示に従って障害処理をおこなう障害処理手段と、を備えたことを特徴とする。
【００１９】
請求項７に記載の発明は、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって構成され、複数の前記ノードは相互接続網により相互に接続され、前記サービスプロセッサおよびサービスプロセッサを制御するサービスプロセッサマネージャが専用線で接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムに含まれるノードであって、 該ノードに障害が発生した場合に、該ノードと同一のパーティションに属する他のノードに障害情報を通知するとともに、該ノードを制御する前記サービスプロセッサに障害発生を通知することを特徴とする。
【００２０】
請求項６または７に記載の発明によれば、何れかのノードで障害が発生した場合、相互接続網を用いて同一パーティションに属する他のノードに障害情報を通知して、該障害情報に基づいて障害処理をおこなえるので、また、サービスプロセッサマネージャが各サービスプロセッサを制御して障害処理をおこなえるので迅速かつ的確な障害処理を可能となる。
【００２１】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、添付図面を参照して説明する。
≪システム構成≫
図１は、本発明の実施形態にかかるマルチプロセッサシステムの一例を示すシステム構成図である。
【００２２】
図１において、１はマルチプロセッサシステムを、２はノード群を、３はノードを、４はサービスプロセッサを、５はプロセッサを、６メモリを、７はノースブリッジを、８はＩ／Ｏホストブリッジを、９はクロスバーを、１０は相互接続網を、１１はサービスプロセッサマネージャを、１２は専用線を示している。
【００２３】
マルチプロセッサシステム１はノード群Ａ〜Ｄの４つのノード群２で構成されている。マルチプロセッサシステム１を構成するノード群２の数は本実施形態では４つであるが、これに限定されず、本発明は２つ以上のノード群２で構成される場合に適用が可能である。各ノード群２はそれぞれ遠隔していても良いし、隣接していても良いが、遠隔して設置されている場合には、遠隔して設置されたノード３を用いてマルチプロセッサシステム１を構成できるという特徴を有する。
【００２４】
ノード群ＡはノードＡａ〜Ａｈの８つのノード３およびノードＡａ〜Ａｈを管轄するサービスプロセッサＡ（図において、ＳＰＡ）で構成されている。同様にノード群Ｂ〜ＣはノードＢａ〜Ｂｈ，ノードＣａ〜Ｃｈ，ノードＤａ〜Ｄｈとそれぞれを管轄するサービスプロセッサＢ〜Ｄ（図において、ＳＰＢ，ＳＰＣ，ＳＰＤ）で構成されている。１つのノード群２が有するノード２の数は本実施形態では８つであるが、これに限定されず、本発明は２つ以上のノード３を有するノード群２で構成されるマルチプロセッサシステム１に対して適用が可能である。また、本実施形態において、ノード３は、Ｐ／Ｍノード３ａとＩ／Ｏノード３ｂの２種類のノードを有するが、特にこれに限定されることなく、例えばＰ／Ｍノード３ａのみでもよいし、その他の種類のノード３で構成しても良い。
【００２５】
Ｐ／Ｍノード３ａは主に演算処理をおこなうノードで、少なくともプロセッサ５とメモリ６とを備えている。また、プロセッサ５とノード３内の各パーツ間を結ぶバスを接続するノースブリッジ７を備えている。なお、本実施形態ではプロセッサ５の数は２で、メモリ６の数は１であるが、プロセッサ５、メモリ６などの数は特にこれに限定されるものではない。また、Ｉ／Ｏノード３ｂは主に入出力をおこなうノードで、Ｉ／Ｏホストブリッジ８と配下にＩ／Ｏデバイス（図示せず）を備えている。
【００２６】
サービスプロセッサ４は、ノード群２内のノード３を接続しており、これらノード３のマネージメントをおこなっている。
【００２７】
ノード群Ａ〜Ｄに属する計３２個のノード３は、それぞれクロスバー９を介して相互接続網１０によって相互に連結されている。なお、クロスバー９は、複数のプロセッサやメモリの間でデータをやり取りする際に、経路を動的に選択する機能を備えた装置である。
【００２８】
サービスプロセッサマネージャ１１は、各サービスプロセッサ４を専用線１２で接続しており、これらサービスプロセッサ４のマネージメントをおこなっている。
【００２９】
このようなハードウェアプラットフォームにおいて、複数のノード群２から複数のノード３を選択して独立して運用可能なシステムであるパーティションを形成している。具体的には、ノード群Ａに属するノードＡｅ〜Ａｈ，ノード群Ｂに属するノードＢａ〜Ｂｄ，ノード群Ｃに属するノードＣａ〜Ｃｈの全１２個のノードを選択してパーティション１３を形成している。なお、本実施形態では１つのパーティションのみを定義したが、当然に複数のパーティションを形成してもよい。
【００３０】
≪障害処理方法≫
次に、以上のマルチプロセッサシステムにおける障害処理方法の一例について、図２〜９を参照して説明する。
【００３１】
図２〜７は各障害処理工程の説明図、図８は障害処理のフロー図、図９は障害通知パケットの説明図である。以下、図８のフロー図中のステップ１〜ステップ６のそれぞれのステップに分けて説明する。なお、ステップ１〜ステップ６は、それぞれ図２〜図７に対応する。
【００３２】
＜ステップ１＞
障害ノードが、障害ノードを管轄するサービスプロセッサに、障害を通知するステップである。
【００３３】
図２に示すように、ノード群Ａに属するノードＡｅのＩ／Ｏホストブリッジ８でデータ転送中に重障害、例えば内部ＥＣＣエラー等が発生したとして、以下説明する。ノードＡｅは、障害を検知したら、まず内部のトレース情報、レジスタ情報などのエラーログ情報（障害情報）をホールドする。次に、ノードＡｅは、続いておこなう予定であったデータ転送を中止するとともに、ノードＡｅを管轄するサービスプロセッサＡ（ＳＰＡ）に障害発生を送信し、ＳＰＡはノードＡｅの障害情報を取得する。障害情報を受け取ったＳＰＡは、害障害の処理がノードＡｅの切り離しで済むか、または、パーティションリセットが必要かを判断する。ＳＰＡは、パーティションリセットが必要と判断した場合は、即座にノードＡｅをリセットし、サービスプロセッサマネージャ１１に障害情報を送信してパーティションリセットのリクエストをおこなう。
【００３４】
＜ステップ２＞
障害ノードが、同一パーティションに属する他のノードに、障害を通知するステップである。ステップ２は、ステップ１と並行しておこなわれる。
【００３５】
障害ノードであるノードＡｅは、他のノードに障害発生を通知するため、障害通知パケットを作成する。図９に示すように、障害パケットは、エラーコード、宛先ノードコード、送信元ノードコード、重障害フラグ、エラー情報で構成される。エラーコードは、障害通知パケットであること示す符号である。宛先ノードコードは、障害通知パケットの宛先を示す符号で、ブロードキャストアドレスが指定されている。送信元ノードコードは、障害通知パケットの送信元を示す符号で、障害ノードであるノードＡｅのアドレスが指定されている。重障害フラグは、障害が重度か否かを示す符号で、ノードＡｅでは重障害が発生しているので、フラグは立っている。エラー情報は、ノードＡｅでの障害情報を示している。
【００３６】
図３に示すように、障害通知パケットは、相互接続網を介して他のすべてのノードにブロードキャストで送信される。このとき通常のトランザクションに用いられるチャンネルとは異なるチャンネルを用いて送信される。したがって、通常のトランザクションに用いられるチャンネルが障害により渋滞していたり、性能が低下していたりしても迅速、確実に障害通知パケットを送信するためである。
【００３７】
障害通知パケットを受信したノードは、ノースブリッジ７またはＩ／Ｏホストブリッジ８に設定されているパーティション情報で、自己ノードが障害パケットの送信元ノードであるノードＡｅと同一パーティションに属しているかを判断し、属していると判断した場合のみ障害通知パケットを自己ノードのエラーログ情報の一部として保存する。したがって、障害ノードＡｅと同一パーティションに属するノードＡｆ〜Ａｈ、ノードＢａ〜Ｂｄ、ノードＣａ〜Ｃｈは、それぞれのノードのエラーログ情報の一部として、障害通知パケットを保存する。
【００３８】
＜ステップ３＞
障害ノードと同一のパーティションに属するノードが、該ノードを管轄するサービスプロセッサに障害を通知する工程である。
【００３９】
図４に示すように、障害ノードＡｅと同一パーティションに属し、障害通知パケットをエラーログ情報の一部として保存した、ノードＡｆ〜Ａｈ、ノードＢａ〜Ｂｄ、ノードＣａ〜Ｃｈは、障害通知パケットの内容を確認し、重障害フラグが立っていることを認識すると、自己のエラーログ情報をホールドするとともに、管轄のサービスプロセッサであるＳＰＡ、ＳＰＢ、ＳＰＣにそれぞれ障害発生を通知する。
【００４０】
通知を受けたＳＰＡ、ＳＰＢ、ＳＰＣは、管轄下のノードのエラーログ情報を取得し、障害通知パケットの内容に基づいて、関連するノードをリセットする。
【００４１】
＜ステップ４＞
障害ノードと同一パーティションに属するノードを管轄するサービスプロセッサが、サービスプロセッサマネージャに障害を通知する工程である。
【００４２】
図５に示すように、障害の通知を受けたＳＰＡ、ＳＰＢ、ＳＰＣは、管轄下のノード（それぞれ、ノードＡｆ〜Ａｈ、ノードＢａ〜Ｂｄ、ノードＣａ〜Ｃｈ）の障害情報をサービスプロセッサマネージャ１１に送信する。
【００４３】
＜ステップ５＞
サービスプロセッサマネージャが、障害被疑部の特定をおこなう工程である。
【００４４】
図６に示すように、関連するそれぞれのノード（ノードＡｅ〜Ａｈ、ノードＢａ〜Ｂｄ、ノードＣａ〜Ｃｈ）の障害情報を取得したサービスプロセッサマネージャ１１は、障害通知パケット情報が一致していることにより、それぞれが同一原因であることを認識する。そして、サービスプロセッサマネージャ１１が保有する故障解析辞書に基づいて、障害被疑部の特定をおこなう。また、障害被疑部の特定と並行して、障害情報を論理パーミッション情報、物理ロケーション情報などのシステム構成情報と組合せてログ情報管理をおこなう。
【００４５】
＜ステップ６＞
障害回復処理をおこなう工程である。
【００４６】
図７に示すように、パーティションリセットが必要であると判断された場合、サービスプロセッサマネージャ１１は、ＳＰＡ、ＳＰＢ、ＳＰＣにパーティションのリセットの指示をおこなう。ＳＰＡ、ＳＰＢ、ＳＰＣは、相互に同期を取りながらリセットを実現する。なお、パーティションリセットは、サービスプロセッサマネージャ１１の完全従属制御により、サービスプロセッサマネージャ１１からの一連のリセット手順に基づいておこなっても良い。
【００４７】
この他にも、障害回復処理の方法は様々であり、障害の状況に応じて回復処理がなされる。例えば、ミッションクリティカルな運用下では、サービスプロセッサマネージャ１１と保守センター（図示せず）を回線で接続して、保守センターが障害処理をサポートすることが通常なされる。保守センターの保守員は、サービスプロセッサマネージャ１１からリモートで障害情報を採取し、これらの障害情報に基づいて、最小ロスで、迅速かつ正確な部品交換などをおこなうことが可能である。
【００４８】
また、障害ノードの代替リソースがシステム内に用意されている場合は、パーティションリセット時に、障害ノードの変えて代替リソースを組み込んでリセットをおこなえば、リソースの減少によるシステムの高負荷運用を防止することができる。
【００４９】
さらに、ＯＳのＲＡＳ機能が強化されている場合は、障害ノードの切り離しで障害回復がおこなえるときに、パーティションリセットをおこなわずに、障害ノードを代替リソースと置き換えて処理することで、システムのロバストネスを実現することができる。
【００５０】
以上説明したように、本実施形態によると、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって形成された大規模プラットフォームを用いたマルチプロセッサシステムにおいて障害が発生した場合に、障害箇所を迅速かつ的確に特定することができ、他のパーティションに障害を波及させることなく、また、障害が発生したパーティションの障害処理を迅速かつ的確におこなうことができる。さらに、これによりミッションクリティカルな分野への、大規模なオープンシステムの適用を可能にする。
【００５１】
≪他の実施形態≫
上記実施形態のステップ２において、障害ノードは、障害ノードと同一パーティションに属するノードにのみ、障害通知パケットを送信しても良い。この場合、障害通知パケットの宛先ノードコードには、障害ノードと同一パーティションに属するノードのアドレスが定義される。このようにして、障害ノードと同一パーティションに属するノードにのみに障害通知パケットを送信した場合は、受信ノードでパーティションの確認をする必要がなく、即座に続く処理をおこなうことができる。
【００５２】
また、同ステップ２において、障害ノードは、障害ノードと同一のノード群に属するノードに対しておこなう障害通知を、障害通知パケットの送信によりおこなうのに変えて、管轄するサービスプロセッサでの折り返しや、クロスバーでの折り返しによっておこなっても良い。
【００５３】
【発明の効果】
以上の説明した通り、本発明によれば、障害ノードと同一パーティション内のノードから各ノードの障害情報を入手して、それに基づいて障害処理をおこなうので、被疑部の特定を迅速かつ的確におこなえ、ひいては障害処理を迅速かつ的確におこなうことができる。
【図面の簡単な説明】
【図１】 本発明の実施形態にかかるマルチプロセッサシステムの一例を示すシステム構成図である。
【図２】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図３】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図４】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図５】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図６】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図７】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図８】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理方法の一例の処理フローを示す図である。
【図９】 障害通知パケットの一例を示す図である。
【符号の説明】
１ マルチプロセッサシステム
２ ノード群
３ ノード
４ サービスプロセッサ
５ プロセッサ
６ メモリ
７ ノースブリッジ
８ Ｉ／Ｏホストブリッジ
９ クロスバー
１０ 相互接続網
１１ サービスプロセッサマネージャ
１２ 専用線
【発明の属する技術分野】
本発明は、マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノードに関する。
【０００２】
【従来の技術】
近年、マルチプロセッサシステム、特にＷｉｎｄｏｗｓ（登録商標）やＵＮＩＸ（登録商標）等のオープンシステムにおいて、プラットフォームがＯＳ（Operating System）、ドライバ、アプリケーションと協力して、システムの構成制御、電源制御、エラーロギング、障害処理等をおこなうＲＡＳ（Remote Access Service）機能を強化する傾向にある。
【０００３】
また、システム基盤であるプラットフォームは、ユーザニーズの多様化に対応するため大規模化しており、特に、複数のプロセッサを有するマルチプロセッサシステムを独立して運用可能なシステム（パーティション）に分割して、複数のＯＳを運用可能とする機能が要求されている。
【０００４】
このような状況から今後、大規模プラットフォームを複数のパーティションに分割し、それぞれのパーティションの負荷状態に応じて柔軟にリソースの追加又は削除をおこなう機能、予備リソースを用意しておき障害発生時に即座に自動リプレースする機能等への要求に応えることができ、また、システム統合によるコスト削減を実現できる、統合プラットフォームへのニーズが高まることが予想される。
【０００５】
ところで、マルチプロセッサシステムを用いた場合は、システム障害に対する復旧処理を的確におこなうことが重要となる。例えば、複数のノードを１つのサービスプロセッサで制御しておこなうマルチプロセッサシステムに対しての障害処理方法が開示されている（特開２００１−１３４５４６公報）。
【０００６】
【発明が解決しようとする課題】
しかし、複数のノードをサービスプロセッサで制御してなるノード群が複数集まって構成されたシステムで、異なるノード群に属する複数のノードを選択して独立のシステムとして運用するマルチプロセッサシステムにおいては、障害が複数のノード群に渡って発生する可能性があり、上記の障害処理手段では的確に障害処理をおこなうことができない。
【０００７】
本発明はこのような問題点に鑑みて提案されたものであり、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって形成された大規模プラットフォームを用いたマルチプロセッサシステムにおいて、障害処理を迅速かつ的確におこなうことができる障害処理方法、マルチプロセッサシステム及びノードを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、複数のノードと前記複数のノードを制御するサービスプロセッサとを有するノード群が複数集まって構成され、前記複数のノード群からなる複数の前記ノードは相互接続網により相互に接続され、複数の前記サービスプロセッサは該サービスプロセッサを制御するサービスプロセッサマネージャに接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムにおける障害処理方法であって、いずれかの前記ノードで障害が発生した場合に、その障害ノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する工程と、前記障害ノードは、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達する工程と、前記障害ノードと同一のパーティションに属する他のノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する工程と、前記サービスプロセッサマネージャは、前記障害情報に基づいて前記それぞれのサービスプロセッサに障害処理を指示し、この指示を受けた前記サービスプロセッサは、該指示に従って障害処理をおこなう工程と、を含むことを特徴とする。
【０００９】
請求項１に記載の発明によれば、障害ノードと同一パーティション内のノードから各ノードの障害情報を入手して、それに基づいて障害処理をおこなうので、被疑部の特定を迅速かつ的確におこなえ、ひいては障害処理を迅速かつ的確におこなうことができる。なお、パーティションとはシステムの一部分であり、独立して運用可能ものをいう。また、障害情報とは障害がある旨の情報、または、エラーログなどの障害内容を示す情報をいう。
【００１０】
請求項２に記載の発明は、請求項１に記載のマルチプロセッサシステムにおける障害処理方法において、前記障害ノードは、前記相互接続網を用いて障害通知パケットを他のノードに送信して、前記障害ノードと同一のパーティションに属する他のノードに前記他のノードに障害情報を伝達することを特徴とする。
【００１１】
請求項２に記載の発明によれば、障害情報を障害パケットの送信でおこなうので、通常のトランザクションにおけるパケット送信と同じ環境を用いて障害処理が可能となる。
【００１２】
請求項３に記載の発明は、請求項１に記載のマルチプロセッサシステムにおける障害処理方法において、前記障害ノードは、前記相互通信網を用いて障害通知パケットを前記障害ノードと同一のパーティションに属する他のノードを宛先として送信して、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とする。
【００１３】
請求項３に記載の発明によれば、障害パケットを前記障害ノードと同一のパーティションに属する他のノードを宛先として送信するので、不要なパケットを相互接続網に送信せずに済み、効率的な障害処理が可能となる。
【００１４】
請求項４に記載の発明は、請求項１に記載のマルチプロセッサシステムにおける障害処理方法において、前記障害ノードは、前記相互通信網を用いて障害通知パケットをブロードキャストで送信し、障害通知パケットを受信したノードが前記障害ノードと同一パーティションに属する場合のみ前記障害情報を該ノードに取り込むことで前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とする。
【００１５】
請求項４に記載の発明によれば、障害ノードで障害通知パケットの宛先を特定しないので障害ノードでの処理負荷を低減でき、障害ノードの処理負荷が大きいときに有利である。
【００１６】
請求項５に記載の発明は、請求項２乃至４のいずれかに記載のマルチプロセッサシステムにおける障害処理方法において、
前記障害ノードは、前記相互接続網を用いて障害通知パケットを送信する際に、通常のトランザクションで用いるチャンネルとは異なるチャンネルを用いて障害通知パケットを送信して、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とする。
【００１７】
請求項５に記載の発明によれば、障害の影響等で通常のトランザクションに用いられるチャンネルが渋滞していたり、性能が低下していたりしても迅速、かつ、確実に障害通知パケットを送信することが可能となる。
【００１８】
請求項６に記載の発明は、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって構成され、複数の前記ノードは相互接続網により相互に接続され、前記サービスプロセッサおよびサービスプロセッサを制御するサービスプロセッサマネージャが専用線で接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムであって、いずれかの前記ノードで障害が発生した場合に、その障害ノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する障害ノード通知手段と、前記障害ノードは、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達するパーティション内通知手段と、前記障害ノードと同一のパーティションに属する他のノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する他ノード通知手段と、前記サービスプロセッサマネージャは、前記障害情報に基づいて前記サービスプロセッサに障害処理を指示し、この指示を受けた前記サービスプロセッサは、該指示に従って障害処理をおこなう障害処理手段と、を備えたことを特徴とする。
【００１９】
請求項７に記載の発明は、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって構成され、複数の前記ノードは相互接続網により相互に接続され、前記サービスプロセッサおよびサービスプロセッサを制御するサービスプロセッサマネージャが専用線で接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムに含まれるノードであって、 該ノードに障害が発生した場合に、該ノードと同一のパーティションに属する他のノードに障害情報を通知するとともに、該ノードを制御する前記サービスプロセッサに障害発生を通知することを特徴とする。
【００２０】
請求項６または７に記載の発明によれば、何れかのノードで障害が発生した場合、相互接続網を用いて同一パーティションに属する他のノードに障害情報を通知して、該障害情報に基づいて障害処理をおこなえるので、また、サービスプロセッサマネージャが各サービスプロセッサを制御して障害処理をおこなえるので迅速かつ的確な障害処理を可能となる。
【００２１】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、添付図面を参照して説明する。
≪システム構成≫
図１は、本発明の実施形態にかかるマルチプロセッサシステムの一例を示すシステム構成図である。
【００２２】
図１において、１はマルチプロセッサシステムを、２はノード群を、３はノードを、４はサービスプロセッサを、５はプロセッサを、６メモリを、７はノースブリッジを、８はＩ／Ｏホストブリッジを、９はクロスバーを、１０は相互接続網を、１１はサービスプロセッサマネージャを、１２は専用線を示している。
【００２３】
マルチプロセッサシステム１はノード群Ａ〜Ｄの４つのノード群２で構成されている。マルチプロセッサシステム１を構成するノード群２の数は本実施形態では４つであるが、これに限定されず、本発明は２つ以上のノード群２で構成される場合に適用が可能である。各ノード群２はそれぞれ遠隔していても良いし、隣接していても良いが、遠隔して設置されている場合には、遠隔して設置されたノード３を用いてマルチプロセッサシステム１を構成できるという特徴を有する。
【００２４】
ノード群ＡはノードＡａ〜Ａｈの８つのノード３およびノードＡａ〜Ａｈを管轄するサービスプロセッサＡ（図において、ＳＰＡ）で構成されている。同様にノード群Ｂ〜ＣはノードＢａ〜Ｂｈ，ノードＣａ〜Ｃｈ，ノードＤａ〜Ｄｈとそれぞれを管轄するサービスプロセッサＢ〜Ｄ（図において、ＳＰＢ，ＳＰＣ，ＳＰＤ）で構成されている。１つのノード群２が有するノード２の数は本実施形態では８つであるが、これに限定されず、本発明は２つ以上のノード３を有するノード群２で構成されるマルチプロセッサシステム１に対して適用が可能である。また、本実施形態において、ノード３は、Ｐ／Ｍノード３ａとＩ／Ｏノード３ｂの２種類のノードを有するが、特にこれに限定されることなく、例えばＰ／Ｍノード３ａのみでもよいし、その他の種類のノード３で構成しても良い。
【００２５】
Ｐ／Ｍノード３ａは主に演算処理をおこなうノードで、少なくともプロセッサ５とメモリ６とを備えている。また、プロセッサ５とノード３内の各パーツ間を結ぶバスを接続するノースブリッジ７を備えている。なお、本実施形態ではプロセッサ５の数は２で、メモリ６の数は１であるが、プロセッサ５、メモリ６などの数は特にこれに限定されるものではない。また、Ｉ／Ｏノード３ｂは主に入出力をおこなうノードで、Ｉ／Ｏホストブリッジ８と配下にＩ／Ｏデバイス（図示せず）を備えている。
【００２６】
サービスプロセッサ４は、ノード群２内のノード３を接続しており、これらノード３のマネージメントをおこなっている。
【００２７】
ノード群Ａ〜Ｄに属する計３２個のノード３は、それぞれクロスバー９を介して相互接続網１０によって相互に連結されている。なお、クロスバー９は、複数のプロセッサやメモリの間でデータをやり取りする際に、経路を動的に選択する機能を備えた装置である。
【００２８】
サービスプロセッサマネージャ１１は、各サービスプロセッサ４を専用線１２で接続しており、これらサービスプロセッサ４のマネージメントをおこなっている。
【００２９】
このようなハードウェアプラットフォームにおいて、複数のノード群２から複数のノード３を選択して独立して運用可能なシステムであるパーティションを形成している。具体的には、ノード群Ａに属するノードＡｅ〜Ａｈ，ノード群Ｂに属するノードＢａ〜Ｂｄ，ノード群Ｃに属するノードＣａ〜Ｃｈの全１２個のノードを選択してパーティション１３を形成している。なお、本実施形態では１つのパーティションのみを定義したが、当然に複数のパーティションを形成してもよい。
【００３０】
≪障害処理方法≫
次に、以上のマルチプロセッサシステムにおける障害処理方法の一例について、図２〜９を参照して説明する。
【００３１】
図２〜７は各障害処理工程の説明図、図８は障害処理のフロー図、図９は障害通知パケットの説明図である。以下、図８のフロー図中のステップ１〜ステップ６のそれぞれのステップに分けて説明する。なお、ステップ１〜ステップ６は、それぞれ図２〜図７に対応する。
【００３２】
＜ステップ１＞
障害ノードが、障害ノードを管轄するサービスプロセッサに、障害を通知するステップである。
【００３３】
図２に示すように、ノード群Ａに属するノードＡｅのＩ／Ｏホストブリッジ８でデータ転送中に重障害、例えば内部ＥＣＣエラー等が発生したとして、以下説明する。ノードＡｅは、障害を検知したら、まず内部のトレース情報、レジスタ情報などのエラーログ情報（障害情報）をホールドする。次に、ノードＡｅは、続いておこなう予定であったデータ転送を中止するとともに、ノードＡｅを管轄するサービスプロセッサＡ（ＳＰＡ）に障害発生を送信し、ＳＰＡはノードＡｅの障害情報を取得する。障害情報を受け取ったＳＰＡは、害障害の処理がノードＡｅの切り離しで済むか、または、パーティションリセットが必要かを判断する。ＳＰＡは、パーティションリセットが必要と判断した場合は、即座にノードＡｅをリセットし、サービスプロセッサマネージャ１１に障害情報を送信してパーティションリセットのリクエストをおこなう。
【００３４】
＜ステップ２＞
障害ノードが、同一パーティションに属する他のノードに、障害を通知するステップである。ステップ２は、ステップ１と並行しておこなわれる。
【００３５】
障害ノードであるノードＡｅは、他のノードに障害発生を通知するため、障害通知パケットを作成する。図９に示すように、障害パケットは、エラーコード、宛先ノードコード、送信元ノードコード、重障害フラグ、エラー情報で構成される。エラーコードは、障害通知パケットであること示す符号である。宛先ノードコードは、障害通知パケットの宛先を示す符号で、ブロードキャストアドレスが指定されている。送信元ノードコードは、障害通知パケットの送信元を示す符号で、障害ノードであるノードＡｅのアドレスが指定されている。重障害フラグは、障害が重度か否かを示す符号で、ノードＡｅでは重障害が発生しているので、フラグは立っている。エラー情報は、ノードＡｅでの障害情報を示している。
【００３６】
図３に示すように、障害通知パケットは、相互接続網を介して他のすべてのノードにブロードキャストで送信される。このとき通常のトランザクションに用いられるチャンネルとは異なるチャンネルを用いて送信される。したがって、通常のトランザクションに用いられるチャンネルが障害により渋滞していたり、性能が低下していたりしても迅速、確実に障害通知パケットを送信するためである。
【００３７】
障害通知パケットを受信したノードは、ノースブリッジ７またはＩ／Ｏホストブリッジ８に設定されているパーティション情報で、自己ノードが障害パケットの送信元ノードであるノードＡｅと同一パーティションに属しているかを判断し、属していると判断した場合のみ障害通知パケットを自己ノードのエラーログ情報の一部として保存する。したがって、障害ノードＡｅと同一パーティションに属するノードＡｆ〜Ａｈ、ノードＢａ〜Ｂｄ、ノードＣａ〜Ｃｈは、それぞれのノードのエラーログ情報の一部として、障害通知パケットを保存する。
【００３８】
＜ステップ３＞
障害ノードと同一のパーティションに属するノードが、該ノードを管轄するサービスプロセッサに障害を通知する工程である。
【００３９】
図４に示すように、障害ノードＡｅと同一パーティションに属し、障害通知パケットをエラーログ情報の一部として保存した、ノードＡｆ〜Ａｈ、ノードＢａ〜Ｂｄ、ノードＣａ〜Ｃｈは、障害通知パケットの内容を確認し、重障害フラグが立っていることを認識すると、自己のエラーログ情報をホールドするとともに、管轄のサービスプロセッサであるＳＰＡ、ＳＰＢ、ＳＰＣにそれぞれ障害発生を通知する。
【００４０】
通知を受けたＳＰＡ、ＳＰＢ、ＳＰＣは、管轄下のノードのエラーログ情報を取得し、障害通知パケットの内容に基づいて、関連するノードをリセットする。
【００４１】
＜ステップ４＞
障害ノードと同一パーティションに属するノードを管轄するサービスプロセッサが、サービスプロセッサマネージャに障害を通知する工程である。
【００４２】
図５に示すように、障害の通知を受けたＳＰＡ、ＳＰＢ、ＳＰＣは、管轄下のノード（それぞれ、ノードＡｆ〜Ａｈ、ノードＢａ〜Ｂｄ、ノードＣａ〜Ｃｈ）の障害情報をサービスプロセッサマネージャ１１に送信する。
【００４３】
＜ステップ５＞
サービスプロセッサマネージャが、障害被疑部の特定をおこなう工程である。
【００４４】
図６に示すように、関連するそれぞれのノード（ノードＡｅ〜Ａｈ、ノードＢａ〜Ｂｄ、ノードＣａ〜Ｃｈ）の障害情報を取得したサービスプロセッサマネージャ１１は、障害通知パケット情報が一致していることにより、それぞれが同一原因であることを認識する。そして、サービスプロセッサマネージャ１１が保有する故障解析辞書に基づいて、障害被疑部の特定をおこなう。また、障害被疑部の特定と並行して、障害情報を論理パーミッション情報、物理ロケーション情報などのシステム構成情報と組合せてログ情報管理をおこなう。
【００４５】
＜ステップ６＞
障害回復処理をおこなう工程である。
【００４６】
図７に示すように、パーティションリセットが必要であると判断された場合、サービスプロセッサマネージャ１１は、ＳＰＡ、ＳＰＢ、ＳＰＣにパーティションのリセットの指示をおこなう。ＳＰＡ、ＳＰＢ、ＳＰＣは、相互に同期を取りながらリセットを実現する。なお、パーティションリセットは、サービスプロセッサマネージャ１１の完全従属制御により、サービスプロセッサマネージャ１１からの一連のリセット手順に基づいておこなっても良い。
【００４７】
この他にも、障害回復処理の方法は様々であり、障害の状況に応じて回復処理がなされる。例えば、ミッションクリティカルな運用下では、サービスプロセッサマネージャ１１と保守センター（図示せず）を回線で接続して、保守センターが障害処理をサポートすることが通常なされる。保守センターの保守員は、サービスプロセッサマネージャ１１からリモートで障害情報を採取し、これらの障害情報に基づいて、最小ロスで、迅速かつ正確な部品交換などをおこなうことが可能である。
【００４８】
また、障害ノードの代替リソースがシステム内に用意されている場合は、パーティションリセット時に、障害ノードの変えて代替リソースを組み込んでリセットをおこなえば、リソースの減少によるシステムの高負荷運用を防止することができる。
【００４９】
さらに、ＯＳのＲＡＳ機能が強化されている場合は、障害ノードの切り離しで障害回復がおこなえるときに、パーティションリセットをおこなわずに、障害ノードを代替リソースと置き換えて処理することで、システムのロバストネスを実現することができる。
【００５０】
以上説明したように、本実施形態によると、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって形成された大規模プラットフォームを用いたマルチプロセッサシステムにおいて障害が発生した場合に、障害箇所を迅速かつ的確に特定することができ、他のパーティションに障害を波及させることなく、また、障害が発生したパーティションの障害処理を迅速かつ的確におこなうことができる。さらに、これによりミッションクリティカルな分野への、大規模なオープンシステムの適用を可能にする。
【００５１】
≪他の実施形態≫
上記実施形態のステップ２において、障害ノードは、障害ノードと同一パーティションに属するノードにのみ、障害通知パケットを送信しても良い。この場合、障害通知パケットの宛先ノードコードには、障害ノードと同一パーティションに属するノードのアドレスが定義される。このようにして、障害ノードと同一パーティションに属するノードにのみに障害通知パケットを送信した場合は、受信ノードでパーティションの確認をする必要がなく、即座に続く処理をおこなうことができる。
【００５２】
また、同ステップ２において、障害ノードは、障害ノードと同一のノード群に属するノードに対しておこなう障害通知を、障害通知パケットの送信によりおこなうのに変えて、管轄するサービスプロセッサでの折り返しや、クロスバーでの折り返しによっておこなっても良い。
【００５３】
【発明の効果】
以上の説明した通り、本発明によれば、障害ノードと同一パーティション内のノードから各ノードの障害情報を入手して、それに基づいて障害処理をおこなうので、被疑部の特定を迅速かつ的確におこなえ、ひいては障害処理を迅速かつ的確におこなうことができる。
【図面の簡単な説明】
【図１】 本発明の実施形態にかかるマルチプロセッサシステムの一例を示すシステム構成図である。
【図２】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図３】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図４】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図５】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図６】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図７】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図８】 本発明の実施形態にかかるマルチプロセッサシステムおける障害処理方法の一例の処理フローを示す図である。
【図９】 障害通知パケットの一例を示す図である。
【符号の説明】
１ マルチプロセッサシステム
２ ノード群
３ ノード
４ サービスプロセッサ
５ プロセッサ
６ メモリ
７ ノースブリッジ
８ Ｉ／Ｏホストブリッジ
９ クロスバー
１０ 相互接続網
１１ サービスプロセッサマネージャ
１２ 専用線
Claims (7)
- 複数のノードと前記複数のノードを制御するサービスプロセッサとを有するノード群が複数集まって構成され、前記複数のノード群における複数の前記ノードは相互接続網により相互に接続され、複数の前記サービスプロセッサは該サービスプロセッサを制御するサービスプロセッサマネージャに接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムにおける障害処理方法であって、
いずれかの前記ノードで障害が発生した場合に、その障害ノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する工程と、
前記障害ノードは、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達する工程と、
前記障害ノードと同一のパーティションに属する他のノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する工程と、
前記サービスプロセッサマネージャは、前記障害情報に基づいて前記それぞれのサービスプロセッサに障害処理を指示し、この指示を受けた前記サービスプロセッサは、該指示に従って障害処理をおこなう工程と、を含むことを特徴とするマルチプロセッサシステムの障害処理方法。 - 請求項１に記載のマルチプロセッサシステムにおける障害処理方法において、
前記障害ノードは、前記相互接続網を用いて障害通知パケットを他のノードに送信して、前記障害ノードと同一のパーティションに属する他のノードに前記他のノードに障害情報を伝達することを特徴とするマルチプロセッサシステムの障害処理方法。 - 請求項１に記載のマルチプロセッサシステムにおける障害処理方法において、
前記障害ノードは、前記相互通信網を用いて障害通知パケットを前記障害ノードと同一のパーティションに属する他のノードを宛先として送信して、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とするマルチプロセッサシステムの障害処理方法。 - 請求項１に記載のマルチプロセッサシステムにおける障害処理方法において、
前記障害ノードは、前記相互通信網を用いて障害通知パケットをブロードキャストで送信し、障害通知パケットを受信したノードが前記障害ノードと同一パーティションに属する場合のみ前記障害情報を該ノードに取り込むことで前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とするマルチプロセッサシステムの障害処理方法。 - 請求項２乃至４のいずれかに記載のマルチプロセッサシステムにおける障害処理方法において、
前記障害ノードは、前記相互接続網を用いて障害通知パケットを送信する際に、通常のトランザクションで用いるチャンネルとは異なるチャンネルを用いて障害通知パケットを送信して、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とするマルチプロセッサシステムの障害処理方法。 - 複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって構成され、複数の前記ノードは相互接続網により相互に接続され、前記サービスプロセッサおよびサービスプロセッサを制御するサービスプロセッサマネージャが専用線で接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムであって、
いずれかの前記ノードで障害が発生した場合に、その障害ノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する障害ノード通知手段と、
前記障害ノードは、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達するパーティション内通知手段と、
前記障害ノードと同一のパーティションに属する他のノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する他ノード通知手段と、
前記サービスプロセッサマネージャは、前記障害情報に基づいて前記サービスプロセッサに障害処理を指示し、この指示を受けた前記サービスプロセッサは、該指示に従って障害処理をおこなう障害処理手段と、を備えたことを特徴とするマルチプロセッサシステム。 - 複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって構成され、複数の前記ノードは相互接続網により相互に接続され、前記サービスプロセッサおよびサービスプロセッサを制御するサービスプロセッサマネージャが専用線で接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムに含まれるノードであって、
該ノードに障害が発生した場合に、該ノードと同一のパーティションに属する他のノードに障害情報を通知するとともに、該ノードを制御する前記サービスプロセッサに障害発生を通知することを特徴とするノード。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002220125A JP3640187B2 (ja) | 2002-07-29 | 2002-07-29 | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード |
| US10/627,740 US7171590B2 (en) | 2002-07-29 | 2003-07-28 | Multi-processor system that identifies a failed node based on status information received from service processors in a partition |
| EP03016616A EP1391822A2 (en) | 2002-07-29 | 2003-07-29 | Multi-processor system recovery |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002220125A JP3640187B2 (ja) | 2002-07-29 | 2002-07-29 | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004062535A JP2004062535A (ja) | 2004-02-26 |
| JP3640187B2 true JP3640187B2 (ja) | 2005-04-20 |
Family
ID=31184755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002220125A Expired - Fee Related JP3640187B2 (ja) | 2002-07-29 | 2002-07-29 | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7171590B2 (ja) |
| EP (1) | EP1391822A2 (ja) |
| JP (1) | JP3640187B2 (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3640187B2 (ja) * | 2002-07-29 | 2005-04-20 | 日本電気株式会社 | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード |
| US7734741B2 (en) | 2004-12-13 | 2010-06-08 | Intel Corporation | Method, system, and apparatus for dynamic reconfiguration of resources |
| US7738484B2 (en) * | 2004-12-13 | 2010-06-15 | Intel Corporation | Method, system, and apparatus for system level initialization |
| JP2006260325A (ja) * | 2005-03-18 | 2006-09-28 | Fujitsu Ltd | 障害の伝達方法 |
| US8510449B1 (en) * | 2005-04-29 | 2013-08-13 | Netapp, Inc. | Caching of data requests in session-based environment |
| JP4556144B2 (ja) * | 2005-06-17 | 2010-10-06 | 日本電気株式会社 | 情報処理装置、復旧装置、プログラム及び復旧方法 |
| US7877358B2 (en) * | 2006-11-21 | 2011-01-25 | Microsoft Corporation | Replacing system hardware |
| US8473460B2 (en) * | 2006-11-21 | 2013-06-25 | Microsoft Corporation | Driver model for replacing core system hardware |
| US7934121B2 (en) * | 2006-11-21 | 2011-04-26 | Microsoft Corporation | Transparent replacement of a system processor |
| JP4882736B2 (ja) | 2006-12-27 | 2012-02-22 | 富士通株式会社 | 情報処理装置，障害処理方法，障害処理プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体 |
| JP4723470B2 (ja) * | 2006-12-28 | 2011-07-13 | 株式会社日立製作所 | 計算機システムおよびそのチップセット |
| US7631169B2 (en) * | 2007-02-02 | 2009-12-08 | International Business Machines Corporation | Fault recovery on a massively parallel computer system to handle node failures without ending an executing job |
| US8086906B2 (en) * | 2007-02-15 | 2011-12-27 | Microsoft Corporation | Correlating hardware devices between local operating system and global management entity |
| US20080244077A1 (en) * | 2007-03-20 | 2008-10-02 | Canosa John T | Methods for auditing peer-to-peer communications in remote device monitoring system and systems thereof |
| EP2372554B1 (en) * | 2007-03-29 | 2013-03-20 | Fujitsu Limited | Information processing device and error processing method |
| JP4495248B2 (ja) * | 2007-03-29 | 2010-06-30 | 富士通株式会社 | 情報処理装置、障害処理方法 |
| US8095830B1 (en) * | 2007-04-03 | 2012-01-10 | Hewlett-Packard Development Company, L.P. | Diagnosis of system health with event logs |
| US8266634B2 (en) * | 2007-10-12 | 2012-09-11 | Microsoft Corporation | Resource assignment system with recovery notification |
| US8707318B2 (en) | 2007-10-12 | 2014-04-22 | Microsoft Corporation | Partitioning system including a generic partitioning manager for partitioning resources |
| JP2009252006A (ja) * | 2008-04-08 | 2009-10-29 | Nec Computertechno Ltd | コンピュータシステムにおけるログ管理システム、ログ管理方法 |
| JP5099222B2 (ja) | 2008-05-30 | 2012-12-19 | 富士通株式会社 | 情報処理装置、転送回路及び情報処理装置のエラー制御方法 |
| EP2302524B1 (en) * | 2008-06-02 | 2019-01-23 | Fujitsu Limited | Data processing system, data processing method, and data processing program |
| KR101259557B1 (ko) * | 2008-12-18 | 2013-04-30 | 한국전자통신연구원 | 클러스터 데이터 관리 시스템 및 클러스터 데이터 관리 시스템에서 병렬 처리를 이용한 데이터 복구 방법 |
| WO2012026035A1 (ja) * | 2010-08-27 | 2012-03-01 | 富士通株式会社 | 障害処理方法，障害処理システム，障害処理装置及び障害処理プログラム |
| US8533193B2 (en) | 2010-11-17 | 2013-09-10 | Hewlett-Packard Development Company, L.P. | Managing log entries |
| US9753797B1 (en) * | 2011-08-26 | 2017-09-05 | Amazon Technologies, Inc. | Reliable intermediate multicast communications |
| US8996931B2 (en) * | 2012-03-22 | 2015-03-31 | Infineon Technologies Ag | System and method to transmit data, in particular error data over a bus system |
| US8977895B2 (en) | 2012-07-18 | 2015-03-10 | International Business Machines Corporation | Multi-core diagnostics and repair using firmware and spare cores |
| JP6087540B2 (ja) * | 2012-08-30 | 2017-03-01 | Ｎｅｃプラットフォームズ株式会社 | 障害トレース装置、障害トレースシステム、障害トレース方法、及び、障害トレースプログラム |
| JP6079065B2 (ja) * | 2012-08-31 | 2017-02-15 | 富士通株式会社 | 情報処理装置，処理方法及びプログラム |
| JP6205898B2 (ja) | 2013-06-27 | 2017-10-04 | 富士通株式会社 | 制御方法、制御プログラムおよび情報処理システム |
| JP6135403B2 (ja) * | 2013-08-27 | 2017-05-31 | 富士通株式会社 | 情報処理システム、情報処理システムの障害処理方法 |
| US11966280B2 (en) * | 2022-03-17 | 2024-04-23 | Walmart Apollo, Llc | Methods and apparatus for datacenter monitoring |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0695906A (ja) * | 1992-09-17 | 1994-04-08 | Fujitsu Ltd | Ｓｃｍｐシステムおけるｓｖｐのｓｓｕ制御権の自動切り替え方法 |
| JP3374910B2 (ja) * | 1999-07-16 | 2003-02-10 | 日本電気株式会社 | マルチプロセッサシステム |
| JP2001134546A (ja) | 1999-11-05 | 2001-05-18 | Nec Corp | マルチプロセッサシステムの障害処理方法 |
| US6711700B2 (en) * | 2001-04-23 | 2004-03-23 | International Business Machines Corporation | Method and apparatus to monitor the run state of a multi-partitioned computer system |
| JP3541819B2 (ja) * | 2001-06-05 | 2004-07-14 | 日本電気株式会社 | ループ型ネットワークおよびその運用方法 |
| US6842870B2 (en) * | 2001-09-20 | 2005-01-11 | International Business Machines Corporation | Method and apparatus for filtering error logs in a logically partitioned data processing system |
| JP3891004B2 (ja) * | 2002-02-26 | 2007-03-07 | 日本電気株式会社 | 情報処理システム及び該システムの制御方法並びにプログラム |
| JP3640187B2 (ja) * | 2002-07-29 | 2005-04-20 | 日本電気株式会社 | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード |
-
2002
- 2002-07-29 JP JP2002220125A patent/JP3640187B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-28 US US10/627,740 patent/US7171590B2/en not_active Expired - Fee Related
- 2003-07-29 EP EP03016616A patent/EP1391822A2/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| US7171590B2 (en) | 2007-01-30 |
| US20040153888A1 (en) | 2004-08-05 |
| EP1391822A2 (en) | 2004-02-25 |
| JP2004062535A (ja) | 2004-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3640187B2 (ja) | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード | |
| CN102346460B (zh) | 一种基于事务的服务控制系统及其控制方法 | |
| US5898826A (en) | Method and apparatus for deadlock-free routing around an unusable routing component in an N-dimensional network | |
| US7668923B2 (en) | Master-slave adapter | |
| US7644254B2 (en) | Routing data packets with hint bit for each six orthogonal directions in three dimensional torus computer system set to avoid nodes in problem list | |
| EP2641419B1 (en) | A method and system for cell recovery in telecommunication networks | |
| US20060085669A1 (en) | System and method for supporting automatic protection switching between multiple node pairs using common agent architecture | |
| US20050091383A1 (en) | Efficient zero copy transfer of messages between nodes in a data processing system | |
| US20050081080A1 (en) | Error recovery for data processing systems transferring message packets through communications adapters | |
| JP4529767B2 (ja) | クラスタ構成コンピュータシステム及びその系リセット方法 | |
| US8065681B2 (en) | Generic shared memory barrier | |
| US7424640B2 (en) | Hybrid agent-oriented object model to provide software fault tolerance between distributed processor nodes | |
| US20050080869A1 (en) | Transferring message packets from a first node to a plurality of nodes in broadcast fashion via direct memory to memory transfer | |
| US20050080920A1 (en) | Interpartition control facility for processing commands that effectuate direct memory to memory information transfer | |
| US10554497B2 (en) | Method for the exchange of data between nodes of a server cluster, and server cluster implementing said method | |
| US9032118B2 (en) | Administration device, information processing device, and data transfer method | |
| US20050080945A1 (en) | Transferring message packets from data continued in disparate areas of source memory via preloading | |
| CN113300952B (zh) | 一种用于云安全资源池的分布式引流系统及其引流方法 | |
| Kang et al. | Resilient resource allocation model in service function chains with diversity and redundancy | |
| US20050078708A1 (en) | Formatting packet headers in a communications adapter | |
| CN113169857A (zh) | 网络装置、网络系统、网络方法以及网络程序 | |
| US20170310551A1 (en) | Modular controller in software-defined networking environment and operating method thereof | |
| US20080271024A1 (en) | Information processing apparatus, information processing system and information processing method for processing tasks in parallel | |
| US8000229B2 (en) | All-to-all interconnect fabric generated monotonically increasing identifier | |
| CN111984376B (zh) | 协议处理方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040427 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050110 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120128 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |